317 lines
9.6 KiB
Markdown
317 lines
9.6 KiB
Markdown
# Python 中的支持向量机
|
||
|
||
> 原文：<https://www.askpython.com/python/examples/support-vector-machines-in-python>
|
||
|
||
说到机器学习算法的实现，列表从线性回归到决策树开始。他们有各种各样的类型。主要当涉及沿着线性轴分离数据点时，专家的建议是:
|
||
|
||
1. [**K-均值聚类。**](https://www.askpython.com/python/examples/k-means-clustering-from-scratch)
|
||
2. ****支持向量机。****
|
||
|
||
众所周知，ML 模型有两种类型:
|
||
|
||
1. [监督学习](https://www.askpython.com/python/supervised-vs-unsupervised-learning):需要一个指导从程序员那里选择输入数据。
|
||
2. [无监督学习](https://www.askpython.com/python/machine-learning-introduction):无需指导选择输入数据。这是一个自我学习的模型。
|
||
|
||
## 一般理论
|
||
|
||
这篇文章的主要目的是让读者了解 SVM 的技巧是如何运作的。在互联网上，数据是原始的。因此，当我们构建数据并将其可视化时，结果要么是**离散分布，要么是**连续分布。据此，支持向量机用于两个目的:
|
||
|
||
1. 分类:*为离散数据参数。*
|
||
2. 回归:*为连续数据参数。*
|
||
|
||
这是支持向量机被高度用于分类和回归目的的主要原因之一。定义中说:**支持向量机是一组学习算法，帮助我们对数据的性质进行分类和分析。**
|
||
|
||
#### SVM 的组成部分
|
||
|
||
1. 支持向量:*这些是主要成分。它们是位于最大边距两侧的简单数据点。*
|
||
2. 最大余量:*直到数据分类发生的最大限度。*
|
||
3. 最大边缘超平面:*位于正负超平面之间的最大中限边缘。*
|
||
4. 正超平面:*边缘平面的右侧。*
|
||
5. 负超平面:*边缘平面左侧。*
|
||
|
||
#### 图表
|
||
|
||
|
||
|
||
SVM Diagram Simplified
|
||
|
||
在这张图中，我们可以清楚地看到，主要空白是根据颜色分隔所有不同的数据点。我们用颜色来表现它们的不同性质。SVM 的主要目的是显示区别，并用尽可能好的边缘线对每个点进行分类。
|
||
|
||
#### 示例和应用
|
||
|
||
假设我们有一个类:**车辆**。**我们的任务是从那个班拿运动型多功能车(SUV)。**现在还有各种其他类型。现在，当我们试图按顺序手动排列它们时，可能会花费很多时间。这也产生了一些错误。因此，为了使分类更加稳定，我们可以创建一个支持向量机，它将对来自父车辆类别的所有汽车模型进行分类。它应按照以下步骤工作:
|
||
|
||
1. 该模型将拍摄样本图像。
|
||
2. 然后将其与已提供的车型试验数据进行比较。
|
||
3. 之后，它会告诉我们输入图像中的汽车型号。
|
||
4. 没有其他算法能比 SVM 更简单。
|
||
|
||
## 实现支持向量机
|
||
|
||
在本节中，我们将实现支持向量机的所有必要实现。所以，让我们开始吧！
|
||
|
||
#### 环境详细信息:
|
||
|
||
1. *Python 3.9.7*
|
||
2. *IDE: Jupyter 笔记本*
|
||
3. *环境:蟒蛇 3*
|
||
4. *数据集:癌症数据集(cell_samples.csv)*
|
||
|
||
导入数据读取和预处理所需的库
|
||
|
||
```py
|
||
import pandas as pd
|
||
import numpy as np
|
||
import matplotlib.pyplot as plt
|
||
from warnings import filterwarnings
|
||
filterwarnings("ignore")
|
||
|
||
```
|
||
|
||
读取数据集
|
||
|
||
```py
|
||
cancer_data = pd.read_csv("Datasets/cell_samples.csv", sep = ",")
|
||
cancer_data.head()
|
||
|
||
```
|
||
|
||
**输出:**
|
||
|
||
|
||
|
||
Viewing The Dataset
|
||
|
||
检查空值
|
||
|
||
```py
|
||
cancer_Data.isna().sum()
|
||
|
||
```
|
||
|
||
|
||
|
||
No Null Values
|
||
|
||
获取数据集的一般信息
|
||
|
||
```py
|
||
print("The shape of the dataset is: ", cancer_data.shape)
|
||
print("The size of the dataset is: ", cancer_data.size, " bytes\n")
|
||
print("The count of each attribute of the dataset is: \n")
|
||
print(cancer_data.count())
|
||
print("\nThe datatype of each attribute is: \n")
|
||
print(cancer_data.dtypes)
|
||
|
||
```
|
||
|
||
**输出:**
|
||
|
||
```py
|
||
The shape of the dataset is: (699, 11)
|
||
The size of the dataset is: 7689 bytes
|
||
|
||
The count of each attribute of the dataset is:
|
||
|
||
ID 699
|
||
Clump 699
|
||
UnifSize 699
|
||
UnifShape 699
|
||
MargAdh 699
|
||
SingEpiSize 699
|
||
BareNuc 699
|
||
BlandChrom 699
|
||
NormNucl 699
|
||
Mit 699
|
||
Class 699
|
||
dtype: int64
|
||
|
||
The datatype of each attribute is:
|
||
|
||
ID int64
|
||
Clump int64
|
||
UnifSize int64
|
||
UnifShape int64
|
||
MargAdh int64
|
||
SingEpiSize int64
|
||
BareNuc object
|
||
BlandChrom int64
|
||
NormNucl int64
|
||
Mit int64
|
||
Class int64
|
||
dtype: object
|
||
|
||
```
|
||
|
||
**将 BareNuc 列转换为整数类型**
|
||
|
||
```py
|
||
cancer_data = cancer_data[pd.to_numeric(cancer_data["BareNuc"], errors = "coerce").notnull()]
|
||
cancer_data["BareNuc"] = cancer_data["BareNuc"].astype("int")
|
||
cancer_data.dtypes
|
||
|
||
```
|
||
|
||
```py
|
||
ID int64
|
||
Clump int64
|
||
UnifSize int64
|
||
UnifShape int64
|
||
MargAdh int64
|
||
SingEpiSize int64
|
||
BareNuc int32
|
||
BlandChrom int64
|
||
NormNucl int64
|
||
Mit int64
|
||
Class int64
|
||
dtype: object
|
||
|
||
```
|
||
|
||
#### 从数据框中分离出两个类
|
||
|
||
**对于癌细胞类型分类，我们有两种类型的细胞用于分类:**
|
||
|
||
1. 恶性:在我们的数据集中值= 4
|
||
2. 良性:在我们的数据集中值= 2
|
||
|
||
我们创建了两个同名的独立数据框。然后，尝试使用数据可视化技术对它们进行分类。仅从核心数据集中取前 50 个值。这使得绘图更容易。
|
||
|
||
```py
|
||
malignant = cancer_data[cancer_data["Class"] == 4][0:50]
|
||
benign = cancer_data[cancer_data["Class"] == 2][0:50]
|
||
|
||
```
|
||
|
||
```py
|
||
plt.figure(figsize = (10, 5))
|
||
ax = plt.axes()
|
||
ax.set_facecolor("white")
|
||
plt.title("Separating the data points - Clump and UniformShape")
|
||
plt.scatter(malignant["Clump"], malignant["UnifShape"] , color = "red", marker = "*")
|
||
plt.scatter(benign["Clump"], benign["UnifShape"], color = "green", marker = "+")
|
||
plt.legend(["Malignant cell class", "Benign cell class"])
|
||
plt.show()
|
||
|
||
```
|
||
|
||
|
||
|
||
Scatter Plots
|
||
|
||
使用 numpy 数组创建独立和从属数据列列表:
|
||
|
||
```py
|
||
dependent_data = cancer_data[["ID", "Class"]]
|
||
independent_data = cancer_data[['Clump', 'UnifSize', 'UnifShape', 'MargAdh', 'SingEpiSize',
|
||
'BareNuc', 'BlandChrom', 'NormNucl', 'Mit']]
|
||
|
||
X_data = np.array(independent_data)
|
||
X_data[0:5]
|
||
|
||
Y_data = np.array(dependent_data["Class"])
|
||
Y_data[0:5]
|
||
|
||
```
|
||
|
||
**输出:**
|
||
|
||
```py
|
||
array([[ 5, 1, 1, 1, 2, 1, 3, 1, 1],
|
||
[ 5, 4, 4, 5, 7, 10, 3, 2, 1],
|
||
[ 3, 1, 1, 1, 2, 2, 3, 1, 1],
|
||
[ 6, 8, 8, 1, 3, 4, 3, 7, 1],
|
||
[ 4, 1, 1, 3, 2, 1, 3, 1, 1]], dtype=int64)
|
||
|
||
array([2, 2, 2, 2, 2], dtype=int64)
|
||
|
||
```
|
||
|
||
#### 将数据分为训练和测试变量
|
||
|
||
从 sklearn.model_selection 导入 [train_test_split 函数](https://www.askpython.com/python/examples/split-data-training-and-testing-set)。这将数据分成四个数组:
|
||
|
||
1. x _ 火车
|
||
2. x _ 测试
|
||
3. y _ 火车
|
||
4. y _ 测试
|
||
|
||
其中，训练阵列是二维的，测试阵列是一维的。只需记住取 test_size = 0.2，因为我们只需要总数据集的 20%来测试我们的模型准确性。
|
||
|
||
```py
|
||
from sklearn.model_selection import train_test_split
|
||
X_train, X_test, y_train, y_test = train_test_split(X_data, Y_data, test_size = 0.2, random_state = 4)
|
||
print(X_train.shape)
|
||
print(y_train.shape)
|
||
print(X_test.shape)
|
||
print(y_test.shape)
|
||
|
||
```
|
||
|
||
**输出:**
|
||
|
||
```py
|
||
(546, 9)
|
||
(546,)
|
||
(137, 9)
|
||
(137,)
|
||
|
||
```
|
||
|
||
#### 从 sklearn 导入 SVM 并创建分类器实例
|
||
|
||
首先我们导入模型，然后导入 SVC。它是用于分离支持向量的分类器类。创建一个实例“分类”。给定内核值为“线性”,它将线性分离支持向量。然后，我们使用 fit()函数拟合模型中的 X_train 数据和 Y_train 数据。之后，创建一个实例“y_predict ”,它将所有预测保存在一个一维数组中。
|
||
|
||
```py
|
||
from sklearn import svm
|
||
classify = svm.SVC(kernel = "linear")
|
||
Classify.fit(X_train, y_train)
|
||
y_predict = Classify.predict(X_test)
|
||
print(y_predict)
|
||
|
||
```
|
||
|
||
输出:
|
||
|
||
```py
|
||
array([2, 4, 2, 4, 2, 2, 2, 2, 4, 2, 2, 4, 4, 4, 4, 2, 2, 2, 2, 2, 4, 2,
|
||
4, 4, 4, 4, 2, 2, 4, 4, 4, 2, 4, 2, 2, 2, 4, 2, 2, 2, 2, 2, 2, 4,
|
||
4, 2, 2, 2, 2, 4, 2, 2, 2, 2, 2, 2, 4, 2, 2, 2, 2, 4, 4, 2, 4, 4,
|
||
4, 2, 2, 2, 4, 4, 2, 2, 2, 4, 2, 2, 4, 4, 2, 2, 2, 2, 4, 4, 2, 4,
|
||
2, 2, 4, 4, 2, 2, 2, 4, 2, 2, 2, 4, 2, 4, 2, 2, 4, 2, 4, 2, 2, 4,
|
||
2, 2, 4, 2, 2, 2, 2, 2, 4, 4, 4, 4, 4, 2, 2, 4, 2, 2, 4, 2, 4, 2,
|
||
2, 2, 2, 2, 4], dtype=int64)
|
||
|
||
```
|
||
|
||
因此，我们成功地将所有的癌症患者与非癌症患者分开。值为 4 的细胞是癌性的，值为 2 的细胞是非癌性的。现在，我们已经得到了预测，我们可以对 Y_test 数组运行它们来检查模型的准确性。为此，我们可以准备一份分类报告。
|
||
|
||
#### 准备分类报告
|
||
|
||
为此，我们需要从 sklearn.metrics 模块导入 classification_report 函数。然后在 print()函数内部调用它。我们用我们的 Y_test 数组测试它，结果如下:
|
||
|
||
```py
|
||
from sklearn.metrics import classification_report
|
||
print(classification_report(y_test, y_predict))
|
||
|
||
```
|
||
|
||
**输出:**
|
||
|
||
```py
|
||
precision recall f1-score support
|
||
|
||
2 1.00 0.94 0.97 90
|
||
4 0.90 1.00 0.95 47
|
||
|
||
accuracy 0.96 137
|
||
macro avg 0.95 0.97 0.96 137
|
||
weighted avg 0.97 0.96 0.96 137
|
||
|
||
```
|
||
|
||
结果表明模型的精度很高。对于**恶性等级(值= 4)** :精度分值为:100%。对于**良性类(值= 2)** ，精度分数为:90%
|
||
|
||
## 结论
|
||
|
||
因此，通过这种方式，我们成功地使用 Python 实现了支持向量机，并根据给定的输入数据构建了一个预测模型。 |