重要的机器学习算法

赞
本文主要是为那些期望获得重要机器学习概念知识的人们提供一些机器学习算法，同时使用免费的材料和资源。本大纲的主要目标是帮助您浏览可用的众多免费选项。有很多，当然，但哪些是最好的？哪个相互补充？使用所选的最佳顺序是什么？
常见的机器学习算法包括：
  1. 决策树
  2. SVM
  3. 朴素贝叶斯
  4. KNN
  5. K均值
  6. 随机森林

下面使用Python和R代码简要解释常见的机器学习算法。

决策树


这是我最喜欢的算法之一，我经常使用它。它是一种监督学习算法，主要用于分类问题。令人惊讶的是，它适用于分类和连续因变量。在该算法中，我们将总体分成两个或更多个同类集。这是基于重要属性和独立变量来完成的。

Python代码：

#Import Library #Import other necessary libraries like pandas, numpy... from sklearn import tree #Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset 
# Create tree object model = tree.DecisionTreeClassifier(criterion='gini') 
# for classification, here you can change the algorithm as gini or entropy (information gain) by default it is gini 
# model = tree.DecisionTreeRegressor() for regression 
# Train the model using the training sets and check score model.fit(X, y) model.score(X, y) 
#Predict Output predicted= model.predict(x_test)


R代码：

library(rpart) x <- cbind(x_train,y_train) 
# grow tree fit <- rpart(y_train ~ ., data = x,method="class") summary(fit) #Predict Output predicted= predict(fit,x_test)

SVM（支持向量机）


这是一种分类方法。在此算法中，我们将每个数据项绘制为n维空间中的点（其中n是您具有的要素数），每个要素的值是特定坐标的值。


例如，如果我们只有两个特征，高度和头发的长度，我们首先在二维空间中绘制这两个变量，其中每个点有两个坐标（称为支持向量）。


现在，我们将找到一些在两个不同分类的数据组之间分割数据的行。这将是两组中每组最近点之间的最远距离的线。

Python代码：

#Import Library from sklearn import svm #Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset # Create SVM classification object model = svm.svc() # there is various option associated with it, this is simple for classification. You can refer link, for mo# re detail. # Train the model using the training sets and check score model.fit(X, y) model.score(X, y) #Predict Output predicted= model.predict(x_test)


R代码：

library(e1071) x <- cbind(x_train,y_train) # Fitting model fit <-svm(y_train ~ ., data = x) summary(fit) #Predict Output predicted= predict(fit,x_test)

朴素贝叶斯


这是一种基于贝叶斯定理的分类技术，假设在预测变量之间具有独立性。简单来说，朴素贝叶斯分类器假定类中特定特征的存在与任何其他特征的存在无关。例如，如果水果是红色的，圆形的，直径约3英寸，则可以认为它是苹果。即使这些特征彼此依赖或依赖于其他特征的存在，一个朴素的贝叶斯分类器也会认为所有这些特性都独立地促成了这种果实是苹果的概率。

Naive Bayes模型易于构建，对于非常大的数据集尤其有用。除简单外，Naive Bayes的表现甚至超过了高度复杂的分类方法。

贝叶斯定理提供了一种计算后验概率的方法：P（c），P（x）和P（x | c）的P（c | x）。

  • P（c | x）是给定预测器（属性）的类（目标）的后验概率。

  • P（c）是先验概率。

  • P（x | c）是给定类别的预测概率的似然性。

  • P（x）是预测器的先验概率。

Python代码：

#Import Library from sklearn.naive_bayes import GaussianNB #Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset # Create SVM classification object model = GaussianNB() # there is other distribution for multinomial classes like Bernoulli Naive Bayes, Refer link # Train the model using the training sets and check score model.fit(X, y) #Predict Output predicted= model.predict(x_test)


R代码：

library(e1071) x <- cbind(x_train,y_train) # Fitting model fit <-naiveBayes(y_train ~ ., data = x) summary(fit) #Predict Output predicted= predict(fit,x_test)

KNN（K-Nearest Neighbors）


这可以用于分类和回归问题。然而，它更广泛地用于ML行业的分类问题。K-最近邻是一种简单的算法，它存储所有可用的案例，并通过其K个邻居的多数投票对新案例进行分类。分配给该类的情况在其K近邻中最常见，由距离函数测量。
这些距离函数可以是欧几里德，曼哈顿，闵可夫斯基或汉明距离。前三个函数用于连续函数，汉明用于分类变量。如果K = 1，则将该情况简单地分配给其最近邻居的类。有时，在执行KNN建模时，选择K结果是一个挑战。
KNN很容易映射到我们的现实生活中。如果你想了解一个你没有他相关信息的人，你可能想了解他们的亲密朋友以及他们进入的圈子以获取他们的信息！
选择KNN之前需要考虑的事项：

  • KNN在计算上很昂贵。

  • 应该对变量进行归一化，否则更高范围的变量会对其产生偏差。

  • 在进入KNN之前更多地在预处理阶段工作，例如离群值/噪声消除。

Python代码：

#Import Library from sklearn.neighbors import KNeighborsClassifier #Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset # Create KNeighbors classifier object model KNeighborsClassifier(n_neighbors=6) # default value for n_neighbors is 5 # Train the model using the training sets and check score model.fit(X, y) #Predict Output predicted= model.predict(x_test)


R代码：

library(knn) x <- cbind(x_train,y_train) # Fitting model fit <-knn(y_train ~ ., data = x,k=5) summary(fit) #Predict Output predicted= predict(fit,x_test)

K-means


这是一种解决聚类问题的无监督算法。其过程遵循一种简单易行的方法，通过一定数量的聚类（假设K簇）对给定数据集进行分类。集群内的数据点是同构的，异构的。
K-means如何形成一个集群：

  1. K-means为每个簇选择K个点，称为质心。

  2. 每个数据点形成具有最接近的质心的簇，即K簇。

  3. 根据现有集群成员查找每个集群的质心。在这里，我们有新的质心。

  4. 当我们有新的质心时，重复步骤2和3.找到每个数据点与新质心的最近距离，并与新的K群集相关联。重复此过程直到收敛，即质心不变。

如何确定K的价值

在K-means中，我们有集群，每个集群都有自己的质心。质心和簇内数据点之间差异的平方和构成该簇的平方值之和。此外，当添加所有聚类的平方值之和时，它将成为聚类解决方案的平方值总和内的总和。
我们知道随着聚类数量的增加，这个值会不断下降，但是如果你绘制结果，你可能会看到平方距离之和急剧下降到某个K值，然后慢得多。在这里，我们可以找到最佳的簇数。
Python代码：
#Import Library from sklearn.cluster import KMeans #Assumed you have, X (attributes) for training data set and x_test(attributes) of test_dataset # Create KNeighbors classifier object model k_means = KMeans(n_clusters=3, random_state=0) # Train the model using the training sets and check score model.fit(X) #Predict Output predicted= model.predict(x_test)

R代码：
library(cluster) fit <- kmeans(X, 3) # 5 cluster solution

随机森林


在随机森林中，我们有一组称为森林的决策树。为了根据属性对新对象进行分类，每个树都给出一个分类，我们说该树为该类“投票”。森林选择投票最多的分类（在森林中的所有树木上）。
每棵树按照如下规则生成：

  1. 如果训练集大小为N，对于棵树而言，随机且有放回地从训练集中抽取N个训练样本，作为该树的训练集；

  2. 如果每个样本的特征维度为M，指定一个常数m<<M，随机地从M个特征中选取m个特征子集，每次树进行分裂时，从这m个特征中选择最优的；

  3. 每棵树都尽最大程度的生长，并且没有剪枝过程。

Python代码：

#Import Library from sklearn.ensemble import RandomForestClassifier #Assumed you have, X (predictor) and Y (target) for training data set and x_test(predictor) of test_dataset # Create Random Forest object model= RandomForestClassifier() # Train the model using the training sets and check score model.fit(X, y) #Predict Output predicted= model.predict(x_test)


R代码：

library(randomForest) x <- cbind(x_train,y_train) # Fitting model fit <- randomForest(Species ~ ., x,ntree=500) summary(fit) #Predict Output predicted= predict(fit,x_test)


选择适合你项目的算法使用吧！


长按订阅更多精彩▼

如有收获，点个在看，诚挚感谢