在去年写的一篇文章《Win10 + VS2017 + CUDA10.1 + CPLEX12.9 配置》中，我们已经介绍了如何安装CUDA和使用VS作为编程环境。一晃半年过去了，现在准备用GPU做点东西，投个会议。由于新换了电脑，我又重新安装了运行环境，结果遇到了如下语法问题：

三个臭皮匠，顶个诸葛亮。

集成学习 (Ensemble learning) 通过构建并结合多个学习器来完成学习任务，即先产生一组个体学习器，再通过某种策略将它们结合起来完成学习任务。

个体学习器通常为一个现有的学习算法从训练数据产生，例如决策树，神经网络等。结合策略：在回归问题中，一般采用 (加权) 平均法，在分类问题中，一般采用 (加权) 投票法。当训练数据很多时，一种更为强大的结合策略为学习法，即通过另一个学习器来进行结合，典型代表为Stacking.

根据个体学习器的生成方式不同，目前的集成学习方法大致分为两大类：序列化方法和并行化方法。在序列化方法中，个体学习器之间存在强依赖关系，需要串行生成，其代表为Boosting；在并行化方法中，个体学习器间不存在强依赖关系，可同时生成，其代表为Bagging和随机森林 (Random Forest)。

在之前的一篇文章【图解例说机器学习】支持向量机 (SVM)中，由于篇幅有限，我们只介绍了其理论部分。作为补充，本文介绍文中所有图像的绘制。我们全都是采用Python绘制，具体如下：

图1-2：

图1

图2

前一篇文章【图解例说机器学习】神经网络中，由于篇幅有限，我们只介绍了其理论部分。作为补充，本文主要介绍文中所有图像的绘制(使用Tikz或者Python)。对于神经网络中的框架图 (例如神经元，神经网络结构)，我们采用Tikz绘制；对于坐标系的函数图像，我们采用Python绘制。注意：Tikz源代码需要在LaTeX中运行，其配置环境可以参考我之前的文章【漫漫科研路\LaTeX】使用Sublime Text3撰写科研论文(Windows系统下)或者【漫漫科研路\LaTeX】使用Vim撰写科研论文(MacOS系统下)。

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。 —Kohonen, 1988

一层神经网络：感知机与逻辑回归

M-P神经元模型

1943年，McCulloch和Pitts提出了沿用至今的M-P神经元。在这个模型中，神经元接收来自其他$M$个神经元传递过来的输入信号$x^{(j)},j=1,2,\cdots,M$， 这些输入信号通过带权重$\omega_j$的连接进行传递，神经元接收到总输入值与神经元的阈值进行比较，然后通过激活函数处理以产生神经元的输出。

参数估计：给定一个数据集，我们希望用一个给定的分布去拟合该数据集的分布，确定该分布的参数的过程就是参数估计。例如，我们用二项分布去拟合多次投掷硬币的情况，计算该二项分布的最优参数（出现正面的概率 $\theta$）就是参数估计。

朴素贝叶斯分类法是基于贝叶斯定理与特征条件独立假设的分类方法。其主要思想为：对于给定的训练数据集 $\mathcal D$ ，首先基于特征条件独立假设学习输入 $\mathrm x$ 与输出 $y$ 的联合概率分布 $P(\mathrm x, y)$ ; 然后通过先验概率 $P(y)$ ，利用贝叶斯定理求出后验概率 $P(y\mid\mathrm x)$ 最大对应的输出 $y$ 。

支持向量机(Support Vector Machine, SVM)，是一种常见的有监督的学习模型，通常用来进行模式识别、分类以及回归分析。本文主要介绍SVM在二分类问题的应用。

感知机是二分类的线性分类模型，是神经网络和支持向量机的基础。

引例

一个常见的线性二分类问题如下：

如图1，假设有一个线性可分的训练集，其中有三个样例 ($\mathrm x_1,\mathrm x_2, \mathrm x_3$)，分别标记为正例(红色方块)，反例(蓝色圆圈)。这里的 $x^{(1)},x^{(2)}$为训练样例的$2$个特征。我们的目的就是找到一个超平面 (在二维空间为一条直线) 能够将这三个样例分开。显然，这样的直线有无数条，比如图中的直线 $f(\mathrm x)=x^{(1)}+x^{(2)}-3=0, f(\mathrm x)=2x^{(1)}+x^{(2)}-5=0$ 就是其中的两条。我们发现$f(\mathrm x_1)>0,f(\mathrm x_2>0),f(\mathrm x_3)<0$，于是乎，我们可以用函数表达式$f(\mathrm x)$输出值的正负来判断新的样例$\mathrm x$属于哪一类。

决策树是一种非参数的有监督的学习方法，可以用来分类和回归，即分类决策树，回归决策树。分类决策树，可以看成是if—then规则的集合，树的每一个中间节点就是一个特征，用来if—then规则的判断，树的每一个叶子节点就是最终的分类结果。

基本思想：决策树就是一个，递归地选择最优特征，并根据该特征对训练数据集进行划分，使得对各个子数据集有一个最好的分类，的过程。训练数据集的划分过程就是决策树的构建过程。在开始时，所有训练数据都在根节点，然后选择一个最优特征，根据这一特征将训练数据集划分成不同的子数据集到不同的子节点中，最后递归地对各个子节点继续划分数据集，直到每个叶子节点都被分为一类。