AdaBoost是Boosting算法中比较有代表性的一个，主要原理是通过不断调整样本和弱学习器的权重来输出最终结果。

RF 算法由很多决策树组成，每一棵决策树之间没有关联。建立完森林后，当有新样本进入时，每棵决策树都会分别进行判断，然后基于投票法给出分类结果。

决策树是附加概率结果的一个树状的决策图，是直观的运用统计概率分析的图法。决策树算法采用树形结构，使用层层推理来实现最终的分类。

所谓集成学习，顾名思义，就是集成多个基学习器的结果，采用一定的融合机制得到一个更为精准和稳定的结果。常见的集成学习有Bagging、Boosting、Stacking

朴素贝叶斯方法是在贝叶斯算法的基础上进行了相应的简化，即假定给定目标值时属性之间相互条件独立。

K近邻算法 ，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的K个实例，这K个实例的多数属于某个类，就把该输入实例分类到这个类中。

SVM学习的基本想法是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。

逻辑回归是一种广义的线性回归分析模型，其推导过程与计算方式类似于回归的过程，但实际上主要是用来解决二分类问题（也能处理多分类问题）

回归是一种解题方法，或者说"学习"方法，也是机器学习中比较重要的概念。第一次见到这个词的朋友可能会问"回归?……回哪儿去?"

机器学习是一门多学科交叉专业，本文主要是将学习机器学习的过程中可能会用到的一些基础知识进行整理，包括损失函数、正则项、矩阵和其他一些数学知识。