极致梯度提升树 | eXtreme Gradient Boosting (XGBoost)

一、对比原算法GBDT的提升优化

二、XGBoost搭建模型

2.1、实现方式

2.1.1、XGBoost原生接口

import xgboost as xgb

X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,random_state=12343)

dtrain = xgb.DMatrix(X_train,y_train)              # 将数据转换为xgb所需的特殊数据矩阵，能大幅加快模型训练
xgb_model = xgb.train(params,dtrain,num_rounds)    # 原生接口训练，具体是回归模型还是分类模型需要通过params中的objective参数值决定
dtest = xgb.DMatrix(X_test)
y_pred = xgb_model.predict(dtest)                  # 预测，注：如果objective选择的是“binary:logistic”，则返回概率值

2.1.2、S-Klearn风格接口

from xgboost import XGBClassifier
from xgboost import XGBRegressor

X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,random_state=12343)

xgb_clf_model = XGBClassifier()      # 分类模型
xgb_clf_model.fit(X_train,y_train)   # 训练
xgb_clf_model.predict(X_test)        # 返回预测值
xgb_clf_model.predict_proba(X_test)  # 返回各个样本属于各个类别的概率

xgb_res_model = XGBRegressor()       # 回归模型
xgb_res_model.fit(X_train,y_train)   # 训练
xgb_res_model.predict(X_test)        # 返回预测值

2.2、参数详解

2.2.1、模型参数

2.2.2、训练参数

xgboost.train(params, dtrain, num_boost_round=10, evals=(),obj=None, feval=None, maximize=False, 
				 early_stopping_rounds=None,  evals_result=None, verbose_eval=True, xgb_model=None, callbacks=None)

xgb_model.fit(
    X, # array, DataFrame 类型
    y, # array, Series 类型
    eval_set=None, # 用于评估的数据集，例如：[(X_train, y_train), (X_test, y_test)]
    eval_metric=None, # 评估函数，字符串类型，例如：'mlogloss'
    early_stopping_rounds=None, 
    verbose=True, # 间隔多少次迭代输出一次信息
    xgb_model=None
)

2.3、模型调参

2.3.1、可优化参数

• max_depth: 决定树的最大深度，比较重要 常用值4-6 ，深度越深越容易过拟合。

• n_estimators: 构建多少颗数 ，树越多越容易过拟合。

• learning_rate/eta : 学习率 ，范围0-1 。默认值 为0.3 , 常用值0.01-0.2

• subsample: 每次迭代用多少数据集 。

• colsample_bytree: 每次用多少特征 。可以控制过拟合。

• min_child_weight :树的最小权重 ，越小越容易过拟合。

• gamma：如果分裂能够使loss函数减小的值大于gamma，则这个节点才分裂。gamma设置了这个减小的最低阈值。如果gamma设置为0，表示只要使得loss函数减少，就分裂。

• alpha：l1正则，默认为0

• lambda ：l2正则，默认为1

2.3.2、网格搜索

parameters = {
    'max_depth': [5, 10, 15, 20, 25],
    'learning_rate': [0.01, 0.02, 0.05, 0.1, 0.15],
    'n_estimators': [50, 100, 200, 300, 500],
    'min_child_weight': [0, 2, 5, 10, 20],
    'max_delta_step': [0, 0.2, 0.6, 1, 2],
    'subsample': [0.6, 0.7, 0.8, 0.85, 0.95],
    'colsample_bytree': [0.5, 0.6, 0.7, 0.8, 0.9],
    'reg_alpha': [0, 0.25, 0.5, 0.75, 1],
    'reg_lambda': [0.2, 0.4, 0.6, 0.8, 1],
    'scale_pos_weight': [0.2, 0.4, 0.6, 0.8, 1]
}

xlf = xgb.XGBClassifier(silent=True,objective='binary:logistic',nthread=-1,seed=1440)

gsearch = GridSearchCV(xlf, param_grid=parameters, scoring='accuracy', cv=3)
gsearch.fit(train_x, train_y)

2.4、其他事项

2.4.1、保存加载模型

import xgboost as xgb
xgb_model.save_model('./xgb_model.model')
xgb_model = xgb.Booster(model_file=('./xgb_model.model')
xgb_model = xgb.Booster().load_model('./xgb_model.model')

# 以下方法待验证，具体出处详见：[XGBoost如何保存和读取模型？ - 知乎](https://zhuanlan.zhihu.com/p/370761158)
from xgboost import XGBClassifier,Booster
clf.save_model('./xgb_model.model')
clf = XGBClassifier()
clf._Booster = Booster().load_model('./xgb_model.model')

2.4.2、特征重要性

只有当选择决策树模型作为基础学习器(booster=gbtree)时，才能定义特征的重要性。它没有为其他基本学习者类型定义，例如线性学习者(booster=gblinear)。

# 方法一：
xgb_model.get_score(importance_type=importance_type)
# importance_type有以下几种：
# 'weight', 'gain', 'cover', 'total_gain', 'total_cover'
# weight - 该特征在所有树中被用作分割样本的特征的次数。
# gain   - 在所有树中的平均增益。
# cover  - 在树中使用该特征时的平均覆盖范围。

# 方法二：
from xgboost import plot_importance
plot_importance(xgb_model)
plt.rcParams['figure.figsize'] = [3, 3]   # 调整画布大小
plt.show()

# 方法三：
xgb_model.feature_importances_

打印树

import matplotlib.pyplot as plt
xgb.plot_tree(xgb_model,num_trees=0)
plt.rcParams['figure.figsize'] = [80, 60]
plt.show()

#fit model using each importance as a threshold
thresholds = np.sort(model.feature_importances_)
for thresh in thresholds:
    # select features using threshold
    selection = SelectFromModel(model,threshold=thresh,prefit=True )
    select_X_train = selection.transform(X_train)
    # train model
    selection_model = XGBClassifier()
    selection_model.fit(select_X_train, y_train)
    # eval model
    select_X_test = selection.transform(X_test)
    y_pred = selection_model.predict(select_X_test)
    predictions = [round(value) for value in y_pred]
    accuracy = accuracy_score(y_test,predictions)
    print("Thresh=%.3f, n=%d, Accuracy: %.2f%%" % (thresh, select_X_train.shape[1], accuracy * 100.0))

2.4.3、xgb.DMatrix()数据工具

libsvm格式数据如下：

[label_1] [index_1]:[value_1_1] [index_2]:[value_1_2] … [index_n]:[value_1_n]
[label_2] [index_1]:[value_2_1] [index_2]:[value_2_2] … [index_n]:[value_2_n]
…
[label_m] [index_1]:[value_m_1] [index_2]:[value_m_2] … [index_n]:[value_m_n]

label  目标值，就是说class（属于哪一类），就是你要分类的种类，通常是一些整数。

index 是有顺序的索引，通常是连续的整数。就是指特征编号，必须按照升序排列

value 就是特征值，用来train的数据，通常是一堆实数组成。

dtrain = xgb.DMatrix('./data/agaricus.txt.train')
dtest = xgb.DMatrix('./data/agaricus.txt.test')

xgb_model = xgboost.train(param, dtrain, num_round, watchlist)

2.4.4、使用经验

1、报错

（1）、特征名称错误，是因为预测数据在转换成DMetrics矩阵时没有把特证名称去掉，这一步需要ndarray类型的数据

三、XGBoost优缺点

• GBDT 只用到一阶泰勒展开，而 XGBoost 对损失函数进行了二阶泰勒展开，提升了精准度。

• GBDT 以 CART 作为基分类器，XGBoost 不仅支持 CART 还支持线性分类器，（使用线性分类器的 XGBoost 相当于带 L1 和 L2 正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题））

• XGBoost 在目标函数中加入了正则项，用于控制模型的复杂度。

• XGBoost 借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算；

• XGBoost 采用的稀疏感知算法极大的加快了节点分裂的速度；

• 虽然利用预排序和近似算法可以降低寻找最佳分裂点的计算量，但在节点分裂过程中仍需要遍历数据集；

• 预排序过程的空间复杂度过高，不仅需要存储特征值，还需要存储特征对应样本的梯度统计值的索引，相当于消耗了两倍的内存。

四、参考文章

• XGBoost 官方文档

• XGBoost实战-CSDN博客

• xgboost实战，一篇就好 - 知乎

• 机器学习实战 | XGBoost建模应用详解 - 掘金

• XGBoost 重要参数(调参使用) - Timcode - 博客园

• 一篇文章搞定GBDT、Xgboost和LightGBM的面试 - 知乎

• XGBoost 重要参数、方法、函数理解及调参思路（附例子）

• 【机器学习】决策树（下）——XGBoost、LightGBM（非常详细） - 知乎

• 深入理解XGBoost，优缺点分析，原理推导及工程实现_Datawhale的博客-CSDN博客