集成学习中的Bagging(Bootstrap Aggregation)方法

An Ensemble Learning Method：Bagging.

Bagging(Bootstrap Aggregation)是一种集成学习的方法，主要关注如何获得不同的训练模型。若在数据集上一共训练了 $T$ 个模型 $\{g_t,t=1,2,...,T\}$ ；如何得到这些模型呢？可以采取的方法有：

选择不同的模型假设空间；
设置不同的训练超参数；
由算法的随机性得到（如感知机）；
选择不同的训练样本集。

Bagging通过不同的训练集生成不同的模型。具体地，先通过bootstrapping方法从已有数据集中生成若干子数据集，在每个子数据集上训练模型，再将模型集成起来，对于分类任务可以使用简单投票法，对于回归任务可以使用简单平均法。

Bagging主要关注降低方差，因此在决策树、神经网络等易受样本扰动的的学习器上效果更明显。Bagging方法适用于模型复杂但容易拟合的情形，如用决策树构造随机森林。

⚪ 自助法 Bootstrapping

自助法(Bootstrapping)又称为自举法或拔靴法，名称来源为“pulling yourself up by your own bootstraps”，即“自力更生”；是以统计学中的自助采样(bootstrapping sampling)为基础。

对于具有 $N$ 个样本的训练集 $\mathcal{D}$ ，有放回的随机采样 $N$ 次，得到包含 $N$ 个样本的数据集 $\mathcal{D}’$ ，将该数据集作为训练集； $\mathcal{D}$ 中有一部分样本会在 $\mathcal{D}’$ 中多次出现，而另一部分样本不会出现。数据集 $\mathcal{D}’$ 恰好能还原训练集 $\mathcal{D}$ 的概率是 $\frac{N!}{N^N}$ 。某一个样本在 $N$ 次采样中始终不会被采集到的概率是：

\underset{N \to \infty}{l i m} (1 - \frac{1}{N})^{N} = \frac{1}{e}

$\mathop{lim}_{N→∞}(1-\frac{1}{N})^N=\frac{1}{e}$

因此自助法采样后大约有 $\frac{1}{e}≈36.8\%$ 的样本没有出现在数据集 $\mathcal{D}’$ 中。

⚪ 包外估计 Out-Of-Bag Estimate

通过自助法在训练集 $\mathcal{D}$ 采样后大约有 $36.8\%$ 的样本没有出现在数据集 $\mathcal{D}’$ 中，这一部分样本( $\mathcal{D}-\mathcal{D}’$ )可以作为验证集对泛化性能进行包外估计(out-of-bag estimate)。以分类为例，则包外估计泛化误差为：

ϵ^{o o b} = \frac{1}{D - D^{'}} \sum_{(x, y) \in D - D^{'}}^{} I (f (x) \neq y)

$\epsilon^{oob} = \frac{1}{\mathcal{D}-\mathcal{D}'} \sum_{(x,y) \in \mathcal{D}-\mathcal{D}'}^{} \Bbb{I}(f(x)≠y)$

包外估计也是减缓过拟合的方法。当基学习器是决策树时，包外估计可以辅助剪枝；当基学习器是神经网络时，包外估计可以辅助early stopping以减少过拟合的风险。

⚪ 自助法 Bootstrapping

⚪ 包外估计 Out-Of-Bag Estimate

分享到微信朋友圈