机器学习的一个（如果不是最重要的）方面是实现准确可靠的预测。实现这一目标的一种创新方法是 Bootstrap Aggregating，在机器学习中通常称为 bagging。本文将讨论机器学习中的 bagging，比较机器学习中的 bagging 和 boosting，提供 bagging 分类器的示例，介绍 bagging 的工作原理，并探讨机器学习中 bagging 的优点和缺点。
机器学习中的Bagging是什么？
这两张是流行文章中使用的唯一相关图片，如果我们让设计制作它们的云版本，则可以使用其中一张或两张（一张在这里，另一张在其他地方）。
什么是套袋？
想象一下，您试图通过询问多个人的估计来猜测一个物体的重量。就个人而言，他们的猜测可能差异很大，但通过对所有估计进行平均，您可以得出更可靠的数字。这就是 bagging 的本质：结合多个模型的输出来产生更准确、更稳健的预测。
该过程首先通过引导（即带替换的随机采样）创建原始数据集的多个子集。每个子集用于独立训练单独的模型。
这些单独的模型通常被称为“弱学习器”，由于方差较大，它们本身的表现可能不会特别好。然而，当它们的预测被聚合时，通常通过对回归任务进行平均或对分类任务进行多数投票，组合结果通常会超过任何单个模型的性能。
一个著名的装袋分类器示例是随机森林算法，该算法构建决策树集合以提高预测性能。也就是说，bagging 不应与机器学习中的 boosting 相混淆，后者采用不同的方法，通过顺序训练模型来减少偏差，而 bagging 通过并行训练模型来减少方差。
机器学习中的 bagging 和 boosting 都旨在提高模型性能，但它们针对模型行为的不同方面。
装袋为何有用？
bagging 在机器学习中的主要优势之一是它能够减少方差，帮助模型更好地泛化到未见过的数据。在处理对训练数据波动敏感的算法（例如决策树）时，Bagging 特别有用。
通过防止过度拟合，确保模型更加稳定可靠。在比较机器学习中的 bagging 和 boosting 时，bagging 侧重于通过并行训练多个模型来减少方差，而 boosting 旨在通过顺序训练模型来减少偏差。
机器学习中装袋的一个例子可以在金融风险预测中看到，其中多个决策树根据历史市场数据的不同子集进行训练。通过汇总预测，bagging 创建了更稳健的预测模型，减少了单个模型错误的影响。
从本质上讲，机器学习中的 bagging 利用多个模型的集体智慧来提供比单独从单个模型得出的预测更准确、更可靠的预测。
机器学习中的Bagging如何工作：分步
为了充分了解 bagging 如何增强模型性能，让我们逐步分解该过程。
从数据集中获取多个 Bootstrap 样本
机器学习中 bagging 的第一步是使用 bootstrapping 创建原始数据集的多个新子集。该技术涉及通过替换对数据进行随机采样，因此某些数据点可能会在同一子集中出现多次，而其他数据点可能根本不会出现。完成此过程是为了确保每个模型都在略有不同的数据版本上进行训练。
对每个样本训练一个单独的模型
然后，使用每个引导样本来训练单独的模型，通常是相同类型的模型，例如决策树。这些模型通常称为“基础学习器”或“弱学习器”，在各自的子集上独立训练。 bagging 分类器的示例是随机森林算法中使用的决策树，它构成了许多基于 bagging 的模型的支柱。虽然每个模型本身可能表现不佳，但它们每个都根据其特定的训练数据提供独特的见解。
汇总预测
训练模型后，将它们的预测汇总以形成最终输出。
- 对于回归任务，对预测进行平均，从而减少模型的方差。
- 对于分类任务，最终的预测是通过多数投票来确定的，其中选择大多数模型预测的类别。与单个模型的输出相比，该方法提供了更稳定的预测。
最终预测
通过结合多个模型的预测，bagging 可以减少任何一种模型的错误的影响，从而提高整体准确性。这种聚合过程使得 bagging 成为一种如此强大的技术，尤其是在使用决策树等高方差模型的机器学习任务中。它有效地消除了各个模型预测中的不一致，从而产生更强大的最终模型。
虽然 bagging 对于稳定预测很有效，但需要记住的一些事情包括，如果基础模型过于复杂，则存在过度拟合的风险，尽管 bagging 的一般目的是减少过度拟合。
它的计算成本也很高，因此调整基础学习器的数量或考虑更有效的集成方法会有所帮助，并且 为 ML 和 DL 选择合适的 GPU 总是很重要的。
确保基础学习者之间具有一定的模型多样性，以获得更好的结果，如果您正在处理不平衡的数据，那么在应用装袋之前，SMOTE 等技术可能会很有用，以避免在少数类别上表现不佳。
套袋的应用
现在我们已经探索了 bagging 的工作原理，是时候看看它在现实世界中的实际应用了。 Bagging 已进入各个行业，有助于提高复杂场景下预测的准确性和稳定性。让我们仔细看看一些最有影响力的应用程序：
- 分类和回归： Bagging 广泛用于通过减少方差和防止过度拟合来提高分类器和回归器的性能。例如，利用装袋的随机森林在图像分类和预测建模等任务中非常有效。
- 异常检测： 在欺诈检测和网络入侵检测等领域，装袋算法通过以下方式提供卓越的性能： 有效识别数据中的异常值和异常值.
- 财务风险评估： 银行业采用套袋技术来增强信用评分模型，提高贷款审批流程和金融风险评估的准确性。
- 医疗诊断： 在医疗保健领域，bagging 已被应用于通过分析 MRI 数据集来检测阿尔茨海默病等神经认知障碍，从而帮助 早期诊断和治疗计划.
- 自然语言处理（NLP）： Bagging 通过聚合多个模型的预测，有助于文本分类和情感分析等任务，从而实现更强大的语言理解。
装袋的优点和缺点
与任何机器学习技术一样，装袋也有其自身的优点和缺点。了解这些可以帮助确定何时以及如何在模型中使用 bagging。
装袋的优点：
- 减少方差和过度拟合： bagging 在机器学习中最显着的优势之一是它能够减少方差，这有助于防止过度拟合。通过在不同的数据子集上训练多个模型，bagging 让您高枕无忧，因为模型不会对训练数据的波动过于敏感，从而形成更通用、更稳定的模型。
- 适用于高方差模型： 当与决策树等高方差模型一起使用时，Bagging 特别有效。这些模型往往会过度拟合数据并具有较高的方差，但 bagging 通过对多个模型进行平均或投票来缓解这种情况。这有助于使预测更加可靠，并且不太可能受到数据中噪声的影响。
- 提高模型稳定性和性能： 通过组合在不同数据子集上训练的多个模型，装袋通常会带来更好的整体性能。它有助于提高预测准确性，同时降低模型对数据集中微小变化的敏感性，最终使模型更加可靠。
装袋的缺点：
- 增加计算成本： 由于bagging需要训练多个模型，自然会增加计算成本。训练和聚合许多模型的预测可能非常耗时，尤其是在使用大型数据集或决策树等复杂模型时。
- 对于低方差模型无效： 虽然 bagging 对于高方差模型非常有效，但当应用于线性回归等低方差模型时，它并没有提供太多好处。在这些情况下，各个模型的错误率已经很低，因此聚合预测对改善结果几乎没有帮助。
- 失去可解释性： 通过多个模型的组合，bagging 会降低最终模型的可解释性。例如，在随机森林中，决策过程基于多个决策树，这使得追踪特定预测背后的推理变得更加困难。
我什么时候应该使用套袋？
知道何时在机器学习项目中应用 bagging 是获得最佳结果的关键。这种技术在特定情况下效果很好，但并不总是解决所有问题的最佳选择。
当您的模型容易过度拟合时
bagging 的主要用例之一是模型容易过度拟合，尤其是决策树等高方差模型。这些模型可以在训练数据上表现良好，但通常无法推广到未见过的数据，因为它们与训练集的特定模式过于吻合。
Bagging 通过在不同的数据子集上训练多个模型并进行平均或投票来创建更稳定的预测，从而帮助解决这一问题。这降低了过度拟合的可能性，使模型能够更好地处理新的、看不见的数据。
当您想要提高稳定性和准确性时
如果您希望提高模型的稳定性和准确性，而又不影响可解释性，那么 bagging 是一个很好的选择。多个模型的预测的聚合使最终结果更加强大，这在涉及噪声数据的任务中特别有用。
无论您是在处理分类问题还是回归任务，装袋都可以帮助产生更一致的结果，在保持效率的同时提高准确性。
当你有足够的计算资源时
决定是否使用 bagging 的另一个重要因素是计算资源的可用性。由于装袋需要同时训练多个模型，因此计算成本可能会变得很大，尤其是对于大型数据集或复杂模型。
如果您能够获得必要的计算能力，那么 bagging 的好处远远超过成本。但是，如果资源有限，您可能需要考虑替代技术或限制集成中的模型数量。
当您处理高方差模型时
当使用具有高方差且对训练数据波动敏感的模型时，Bagging 特别有用。例如，决策树通常与随机森林形式的装袋一起使用，因为它们的性能往往会根据训练数据而有很大差异。
通过在不同的数据子集上训练多个模型并结合它们的预测，装袋可以平滑方差，从而形成更可靠的模型。
当你需要一个强大的分类器时
如果您正在研究分类问题并且需要一个强大的分类器，那么装袋可以显着提高预测的稳定性。例如，随机森林（装袋分类器示例）可以通过聚合许多单独决策树的结果来提供更准确的预测。
当单个模型可能较弱，但它们的综合能力会产生强大的整体模型时，这种方法效果很好。
此外，如果您正在寻找合适的平台来有效地实施装袋技术，可以使用诸如 数据块和雪花 提供一个统一的分析平台，对于管理大型数据集和运行装袋等集成方法非常有用。
如果您正在寻找一种技术含量较低的机器学习方法， 无代码人工智能工具 也可能是一种选择。虽然他们不直接关注 bagging 等先进技术，但许多无代码平台使用户能够试验包括 bagging 在内的集成学习方法，而不需要大量的编码技能。
这使您可以应用更复杂的技术并仍然实现准确的预测，同时关注模型性能而不是底层代码。
最后的想法
机器学习中的装袋是一种强大的技术，可以通过减少方差和提高稳定性来增强模型性能。通过聚合在不同数据子集上训练的多个模型的预测，bagging 有助于创建更准确、更可靠的结果。它对于决策树等高方差模型特别有效，它有助于防止过度拟合并确保模型更好地泛化到未见过的数据。
虽然装袋具有显着的优势，例如减少过度拟合和提高准确性，但它确实需要一些权衡。由于训练多个模型，它增加了计算成本，并且可能降低可解释性。尽管存在这些缺点，但它提高性能的能力使其成为集成学习中的一种有价值的技术，与提升和堆叠等其他方法一样。
您在机器学习项目中使用过 bagging 吗？让我们知道您的经验以及它对您有何帮助！
