L’un des aspects de l’apprentissage automatique, sinon le plus important, consiste à obtenir des prédictions précises et fiables. Une approche innovante pour atteindre cet objectif qui a gagné en importance est le Bootstrap Aggregating, plus communément appelé bagging en apprentissage automatique. Cet article discutera de l'ensachage dans l'apprentissage automatique, comparera l'ensachage et le boosting dans l'apprentissage automatique, fournira un exemple de classificateur d'ensachage, expliquera le fonctionnement de l'ensachage et explorera les avantages et les inconvénients de l'ensachage dans l'apprentissage automatique.
Qu’est-ce que l’ensachage dans l’apprentissage automatique ?
Ces deux images sont les seules images pertinentes utilisées dans les articles populaires, l'une ou les deux peuvent être utilisées (l'une ici et l'autre ailleurs) si Design en fait des versions nuageuses.
Qu’est-ce que l’ensachage ?
Imaginez que vous essayez de deviner le poids d’un objet en demandant leurs estimations à plusieurs personnes. Individuellement, leurs estimations peuvent varier considérablement, mais en faisant la moyenne de toutes les estimations, vous pouvez arriver à un chiffre plus fiable. C’est l’essence même du bagging : combiner les sorties de plusieurs modèles pour produire une prédiction plus précise et plus robuste.
Le processus commence par la création de plusieurs sous-ensembles de l'ensemble de données d'origine via le bootstrap, qui est un échantillonnage aléatoire avec remplacement. Chaque sous-ensemble est utilisé pour entraîner indépendamment un modèle distinct.
Ces modèles individuels, souvent appelés « apprenants faibles », pourraient ne pas fonctionner exceptionnellement bien à eux seuls en raison d’une variance élevée. Cependant, lorsque leurs prédictions sont regroupées, généralement en faisant une moyenne pour les tâches de régression ou en votant à la majorité pour les tâches de classification, le résultat combiné dépasse souvent les performances de n'importe quel modèle unique.
Un exemple bien connu de classificateur d’ensachage est l’algorithme Random Forest, qui construit un ensemble d’arbres de décision pour améliorer les performances prédictives. Cela dit, le bagging ne doit pas être confondu avec le renforcement de l'apprentissage automatique, qui adopte une approche différente en entraînant des modèles de manière séquentielle pour réduire les biais, tandis que le bagging fonctionne en entraînant des modèles en parallèle pour réduire la variance.
Le bagging et le boosting dans l’apprentissage automatique visent tous deux à améliorer les performances du modèle, mais ils ciblent différents aspects du comportement du modèle.
Pourquoi l’ensachage est-il utile ?
L’un des principaux avantages du bagging dans l’apprentissage automatique est sa capacité à réduire la variance, aidant ainsi les modèles à mieux généraliser les données invisibles. Le bagging est particulièrement bénéfique lorsqu'il s'agit d'algorithmes sensibles aux fluctuations des données d'entraînement, tels que les arbres de décision.
En empêchant le surajustement, cela garantit un modèle plus stable et plus fiable. Lorsque l'on compare le bagging et le boosting dans l'apprentissage automatique, le bagging se concentre sur la réduction de la variance en entraînant plusieurs modèles en parallèle, tandis que le boosting vise à réduire les biais en entraînant les modèles de manière séquentielle.
Un exemple d’apprentissage automatique peut être vu dans la prévision des risques financiers, où plusieurs arbres de décision sont formés sur différents sous-ensembles de données historiques de marché. En agrégeant leurs prédictions, l’ensachage crée un modèle de prévision plus robuste, réduisant ainsi l’impact des erreurs individuelles du modèle.
Essentiellement, l’apprentissage automatique exploite la sagesse collective de plusieurs modèles pour fournir des prédictions plus précises et plus fiables que celles dérivées de modèles individuels seuls.
Comment fonctionne l'ensachage dans l'apprentissage automatique : étape par étape
Pour bien comprendre comment le bagging améliore les performances du modèle, décomposons le processus étape par étape.
Prendre plusieurs échantillons d'amorçage à partir de l'ensemble de données
La première étape du regroupement en apprentissage automatique consiste à créer plusieurs nouveaux sous-ensembles de l'ensemble de données d'origine à l'aide du bootstrapping. Cette technique implique un échantillonnage aléatoire des données avec remplacement, de sorte que certains points de données peuvent apparaître plusieurs fois dans le même sous-ensemble, tandis que d'autres peuvent ne pas apparaître du tout. Ce processus est effectué pour garantir que chaque modèle est formé sur une version légèrement différente des données.
Former un modèle distinct sur chaque échantillon
Chaque échantillon bootstrap est ensuite utilisé pour former un modèle distinct, généralement du même type, comme des arbres de décision. Ces modèles, souvent appelés « apprenants de base » ou « apprenants faibles », sont formés indépendamment sur leurs sous-ensembles respectifs. Un exemple de classificateur d’ensachage est l’arbre de décision utilisé dans l’algorithme Random Forest, qui constitue l’épine dorsale de nombreux modèles basés sur l’ensachage. Bien que chaque modèle individuel puisse ne pas fonctionner correctement à lui seul, chacun apporte des informations uniques basées sur ses données d'entraînement spécifiques.
Agréger les prédictions
Après avoir entraîné les modèles, leurs prédictions sont agrégées pour former le résultat final.
- Pour les tâches de régression, les prédictions sont moyennées, réduisant ainsi la variance du modèle.
- Pour les tâches de classification, la prédiction finale est déterminée par vote majoritaire, où la classe prédite par la plupart des modèles est sélectionnée. Cette méthode fournit une prédiction plus stable par rapport à la sortie d’un modèle unique.
Prédiction finale
En combinant les prédictions de plusieurs modèles, le bagging réduit l'impact des erreurs d'un modèle donné, améliorant ainsi la précision globale. Ce processus d'agrégation est ce qui fait du bagging une technique si puissante, en particulier dans les tâches d'apprentissage automatique où des modèles à forte variance tels que des arbres de décision sont utilisés. Il atténue efficacement les incohérences dans les prédictions des modèles individuels, ce qui permet d'obtenir un modèle final plus solide.
Bien que l’ensachage soit efficace pour stabiliser les prédictions, il convient de garder à l’esprit le risque de surajustement si les modèles de base sont trop complexes, malgré l’objectif général de l’ensachage qui est de le réduire.
Cela coûte également cher en termes de calcul, donc ajuster le nombre d’apprenants de base ou envisager des méthodes d’ensemble plus efficaces peut aider, et choisir le bon GPU pour ML et DL est toujours important.
Assurez-vous d'avoir une certaine diversité de modèles parmi les apprenants de base pour de meilleurs résultats, et si vous travaillez avec des données déséquilibrées, des techniques telles que SMOTE peuvent être utiles avant d'appliquer l'ensachage pour éviter de mauvaises performances dans les classes minoritaires.
Applications de l'ensachage
Maintenant que nous avons exploré le fonctionnement de l’ensachage, il est temps de voir où il est réellement utilisé dans le monde réel. L’ensachage a trouvé sa place dans diverses industries, contribuant ainsi à améliorer la précision et la stabilité des prévisions dans des scénarios complexes. Examinons de plus près certaines des applications les plus percutantes :
- Classification et régression : L'ensachage est largement utilisé pour améliorer les performances des classificateurs et des régresseurs en réduisant la variance et en empêchant le surajustement. Par exemple, les forêts aléatoires, qui utilisent l'ensachage, sont efficaces dans des tâches telles que la classification d'images et la modélisation prédictive.
- Détection d'anomalies : Dans des domaines tels que la détection des fraudes et la détection des intrusions sur les réseaux, les algorithmes de bagging offrent des performances supérieures en identifier efficacement les valeurs aberrantes et les anomalies dans les données.
- Évaluation des risques financiers : Les techniques d'ensachage sont utilisées dans le secteur bancaire pour améliorer les modèles de notation de crédit, améliorant ainsi la précision des processus d'approbation des prêts et des évaluations des risques financiers.
- Diagnostic médical : Dans le domaine de la santé, l’ensachage a été appliqué pour détecter des troubles neurocognitifs comme la maladie d’Alzheimer en analysant des ensembles de données IRM, contribuant ainsi à diagnostic précoce et planification du traitement.
- Traitement du langage naturel (NLP) : Le bagging contribue à des tâches telles que la classification de texte et l'analyse des sentiments en agrégeant les prédictions de plusieurs modèles, conduisant à une compréhension plus solide du langage.
Avantages et inconvénients de l'ensachage
Comme toute technique d’apprentissage automatique, l’ensachage présente ses propres avantages et inconvénients. Les comprendre peut vous aider à déterminer quand et comment utiliser l’ensachage dans vos modèles.
Avantages de l'ensachage :
- Réduit la variance et le surajustement : L’un des avantages les plus importants du bagging dans l’apprentissage automatique est sa capacité à réduire la variance, ce qui permet d’éviter le surapprentissage. En entraînant plusieurs modèles sur différents sous-ensembles de données, le bagging vous donne la certitude que le modèle ne devient pas trop sensible aux fluctuations des données d'entraînement, ce qui donne lieu à un modèle plus généralisable et plus stable.
- Fonctionne bien avec les modèles à forte variance : Le bagging est particulièrement efficace lorsqu'il est utilisé avec des modèles à forte variance comme les arbres de décision. Ces modèles ont tendance à surajuster les données et à présenter une variance élevée, mais le regroupement atténue ce phénomène en faisant la moyenne ou en votant sur plusieurs modèles. Cela contribue à rendre les prédictions plus fiables et moins susceptibles d’être influencées par le bruit dans les données.
- Améliore la stabilité et les performances du modèle : En combinant plusieurs modèles formés sur différents sous-ensembles de données, le bagging conduit souvent à de meilleures performances globales. Cela contribue à améliorer la précision prédictive tout en réduisant la sensibilité du modèle aux petits changements dans l'ensemble de données, ce qui rend finalement le modèle plus fiable.
Inconvénients de l’ensachage :
- Augmente le coût de calcul : Étant donné que l’ensachage nécessite la formation de plusieurs modèles, cela augmente naturellement le coût de calcul. La formation et l'agrégation des prédictions de nombreux modèles peuvent prendre du temps, en particulier lors de l'utilisation de grands ensembles de données ou de modèles complexes tels que des arbres de décision.
- Pas efficace pour les modèles à faible variance : Bien que l’ensachage soit très efficace pour les modèles à variance élevée, il n’apporte pas beaucoup d’avantages lorsqu’il est appliqué à des modèles à faible variance tels que la régression linéaire. Dans ces cas, les modèles individuels ont déjà de faibles taux d’erreur, de sorte que l’agrégation des prédictions n’améliore guère les résultats.
- Perte d'interprétabilité : Avec la combinaison de plusieurs modèles, le bagging peut réduire l’interprétabilité du modèle final. Par exemple, dans Random Forest, le processus de prise de décision est basé sur plusieurs arbres de décision, ce qui rend plus difficile la traçabilité du raisonnement derrière une prédiction spécifique.
Quand dois-je utiliser l’ensachage ?
Savoir quand appliquer l’ensachage dans les projets d’apprentissage automatique est essentiel pour obtenir des résultats optimaux. Cette technique fonctionne bien dans des situations spécifiques, mais ce n’est pas toujours le meilleur choix pour chaque problème.
Lorsque votre modèle est sujet au surajustement
L'un des principaux cas d'utilisation du bagging est lorsque votre modèle est sujet au surajustement, en particulier avec des modèles à forte variance comme les arbres de décision. Ces modèles peuvent donner de bons résultats sur les données d'entraînement, mais ne parviennent souvent pas à se généraliser à des données invisibles, car ils s'adaptent trop étroitement aux modèles spécifiques de l'ensemble d'entraînement.
Le bagging aide à lutter contre ce problème en entraînant plusieurs modèles sur différents sous-ensembles de données et en faisant la moyenne ou en votant pour créer une prédiction plus stable. Cela réduit le risque de surajustement, ce qui rend le modèle plus apte à gérer de nouvelles données invisibles.
Lorsque vous souhaitez améliorer la stabilité et la précision
Si vous cherchez à améliorer la stabilité et la précision de votre modèle sans trop compromettre l’interprétabilité, le bagging est un excellent choix. L'agrégation des prédictions de plusieurs modèles rend le résultat final plus puissant, ce qui est particulièrement utile dans les tâches impliquant des données bruitées.
Que vous résolviez des problèmes de classification ou des tâches de régression, l'ensachage peut aider à produire des résultats plus cohérents, améliorant ainsi la précision tout en maintenant l'efficacité.
Lorsque vous disposez de ressources informatiques suffisantes
Un autre facteur important pour décider d’utiliser ou non l’ensachage est la disponibilité des ressources informatiques. Étant donné que l’ensachage nécessite la formation de plusieurs modèles simultanément, le coût de calcul peut devenir important, en particulier avec de grands ensembles de données ou des modèles complexes.
Si vous avez accès à la puissance de calcul nécessaire, les avantages de l’ensachage dépassent de loin les coûts. Cependant, si les ressources sont limitées, vous souhaiterez peut-être envisager des techniques alternatives ou limiter le nombre de modèles dans votre ensemble.
Lorsque vous avez affaire à des modèles à forte variance
L'ensachage est particulièrement utile lorsque vous travaillez avec des modèles présentant une variance élevée et sensibles aux fluctuations des données d'entraînement. Les arbres de décision, par exemple, sont souvent utilisés avec un regroupement sous forme de forêts aléatoires, car leurs performances ont tendance à varier considérablement en fonction des données d'entraînement.
En entraînant plusieurs modèles sur différents sous-ensembles de données et en combinant leurs prédictions, le bagging atténue la variance, conduisant à un modèle plus fiable.
Quand vous avez besoin d'un classificateur robuste
Si vous travaillez sur des problèmes de classification et avez besoin d'un classificateur robuste, l'ensachage peut améliorer considérablement la stabilité de vos prédictions. Par exemple, une forêt aléatoire, qui est un exemple de classificateur d'ensachage, peut fournir une prédiction plus précise en agrégeant les résultats de nombreux arbres de décision individuels.
Cette approche fonctionne bien lorsque les modèles individuels peuvent être faibles, mais leur puissance combinée donne lieu à un modèle global solide.
De plus, si vous recherchez la bonne plateforme pour mettre en œuvre efficacement les techniques d'ensachage, des outils tels que Databricks et flocon de neige fournir une plate-forme d'analyse unifiée qui peut être très utile pour gérer de grands ensembles de données et exécuter des méthodes d'ensemble telles que l'ensachage.
Si vous recherchez une approche moins technique de l'apprentissage automatique, outils d'IA sans code cela pourrait aussi être une option. Bien qu'elles ne se concentrent pas directement sur des techniques avancées telles que le bagging, de nombreuses plates-formes sans code permettent aux utilisateurs d'expérimenter des méthodes d'apprentissage d'ensemble, y compris le bagging, sans avoir besoin de compétences approfondies en codage.
Cela vous permet d'appliquer des techniques plus sophistiquées tout en obtenant des prédictions précises tout en vous concentrant sur les performances du modèle plutôt que sur le code sous-jacent.
Pensées finales
Le bagging dans l'apprentissage automatique est une technique puissante qui améliore les performances du modèle en réduisant la variance et en améliorant la stabilité. En agrégeant les prédictions de plusieurs modèles formés sur différents sous-ensembles de données, le bagging permet de créer des résultats plus précis et plus fiables. Il est particulièrement efficace pour les modèles à forte variance tels que les arbres de décision, où il permet d’éviter le surajustement et garantit que le modèle généralise mieux les données invisibles.
Bien que l'ensachage présente des avantages significatifs, tels que la réduction du surajustement et l'amélioration de la précision, il comporte quelques compromis. Cela augmente le coût de calcul en raison de la formation de plusieurs modèles et peut réduire l'interprétabilité. Malgré ces inconvénients, sa capacité à améliorer les performances en fait une technique précieuse dans l’apprentissage d’ensemble, aux côtés d’autres méthodes telles que le boosting et l’empilement.
Avez-vous utilisé le bagging dans des projets d'apprentissage automatique ? Faites-nous part de votre expérience et comment cela a fonctionné pour vous !
