Bagging (Bootstrap Aggregating):
- Idea: Zmniejsza wariancję modelu poprzez trenowanie wielu modeli na różnych podzbiorach danych (losowych próbkach z powtórzeniami) i łączenie ich wyników.
- Proces: Tworzy wiele modeli (np. drzew decyzyjnych) na różnych próbkach danych, a wyniki są uśredniane (dla regresji) lub głosowane (dla klasyfikacji).
- Przykład: Random Forest.
Boosting:
- Idea: Poprawia dokładność modelu przez sekwencyjne trenowanie modeli, gdzie każdy kolejny model koryguje błędy poprzednich.
- Proces: Buduje modele jeden po drugim, koncentrując się na trudniejszych przykładach, które poprzednie modele klasyfikowały źle.
- Przykład: AdaBoost, Gradient Boosting Machines (GBM), XGBoost.
Stacking:
- Idea: Łączy różne modele bazowe w celu uzyskania lepszej ogólnej wydajności, wykorzystując model nadrzędny do integracji wyników.
- Proces: Trenowanie wielu różnych modeli na danych treningowych, a następnie używanie ich prognoz jako cech wejściowych dla modelu meta (nadrzędnego), który dokonuje ostatecznej predykcji.
- Przykład: Model meta może być regresją logistyczną lub innym modelem, który uczy się, jak najlepiej łączyć przewidywania modeli bazowych.