Ансамблеві методи: Random Forest і градієнтний бустинг

Одна з найпотужніших ідей у машинному навчанні звучить напрочуд просто: багато слабких моделей разом можуть дати кращий результат, ніж одна сильна. Саме на цьому побудовані ансамблеві методи, які й досі домінують у задачах на табличних даних.

Мудрість натовпу

Уявіть, що ви питаєте одного експерта, скільки цукерок у банці. Він, найпевніше, помилиться. Але якщо запитати сотню людей і взяти середнє їхніх відповідей, результат зазвичай виявиться дивовижно точним. Індивідуальні помилки взаємно компенсуються. Ансамблі моделей використовують той самий принцип.

Базовим «будівельним блоком» ансамблів найчастіше є дерево рішень — проста модель, що послідовно ставить питання про дані («вік більший за 30?», «дохід вищий за середній?») і на основі відповідей робить прогноз. Окреме дерево легко перенавчається, але коли їх багато, ситуація змінюється.

Беггінг і Random Forest

Беггінг (bagging, від bootstrap aggregating) полягає в тому, щоб натренувати багато моделей на різних випадкових підвибірках даних, а потім усереднити їхні прогнози.

Random Forest — найвідоміший приклад беггінгу. Він будує сотні дерев, кожне з яких навчається на випадковій підвибірці даних і на випадковій підмножині ознак. Завдяки цьому дерева виходять різними, а їхнє усереднення суттєво зменшує перенавчання окремих дерев.

Переваги Random Forest:

добре працює «з коробки», майже не потребуючи налаштування;
стійкий до перенавчання й до шуму в даних;
показує, які ознаки найважливіші;
легко розпаралелюється, бо дерева незалежні одне від одного.

Бустинг і градієнтний бустинг

Бустинг влаштований інакше. Замість того щоб будувати дерева незалежно, він робить це послідовно: кожна наступна модель зосереджується на помилках попередніх.

Градієнтний бустинг будує дерева одне за одним так, щоб кожне нове дерево виправляло залишкові помилки вже наявного ансамблю. Модель поступово стає точнішою, крок за кроком. Такі бібліотеки, як XGBoost, LightGBM та CatBoost, роблять цей підхід дуже швидким і зазвичай є першим вибором для змагань і бізнес-задач на табличних даних.

Переваги бустингу — дуже висока точність. Плата за неї — більша схильність до перенавчання за неправильного налаштування та чутливість до гіперпараметрів.

Беггінг чи бустинг

Ключова різниця в тому, як методи борються з помилкою. Беггінг (Random Forest) зменшує дисперсію, усереднюючи незалежні моделі, і рідко перенавчається. Бустинг зменшує зсув, послідовно виправляючи помилки, і дає вищу точність, але потребує обережнішого налаштування.

На практиці порада така: почніть із Random Forest як надійної базової моделі, яку легко налаштувати. Якщо потрібно вичавити максимум точності й ви готові присвятити час підбору гіперпараметрів — переходьте до градієнтного бустингу.

Коли ансамблі — не найкраще рішення

Ансамблі чудові для табличних даних, але для зображень, звуку чи тексту зазвичай перемагають нейронні мережі. Крім того, ансамблі складніше інтерпретувати, ніж одне дерево, і вони можуть бути важчими для розгортання в системах, де критична швидкість відповіді.

Підсумок

Ансамблеві методи обʼєднують багато простих моделей у сильнішу. Беггінг, представлений Random Forest, будує незалежні дерева й усереднює їх, знижуючи дисперсію. Бустинг будує дерева послідовно, виправляючи помилки, і дає максимальну точність. Для більшості задач на табличних даних саме ці методи залишаються найнадійнішим і найпродуктивнішим вибором.