Перенавчання моделі: чому воно виникає і як його подолати

Перенавчання (overfitting) — одна з найпоширеніших проблем у машинному навчанні. Це ситуація, коли модель чудово справляється з тренувальними даними, але погано працює на нових. Простими словами: вона запамʼятала приклади замість того, щоб зрозуміти закономірність.

Аналогія зі студентом

Уявіть студента, який готується до іспиту, зазубрюючи відповіді на конкретні білети минулого року. Якщо на іспиті будуть ті самі питання — він отримає відмінно. Але варто трохи змінити формулювання, і він розгубиться, бо не розумів матеріал, а лише завчив. Перенавчена модель поводиться так само.

Як розпізнати перенавчання

Головна ознака — велика різниця між якістю на тренувальних і на тестових даних. Якщо модель дає 99% точності на тренуванні та 70% на тесті, це майже напевно перенавчання.

Щоб це побачити, дані завжди ділять щонайменше на дві частини: тренувальну, на якій модель навчається, і тестову, яку вона не бачить під час навчання. Ще надійніший спосіб — крос-валідація, коли дані розбивають на кілька частин і по черзі використовують кожну як тестову, а решту — як тренувальну. Це дає стабільнішу оцінку.

Чому воно виникає

Причин зазвичай кілька:

• Занадто складна модель. Модель із великою кількістю параметрів здатна «вигнутися» так, щоб пройти через кожну точку даних, включно з випадковим шумом.
• Замало даних. Коли прикладів мало, модель легко запамʼятовує їх усі.
• Шум і викиди. Якщо в даних багато помилок, модель починає підлаштовуватися й під них.
• Забагато ознак. Зайві або неінформативні ознаки дають моделі більше можливостей знайти хибні закономірності.

Як із цим боротися

Більше даних. Найпростіший і найдієвіший спосіб. Що більше різноманітних прикладів бачить модель, то важче їй просто зазубрити їх.

Спрощення моделі. Іноді менша модель із меншою кількістю параметрів узагальнює краще, ніж складна. Не варто одразу братися за найпотужніший алгоритм.

Регуляризація. Це техніки, що штрафують модель за надмірну складність. Наприклад, L1- та L2-регуляризація додають до функції втрат штраф за великі значення параметрів, стримуючи модель від надто різких підлаштувань.

Dropout. У нейронних мережах під час навчання випадково «вимикають» частину нейронів. Це змушує мережу не покладатися надто сильно на окремі звʼязки й робить її стійкішою.

Рання зупинка (early stopping). Навчання припиняють у момент, коли якість на валідаційних даних перестає покращуватися, не чекаючи, поки модель почне запамʼятовувати тренувальний набір.

Відбір ознак. Прибирання неінформативних ознак зменшує можливості для перенавчання й часто покращує результат.

Протилежна проблема

Варто памʼятати й про недонавчання (underfitting) — коли модель занадто проста, щоб уловити закономірність, і погано працює навіть на тренувальних даних. Мистецтво полягає в тому, щоб знайти баланс між цими двома крайнощами. Цей баланс називають компромісом зсуву й дисперсії (bias-variance tradeoff).

Підсумок

Перенавчання виникає, коли модель запамʼятовує дані замість того, щоб узагальнювати. Розпізнати його допомагає розділення даних на тренувальні й тестові та крос-валідація, а боротися з ним — більше даних, спрощення моделі, регуляризація, dropout, рання зупинка та відбір ознак. Хороша модель — не та, що ідеально відтворює тренувальний набір, а та, що впевнено працює на даних, яких вона ще не бачила.