Трансформери та механізм уваги: як це працює

Трансформери — це архітектура нейронних мереж, представлена 2017 року у статті з промовистою назвою «Attention Is All You Need». Вона докорінно змінила обробку природної мови й стала фундаментом для ChatGPT, перекладачів та більшості сучасних мовних моделей.

Що було до трансформерів

Раніше для роботи з текстом використовували рекурентні мережі (RNN та LSTM). Вони читали текст послідовно, слово за словом, зберігаючи певну «памʼять» про попереднє. Проблем було дві. По-перше, послідовна обробка повільна й погано розпаралелюється. По-друге, у довгих реченнях мережа «забувала» початок, поки доходила до кінця.

Головна ідея: увага

Трансформери відмовилися від послідовного читання. Замість цього вони дивляться на всі слова одночасно й для кожного визначають, наскільки інші слова речення важливі саме для нього. Це і є механізм уваги (attention).

Розгляньмо речення: «Кіт не переліз через паркан, бо він був надто високий». До чого стосується слово «він» — до кота чи паркана? Людина розуміє, що до паркана. Механізм уваги дозволяє моделі встановити цей звʼязок, приділивши слову «паркан» більшу вагу під час обробки слова «він».

Як працює self-attention

Для кожного слова модель створює три вектори: запит (query), ключ (key) і значення (value). Спрощено це працює так: запит одного слова порівнюється з ключами всіх інших слів, щоб визначити, наскільки вони релевантні. На основі цих оцінок береться зважена сума значень. У результаті представлення кожного слова збагачується контекстом усього речення.

Оскільки всі ці порівняння відбуваються одночасно, обчислення чудово розпаралелюються на відеокартах — саме це дозволило навчати величезні моделі.

Багатоголова увага

Трансформери використовують не один, а кілька механізмів уваги паралельно — так звану багатоголову увагу (multi-head attention). Кожна «голова» може зосереджуватися на різних типах звʼязків: одна відстежує граматику, інша — змістові залежності, ще інша — порядок слів. Разом вони дають багатше розуміння тексту.

Позиційне кодування

Оскільки трансформер дивиться на всі слова одразу, він сам по собі не знає їхнього порядку. А в мові порядок важливий: «собака вкусив людину» і «людина вкусила собаку» — різні речі. Тому до кожного слова додають позиційне кодування — інформацію про його місце в реченні.

Чому це стало проривом

Трансформери поєднали три речі: здатність враховувати весь контекст одразу, ефективне розпаралелювання й хорошу масштабованість. Виявилося, що зі збільшенням моделі та обсягу даних якість продовжує зростати. Саме це відкрило шлях до великих мовних моделей із мільярдами параметрів.

Не лише текст

Хоча трансформери створювали для мови, згодом їх успішно застосували до зображень (Vision Transformers), звуку, коду й навіть передбачення структури білків. Архітектура виявилася напрочуд універсальною.

Підсумок

Трансформери замінили послідовне читання тексту механізмом уваги, який дозволяє моделі оцінювати важливість кожного слова відносно всіх інших одночасно. Багатоголова увага, позиційне кодування та чудова здатність до розпаралелювання зробили цю архітектуру основою сучасного штучного інтелекту — від мовних моделей до систем компʼютерного зору.