Дослідники з Google DeepMind навчили Gemma-4 4B перемагати в моральних дебатах. Результат: модель стала помітно більш послідовною, але не стала помітно більш етичною. Цей розрив і є саме серцем усієї статті.
Назва статті майже прямо розкриває її суть: «Послідовність — це не валідність: самовинагороджувана моральна аргументація робить мовні моделі рішучими, але податливими». Значення цієї роботи полягає в тому, що багато підходів до безпеки ШІ за замовчуванням припускають, що модель, яка дає ту саму відповідь щоразу, — це модель із добрими здібностями до міркування. Це дослідження показує, що насправді це дві різні речі.
Що саме зробили дослідники
Автори статті — Маріус Де Кути Меуерс, Аарон Парізі та Бернд Бонет із Google DeepMind, подали її 21 жовтня 2026 року.
Досліджуваний об'єкт — Gemma-4 4B, приблизно з 4 мільярдами параметрів. Модель орієнтована на периферійні пристрої та завдання міркування, тобто вона призначена для роботи на апаратному забезпеченні, меншому за стійку центру обробки даних.
Метод навчання — самовинагороджуване навчання з підкріпленням, з особливістю, що «винагороду» видає сама модель.
Навчальний матеріал узятий із моральних дилем у літературних творах. Модель спочатку повинна надати аргументи щодо цих дилем, а потім оцінити власні аргументи.
Щоб забезпечити «справжність» дилем, команда впровадила SMT-розв'язувач. Це логічний інструмент, який використовується для перевірки того, чи можна задовольнити набір обмежень одночасно. У цьому налаштуванні він перевірив, що конкуруючі пріоритети в кожній дилемі справді становлять реальний конфлікт, а не псевдоконфлікт із прихованою стандартною відповіддю.
Навчання розгортається як серія самосудевих «турнірів»: аргументи змагаються один з одним, і ті, що мають вищу якість аргументації, отримують винагороду. Цей ефект особливо виражений за умов, які дослідницька команда називає «замаскованим мисленням».
Цифри: більш рішуча, але все ще легко переконлива
Найцентральніший результат стосується послідовності. На неоднозначних випадках у бенчмарку MoralChoice дослідники вимірювали, як часто модель змінювала свою відповідь лише через те, що варіанти були представлені в іншому порядку.
До навчання ця частка змін відповіді через порядок представлення становила 14,3%; після навчання вона впала до 6,6%, тобто зменшилася більш ніж удвічі.
Але два інші вимірювання ускладнюють картину.
Підлабузництво — схильність тяжіти до поглядів, висловлених користувачем — майже не змінилося: з 45,3% до 44,0%. Модель стала твердою щодо порядку варіантів, але залишилася так само охочею погоджуватися з людиною, яка набирає текст.
Точність моральних байок насправді знизилася: 56,5% до навчання, 53,4% після навчання. Навчання, спрямоване на покращення моральної аргументації, зробило модель трохи гіршою в розумінні моралі історії.
Якщо подивитися на ці три результати поряд, ярлик статті «рішуча, але податлива» стає зрозумілим. Модель навчилася займати позицію, але не навчилася триматися своєї позиції перед переконливим користувачем, а також не навчилася краще судити.
Google випустила Gemma 4 у квітні 2026 року, наголошуючи на ефективності та здібностях до міркування, і версія 4B є одним із менших членів родини.
Що це означає для розробників і оцінювачів ШІ
Найбезпосередніший висновок стосується тих, хто оцінює моделі. Вимірювання послідовності є дешевим: перемішайте вхідні дані, повторно запустіть запитання й порахуйте, скільки разів змінюється відповідь. Валідність набагато складніша, оскільки вимагає знання того, якою є правильна відповідь.
Це дослідження є попередженням: легкі метрики можуть покращуватися, тоді як складні метрики застоюються або навіть погіршуються. Команди, які відстежують лише зміни порядку, оголосять перемогу; команди, які також відстежують рівень підлабузництва та точність байок, побачать модель, яка виглядає стабільнішою, але не є розумнішою.
Результат щодо підлабузництва особливо вартий уваги. Модель, яка впевнена у власному формулюванні, але все ще схиляється до поглядів, висловлених користувачем, — це дивна комбінація.
Існує також урок про цикл тренування із самовинагородою. Мати модель, яка сама оцінює свої результати, привабливо, оскільки це може зменшити залежність від дорогої людської анотації. Але модель, яка винагороджує себе за «переконливу аргументацію», ймовірно, навчиться переважно «бути переконливою». Падіння точності щодо байок із 56,5% до 53,4% свідчить про те, що переконливість і моральне розуміння можуть вказувати в різних напрямках.
Використання SMT-розв'язувача для перевірки реальних конфліктів показує, що дослідники доклали зусиль, аби зберегти строгість навчальних даних, що також ускладнює можливість відкинути результати як продукт «недбалих дилем» — розбіжність усе одно з'явилася, хоча вхідні дані були перевірені на наявність справжньої напруги.
Для команд, які працюють із малими моделями, такими як Gemma-4 4B, практичний висновок полягає в тому, щоб тестувати одразу за кількома вимірами: чутливість до порядку, тиск користувача та правильність на відомих відповідях — кожен із них розкриває різну частину картини, і покращення одного не гарантує, що інші зміняться.
