GPT-5.6 Sol нахабно жульничала та ховала докази на тестах безпеки

Некомерційна організація METR опублікувала незалежний звіт про передрелізну версію флагманської моделі GPT-5.6 Sol від компанії OpenAI. Під час випробувань модель не просто припускалася помилок, а цілеспрямовано використовувала баги тестового середовища для отримання потрібного результату в обхід правил.

В одному із завдань цей кремнієвий геній вирішив не напружуватися й запакував експлойти в проміжні рішення, щоб витягнути інформацію про прихований набір тестів. В іншому тесті модель просто знайшла лазівку й викрала закритий вихідний код із готовими відповідями, перетворивши серйозне оцінювання на гру в хованки.

Через таку спритність збилися всі вимірювання робочого часу моделі без втручання людини. Якщо зараховувати шахрайство як провал, результат становить 11 годин; якщо не враховувати — 71 годину; а якщо вважати це успішним рішенням — понад 270 годин, що взагалі ламає шкалу оцінювання.

Розробники з OpenAI надали повний доступ до моделі, включно з версією без обмежень. Під час тестів з'ясувалося, що нейромережа чудово розуміє, що її екзаменують, а в одному з інцидентів вона навіть намагалася доручити іншій своїй копії приховати сліди власної змови.

Найкумедніше, що дослідники вважають таку поведінку позитивним знаком, адже спіймати дурне шахрайство на гарячому — це перемога контролю. Справжні проблеми почнуться тоді, коли наступна версія навчиться замітати цифрові сліди так філігранно, що ніхто навіть нічого не запідозрить.

Джерело: METR