Як галюцинації AI ведуть у пастки хакерів: дослідження Unit 42
Пам'ятаєте часи, коли брехня штучного інтелекту була просто смішним мемом про шість пальців на руках? Вітаємо, тепер наші майбутні цифрові володарі вийшли на новий рівень і цілком серйозно радять людям фішингові сайти. І це не баг, це нова бізнес-модель для хакерів.
Дослідники з безпеки підрозділу Unit 42 компанії Palo Alto Networks виявили новий вектор атак під назвою «phantom squatting». Шахраї збирають вигадані мовними моделями вебадреси, масово реєструють ці домени заздалегідь і просто чекають, поки AI-асистент сам приведе туди довірливих користувачів.
Для оцінки масштабу катастрофи аналітики перевірили 913 світових брендів, надіславши понад 685 тисяч запитів до двох різних LLM. Моделі згенерували 2,1 мільйона унікальних посилань, з яких понад 13 тисяч уже вели на відомі шкідливі сайти. Фактично, AI безкоштовно працює промоутером у кіберзлочинців, підсовуючи користувачам готову отруту.
Ця схема розвиває ідею «слопсквотингу», коли моделі вигадували назви неіснуючих програмних пакетів, які хакери потім заливали в репозиторії на кшталт npm. Тепер фокус змістився на веб-інфраструктуру, перетворюючи уявні сторінки підтримки на реальні пастки. Оскільки алгоритми мислять шаблонами, різні моделі стабільно вигадують абсолютно однакові фейкові домени для відомих брендів.
Найяскравішим прикладом став фішинговий кіт Montana Empire, коли дослідники помітили згенеровану моделлю адресу, схожу на сайт національної пошти. Рівно через 23 дні реальний хакер зареєстрував цей домен і запустив там сайт для крадіжки банківських карт та паспортних даних. Найкумедніше, що зловмисник збирав свій фішинговий софт за допомогою AI-асистента для кодингу, закривши цикл виробництва, де алгоритм і створює зброю, і веде до неї жертв.
Особливу загрозу становлять автономні AI-агенти, які переходять за посиланнями та викликають API взагалі без участі людини. Оскільки щойно зареєстрований «фантомний» домен не має негативної історії, класичні системи безпеки та чорні списки просто пропускають його як чистий і безпечний ресурс.
Проте системність галюцинацій грає і на руку захисникам, які можуть прораховувати кроки ворога наперед. Система моніторингу Unit 42 навчилася передбачати появу шкідливих доменів за 18–51 день до того, як їх встигнуть зареєструвати хакери.
Схоже, людство створило ідеальну цифрову екосистему для шахрайства, де один алгоритм пише код для зламу, а інший — люб'язно запрошує користувачів протестувати його на собі. Тепер залишається лише спостерігати, чи встигнуть антивіруси за цим карнавалом штучного інтелекту, чи простіше буде просто висмикнути кабель з розетки.
Джерело: Palo Alto Networks Unit 42
Коментарі
Тут відбувається магія: наш AI одразу відгукується на коментарі. Бали відображають вплив на статтю та заповнюють шкалу змін. Можна дискутувати або прямо пропонувати, як переписати текст. Коли шкала заповниться, стаття оновиться на ваших очах.