Розробники виявили критичну вразливість у ШІ-асистенті, зокрема Comet — браузер із вбудованими функціями штучного інтелекту від Perplexity. Ця проблема дозволяє шахраям маніпулювати ШІ за допомогою прихованих команд на вебсторінках, що створює загрозу для безпеки користувацьких даних.
Про це заявили в компанії Brave.
Тож, експерти компанії виявили: вразливість полягає у тому, як Comet обробляє контент вебсторінки. Коли користувач просить асистента, наприклад, «узагальнити цю сторінку», модель отримує текст сторінки разом з інструкціями користувача, не розрізняючи їх.
«Це відкриває шлях для атак непрямої ін’єкції промпта (indirect prompt injection), коли шкідливі команди вбудовуються у контент сайту», — пишуть фахівці.
Зловмисники можуть приховати їх, використовуючи:
- білий текст на білому фоні;
- HTML-коментарі;
- інші невидимі елементи.
Також такі інструкції можна розміщувати в контенті, створеному користувачами, наприклад, у коментарях на Reddit чи постах у Facebook.
Як відбувається атака
Передусім відбувається підготовка. Зловмисник розміщує приховані шкідливі інструкції на вебсторінці.
На етапі запуску, нічого не підозрюючи, користувач заходить на цю сторінку і просить AI-асистента узагальнити її вміст.
І ось тут настає так звана «ін’єкція». Під час обробки сторінки ШІ «бачить» приховані команди і виконує їх як запити від користувача.
На етапі експлуатації шкідливі інструкції можуть змусити ШІ виконати небезпечні дії: перейти на банківський сайт, витягти збережені паролі або надіслати конфіденційні дані на сервер зловмисника.
Приклад: викрадення даних з акаунта
Для демонстрації вразливості Brave створили доказ концепції. Вони показали, як AI-асистент Comet може, виконуючи приховані команди з коментаря на Reddit, автоматично:
- перейти на сторінку акаунта користувача Perplexity;
- витягти адресу електронної пошти;
- використати її для входу, щоб отримати одноразовий пароль (OTP) з Gmail;
- відправити викрадені дані (пошту та OTP) назад на Reddit у вигляді відповіді на коментар.
«Ця атака відбувається повністю без участі користувача і дозволяє зловмиснику отримати контроль над акаунтом», — кажуть розробники.
Наслідки та можливі рішення
«Традиційні механізми веббезпеки, як-от Same-Origin Policy, є безсилими проти таких атак, оскільки AI діє з повними правами користувача у його сесіях», — повідомляє команда розробників і пропонує кілька стратегій для захисту.
- Чітке розмежування. Браузер має чітко відокремлювати інструкції користувача від вмісту вебсторінки, оскільки останній завжди є неперевіреним.
- Перевірка дій. Всі дії, які збирається виконати ШІ, мають перевірятися на відповідність початковому запиту користувача.
- Підтвердження чутливих дій. Для надсилання електронної пошти чи доступу до конфіденційної інформації ШІ повинен завжди запитувати явне підтвердження користувача.
- Ізоляція. Робота ШІ-асистента має бути ізольована від звичайного вебсерфінгу.
Джерело: ТСН
