Технології 3 хв читання Автор: Єва Семенюк
Дослідники Microsoft показали метод прихованого вбудовування трояна в ШІ-агента
Дослідники Microsoft описали метод Lazarus, який дозволяє вбудувати прихований бекдор у мовну модель без повторного навчання і активувати шкідливу поведінку агента за певним тригером.
Дослідники Microsoft описали метод прихованого вбудовування бекдору в мовну модель, який дозволяє перетворити ШІ-агента на шкідливий інструмент і водночас пройти стандартні перевірки. Метод отримав назву Lazarus. За словами керівника дослідження Дімітріса Папайліопулоса, його ключова особливість полягає в тому, що модель не потрібно перенавчати. Змінюють лише параметри невеликої кількості «сплячих» нейронів.
Згідно з описом дослідників, модифікація торкається менше ніж десяти нейронів. До активації прихованого механізму модель поводиться звичайно під час стандартних тестів і не виявляє нічого підозрілого. Тригером може стати певна фраза, результат роботи інструмента або навіть дата. Після спрацьовування агент видає шкідливу команду, використовуючи дозволи, які йому вже надано. Таким чином загроза не проявляється доти, доки не настане визначена умова.
У експерименті на моделі Nemotron-Terminal-8B змінили сім із понад дванадцяти тисяч нейронів. Модифікована модель видавала шкідливу команду в 98,8% сесій, у яких спрацьовував тригер. Дослідники перевірили метод і на моделях Qwen3.6-27B та Gemma-4-31B-IT, де частка спрацьовувань тригера становила від 51 до 99,5%. Ця різниця свідчить, що ефективність атаки залежить від конкретної архітектури моделі.
У демонстрації агент у тестовому середовищі виконав віддалений скрипт із правами root. Це показує, яку небезпеку може нести агент, якому надано широкі повноваження в системі. Для реалізації такої атаки зловмиснику потрібен доступ на запис до ваг моделі, тобто до самих параметрів, на яких вона працює. Без такого доступу вбудувати механізм неможливо, тож головним бар'єром залишається контроль над файлами моделі.
Папайліопулос наголошує, що ризик стосується і закритих моделей, а не лише відкритих. Саме тому, за його словами, питання довіри до ШІ-агентів не можна зводити до того, відкритий код чи ні. Водночас Microsoft визнає, що сканування ваг не може повністю довести безпеку моделі. Тому компанія планує впроваджувати сканування ваг ШІ-моделей і криптографічне підписування моделей як окремі рівні захисту, які разом мають знижувати ризик підміни.
За даними дослідників, експеримент почався в березні як швидка перевірка з використанням Claude Code, але згодом переріс в окрему роботу з вимірюванням ефективності. Результати показують, що стандартного тестування недостатньо для виявлення таких прихованих загроз, коли ШІ-агентам передаються реальні права доступу до систем. Для компаній, які вже використовують автономних агентів у робочих процесах, це означає необхідність перевіряти не лише поведінку моделі в типових сценаріях, а й походження та цілісність її ваг.
Джерело: highload.tech
67
