Дослідження Lasso Security показало, що водяні знаки SynthID-Text можуть змінювати поведінку ШІ-моделей. У деяких тестах моделі частіше виконували шкідливі запити, які без водяного знака відхиляли.
У деяких тестах моделі частіше виконували шкідливі запити
Експерименти проводили на шести моделях із відкритими вагами. Це дозволило вмикати й вимикати механізм вибору токенів, залишаючи інші налаштування незмінними.
Різниця вибору слів та дій була особливо помітною під час використання prompt injection. У кількох моделях водяний знак збільшував імовірність відповіді на шкідливі запити, які без нього система відхиляла.
«Порівняно з тими самими моделями без водяного знака, це безумовно змінюватиме їхню поведінку, особливо за ворожих умов або коли моделі викликають інструменти під час роботи агента», — сказала Андреа Сіпосова, дослідниця безпеки ШІ в Lasso Security.
Ефект стосувався не лише текстових відповідей. У ШІ-агентах зміна згенерованих токенів могла впливати на вибір інструмента та параметрів, із якими його запускає система.
Сіпосова назвала цей ефект sampling drift — відхиленням у поведінці моделі, спричиненим зміною процесу генерації.
Результати також відрізнялися залежно від секретного ключа, використаного для створення водяного знака.
Наслідки впливу водяного знаку можуть поширюватися й на поведінку самої моделі.
Як працює створення водяного знаку
Водяні знаки мають допомогти визначати тексти, створені ШІ. Для цього в процес генерації додається прихований сигнал, який залишається непомітним для звичайного читача. Технологію SynthID-Text розробила Google, а згодом випустила у відкритий доступ.
SynthID-Text змінює процес, за яким модель обирає наступне слово. Для цього система використовує секретний ключ, який впливає на вибір між можливими варіантами.
Наприклад, якщо модель може продовжити речення словами «хмарно» або «похмуро», водяний знак може схилити її до другого варіанта. Знаючи секретний ключ, згодом можна перевірити текст і визначити, чи використовувався SynthID-Text під час його створення.
Одним із механізмів SynthID є tournament sampling. Система порівнює можливі наступні слова попарно та за допомогою секретного ключа визначає, який варіант переходить до наступного раунду.
