Приготовьтесь, хакеры ИИ уже здесь

Подумайте дважды, прежде чем просить ИИ-помощника Gemini от Google составить для вас расписание, поскольку это может привести к потере контроля над всеми вашими умными устройствами. На презентации на Black Hat USA, ежегодной конференции по кибербезопасности в Лас-Вегасе, группа исследователей продемонстрировала , как злоумышленники могут включать скрытые команды в такие простые вещи, как приглашение в Google Календарь, и использовать их для взлома умных устройств. Это пример растущего вектора атак, таких как атаки с мгновенным внедрением.

В статье под названием «Приглашение — это все, что вам нужно!» исследователи описывают 14 различных способов, с помощью которых им удалось манипулировать Gemini с помощью инъекции подсказок — типа атаки, которая использует вредоносные и часто скрытые подсказки, чтобы заставить большие языковые модели выдавать вредоносные результаты.

Пожалуй, самой поразительной из всех атак, как отмечает Wired , стала атака, в ходе которой удалось взломать подключенные к интернету бытовые приборы и аксессуары, выполняя любые функции — от выключения света до включения котла, — фактически лишая владельца контроля над домом и потенциально подвергая его риску. Другие атаки позволяли Gemini начать звонок в Zoom, перехватывать информацию из электронных писем и загружать файлы из веб-браузера телефона.

Большинство этих атак начинаются с чего-то простого, например, с приглашения в Google Календарь, отравленного инъекциями подсказок, которые при активации заставляют модель ИИ действовать в обход встроенных протоколов безопасности. И это далеко не первые примеры, которые удалось собрать исследователям безопасности, чтобы продемонстрировать потенциальные уязвимости LLM. Другие использовали инъекции подсказок для взлома помощников по написанию кода, таких как Cursor . Только в прошлом месяце хакер взломал инструмент кодирования Amazon, поручив ему удалить файлы с машин, на которых он работал.

Также становится всё более очевидным, что модели ИИ, по-видимому, взаимодействуют со скрытыми командами. В недавней работе было обнаружено, что модель ИИ, используемая для обучения других моделей , передавала особенности и предпочтения, несмотря на конкретные упоминания об отфильтровывании таких предпочтений в данных, что позволяет предположить возможность обмена сообщениями между машинами, который невозможно наблюдать напрямую.

LLM в значительной степени остаются черными ящиками. Но если вы злоумышленник, вам не обязательно понимать, что происходит под капотом. Вам просто нужно знать, как передать туда сообщение, которое заставит машину работать определенным образом. В случае этих атак исследователи проинформировали Google об уязвимости, и компания устранила проблему, согласно Wired . Но по мере того, как ИИ интегрируется во все большее количество платформ и сфер общественной жизни, тем больше риска представляют такие уязвимости. Это особенно тревожно, поскольку начинают внедряться агенты ИИ, которые могут взаимодействовать с приложениями и веб-сайтами для выполнения многоэтапных задач. Что может пойти не так?