Техника подсказок (инженерия подсказок) — концепция искусственного интеллекта ( ИИ ), в частности обработки естественного языка (НЛП). В технике подсказок описание задачи встраивается во входные данные, например, в виде вопроса, а не даётся неявно. Техника подсказок обычно работает путём преобразования одной или нескольких задач в набор данных на основе подсказок и обучения языковой модели с помощью «обучения на основе подсказок» ( англ. prompt-based learning ) или просто «обучения c подсказками» ( англ. prompt learning ) . Инжиниринг подсказок может работать с большой «замороженной» предварительно обученной языковой моделью , где изучается (то есть оптимизируется) только представление подсказки с использованием таких методов, как «настройка префикса» ( англ. prefix-tuning ) или «настройка с подсказками» ( англ. prompt tuning ) .

Языковые модели и GPT-3 были важными шагами в технике подсказок. В 2021 году разработка многозадачных подсказок с использованием нескольких наборов данных обработка естественного языка показала хорошую производительность при решении новых задач . В методе, называемом подсказкой по цепочке рассуждений , языковой модели даются примеров задачи, что улучшает их способность проводить рассуждения . Подсказки по цепочке рассуждений также можно выполнять как задачу , добавляя к подсказке текст, который поощряет цепочку мыслей (например, «Давайте думать шаг за шагом»), что также может повысить производительность языковой модели в многошаговых задачах требующих рассуждений . Широкая доступность этих инструментов была обусловлена публикацией нескольких интерактивных блокнотов с открытым исходным кодом и проектов по синтезу изображений под руководством сообщества .

В описании обработки подсказок сообщается, что в феврале 2022 года было доступно более 2000 общедоступных подсказок для примерно 170 наборов данных .

В 2022 году были выпущены модели машинного обучения , такие как DALL-E 2 , Stable Diffusion и Midjourney . Эти модели принимают текстовые подсказки в качестве входных данных и используют их для создания изображений, что вводит новую категорию разработки подсказок, связанную с подсказками преобразования .

Вредоносное применение

Техника подсказок — это семейство связанных эксплойтов компьютерной безопасности , осуществляемых путём получения моделей машинного обучения (например, большой языковой модели), которые были обучены следовать инструкциям человека, чтобы следовать инструкциям, предоставленным злоумышленником, что противоречит предполагаемой операции, систем, следующих за инструкциями, в которых модель машинного обучения предназначена только для выполнения доверенных инструкций (подсказок), предоставляемых оператором модели машинного обучения .

Распространёнными типами атак с внедрением подсказок являются взлом, который может включать в себя отыгрыш персонажей, убеждение модели отвечать аргументами или притворяться, что она превосходит инструкции модерации , и утечка подсказок, которые просто позволяют пользователям прочитать подсказку, обычно скрытую от них . Другой тип джейлбрейк-атаки, когда скверная подсказка заключена в задачу написания кода, называется контрабандой токенов .

Внедрение подсказок можно рассматривать как атаку с использованием состязательной разработки подсказок. В 2022 году охарактеризовала внедрение подсказок как новый класс уязвимости систем искусственного интеллекта и машинного обучения .

Атаки с внедрением подсказок были впервые обнаружены Preamble, Inc. в мае 2022 года, которая предоставила OpenAI .

В начале 2023 года внедрение подсказок было замечено «в дикой природе» в незначительных эксплойтах против ChatGPT , Bing и подобных чат-ботов, например, для выявления скрытых начальных подсказок систем или для того, чтобы заставить чат-бота участвовать в разговорах, которые нарушают контентную политику чат-бота . Одна из этих подсказок известна её практикам как «Сделай что-нибудь сейчас» ( англ. Do Anything Now, DAN ) .

Примечания