Промпт-инжиниринг

Время чтения 4 минуты

Привет! Сегодня мы расскажем подробно про техники которые используются промпт-инжининерами. А так же разберем как работают уязвимости prompt injection в chatGPT

И начнем мы с того что вообще такое кто вообще такой этот ваш промпт-инжиниринг.

Промпт-инжиниринг, относительно новое направление в разработке и улучшении промптов, направленное на эффективное использование языковых моделей в различных областях приложений и исследований. Навыки в этой области помогают более глубоко понять потенциал и ограничения крупных языковых моделей. Это не только разработка и создание промптов. Это охватывает широкий спектр навыков и техник, полезных для взаимодействия и разработки с LLM. Промпт-инжиниринг важный навык для взаимодействия, создания и понимания возможностей LLM. Вы можете использовать промпт-инжиниринг для повышения безопасности LLM и создания новых возможностей, таких как добавление доменных знаний и внешних инструментов к LLM.

Ну что приступим к более конкретному знакомству

1. Промпты с настройкой параметров - это метод, который позволяет пользователю точно настраивать входные данные для модели, чтобы получить желаемый результат. Например, пользователь может указать контекст, в котором должен быть сформулирован ответ, задать желаемую тональность или эмоциональный окрас ответа, а также определить длину ответа или степень детализации. Это позволяет получить более точные или разнообразные ответы от модели в зависимости от конкретных потребностей.
2. Промпты с условными инструкциями - это метод, который позволяет пользователю указывать модели, как реагировать на определенные условия или входные данные. Например, пользователь может создать промпт, в котором модель будет давать разные ответы в зависимости от содержания вопроса или от определенных ключевых слов. Это позволяет модели генерировать более контекстно-зависимые и целенаправленные ответы.
3. Промпты с использованием специализированных токенов - это метод, который позволяет пользователю указывать модели определенные задачи, контексты или стили, используя специальные токены или маркеры в промптах. Например, пользователь может включить токен, который указывает модели на то, что сейчас идет вопросно-ответная сессия, или указать токен для генерации текста определенным стилем, например, научным или художественным. Это помогает модели лучше понимать контекст задачи и генерировать более соответствующие результаты.

Теперь же перейдем к более интересному моменту как prompt injection которые позволяют манипулировать LLM и например создавать вредоносные коды.

Атаки с использованием подсказок осуществляются путем предоставления дополнительных указаний искусственному интеллекту без согласия или осведомленности пользователя. Хакеры могут использовать различные методы для этого, включая DAN-атаки и непрямые атаки с применением подсказок. DAN-атаки, в частности, направлены на "взлом" генеративных моделей ИИ, таких как ChatGPT. Хотя эти атаки не представляют прямой угрозы для конечного пользователя, они расширяют возможности ИИ, делая его инструментом для потенциального злоупотребления.

Вот уже готовые промпты для использования « https://github.com/0xk1h0/ChatGPT_DAN»

А вот примеры использования

Например, исследователь по безопасности Алехандро Видаль использовал DAN-подсказку, чтобы заставить OpenAI GPT-4 создавать Python-код для кейлоггера. При неправомерном использовании взломанного ИИ значительно снижаются преграды, связанные с киберпреступностью, и новым хакерам становится доступным более сложные методы атак.

В заключении можно сказать что грамотное использовании LLM может упростить получение желаемых результатов результатов а так же сделать подход к созданию и взаимодействию с искусственным интеллектом более эффективным и продуктивным. Промпт-инженеры играют ключевую роль в этом процессе, разрабатывая инструкции и запросы, которые позволяют получить нужные ответы от моделей искусственного интеллекта.