Анализ системных промптов Claude 4.0
Дмитрий Жечков (https://t.me/llm_notes)Ссылка на промпт, который анализируем
https://github.com/elder-plinius/CL4R1T4S/blob/main/ANTHROPIC/Claude_4.txt
Ссылка на промпт, которым проводим анализ
https://github.com/dzhechko/prompt-analysis/blob/main/system-prompt-analyzator.md
1. Краткое описание анализируемых промптов
Основная тема: Комплексные инструкции для AI-ассистента Claude, охватывающие поведение, функциональность, безопасность и взаимодействие с пользователями.
Целевая аудитория: Широкая - от обычных пользователей до разработчиков и исследователей.
Инструмент анализа: модель Claude 4.0
Структурные особенности:
- Модульная архитектура с четко разделенными секциями
- Иерархическая структура с основными и вложенными инструкциями
- Обширное использование XML-тегов для организации контента
- Множественные примеры и кейсы использования
2. Выявленные техники промптинга
Основные техники:
1. Определение роли и идентичности
markdown "The assistant is Claude, created by Anthropic" "Claude Sonnet 4 from the Claude 4 model family"
2. Условная логика и принятие решений
markdown "IF info about the query is stable → never search ELSE IF there are terms/entities Claude does not know → single search"
3. Пошаговые инструкции с приоритизацией
markdown "1. Planning and tool selection 2. Research loop: Run AT LEAST FIVE distinct tool calls 3. Answer construction"
4. Ограничения и запреты
markdown "NEVER reproduce any copyrighted material" "NEVER use localStorage or sessionStorage"
5. Контекстные примеры Множество примеров в секции <search_examples> показывают правильное поведение.
6. Метакогнитивные инструкции
markdown "Claude should strongly consider outputting a thinking block" "Think carefully about whether an <thinking> block would be appropriate"
3. Ключевые паттерны и эффективные элементы
Повторяющиеся успешные практики:
1. Принцип градации сложности
- Простые запросы → прямой ответ без инструментов
- Средние → один поиск
- Сложные → множественные инструменты (5-20 вызовов)
2. Защитные механизмы на нескольких уровнях
- Авторские права: максимум 15 слов цитирования
- Безопасность: запрет на вредоносный контент
- Техническая безопасность: запрет на localStorage
3. Адаптивное поведение
markdown "Claude tailors its response format to suit the conversation topic" "For casual conversation, it's fine for Claude's responses to be short"
Уникальные находки:
1. Динамическое масштабирование инструментов Система автоматически определяет количество необходимых вызовов инструментов на основе сложности запроса.
2. Интеллектуальная категоризация запросов Четкое разделение на категории: Never Search, Single Search, Research с конкретными критериями.
4. Инсайты и выводы
Как техники влияют на результат:
1. Модульность повышает надежность Разделение инструкций по функциональным блокам позволяет избежать конфликтов и обеспечивает консистентность.
2. Условная логика обеспечивает адаптивность IF-ELSE структуры позволяют модели принимать контекстно-зависимые решения.
3. Примеры создают паттерны поведения Обширные примеры в <search_examples> формируют устойчивые поведенческие модели.
Критические ошибки в исходных промптах:
1. Избыточная детализация Некоторые секции содержат повторяющиеся инструкции, что может создавать путаницу.
2. Недостаточная приоритизация При конфликте инструкций не всегда ясно, какая имеет приоритет.
5. Рекомендации по улучшению
Конкретные изменения:
1. Добавить систему приоритетов
markdown <priority_matrix> 1. Safety instructions (highest) 2. Copyright compliance 3. User experience 4. Efficiency optimization </priority_matrix>
2. Упростить условную логику Заменить сложные IF-ELSE цепочки на таблицы решений:
markdown <decision_table> Query_Type | Stability | Action Simple_Fact | High | Direct_Answer Current_Event | Low | Single_Search Complex_Research | Variable | Multi_Tool </decision_table>
3. Добавить метрики качества
markdown <quality_metrics> - Response relevance: 0-10 - Source credibility: 0-10 - User satisfaction indicators </quality_metrics>
4. Создать систему обратной связи
markdown <feedback_loop> After each response, evaluate: - Did the chosen approach match query complexity? - Were the right tools used? - Could efficiency be improved? </feedback_loop>
5. Оптимизировать структуру примеров Группировать примеры по сложности и типу задач, добавить антипримеры (что НЕ делать).
Пример оптимизированного промпта:
xml
<core_behavior>
<identity>Claude Sonnet 4 - intelligent, helpful, harmless</identity>
<decision_framework>
<simple_queries>Direct answer from knowledge</simple_queries>
<current_info>Single web search</current_info>
<complex_research>Multi-tool approach (5-20 calls)</complex_research>
</decision_framework>
<safety_constraints priority="highest">
<copyright>Max 15 words quoted, always cited</copyright>
<harmful_content>Refuse and redirect</harmful_content>
</safety_constraints>
</core_behavior>
Этот анализ показывает, что исходный промпт уже довольно эффективен, но может быть оптимизирован через лучшую структуризацию, приоритизацию и упрощение логики принятия решений.