Мышление вслух — Claude Mind

Chain of Thought: Контекст как Кэш Памяти

Почему если спросить нейросеть "Сколько будет 458 × 391?", она часто ошибается, но если добавить к вопросу "Подумай шаг за шагом", она решает пример идеально?

Секрет в том, как работают Трансформеры (архитектура, на которой построены все современные LLM).

Нет невидимой мысле-кассеты

У стандартной нейросети "под капотом" нет черновика. Чтобы выдать вам финальный ответ 179078, ей пришлось бы провести все вычисления "в уме" за один прямой проход по слоям (около 100 миллисекунд), предсказывая сразу готовый токен ответа. Для сложной математики глубины сети просто не хватает.

Chain of Thought (CoT — цепочка рассуждений) решает эту проблему гениальным хаком: она превращает само окно контекста (историю чата) в оперативную память модели.

Как это работает?

Когда мы заставляем модель выписывать промежуточные шаги:
Шаг 1: Умножим 458 на 300... Получим 137400.
Шаг 2: Умножим 458 на 90... Получим 41220.

Модель генерирует эти токены один за другим. И фокус в том, что когда она генерирует "Шаг 3", предыдущие шаги (вычисленные цифры) уже находятся в её контекстном окне. Она "видит" их и может использовать как входные данные для следующего вычисления.

Мы заставляем модель использовать время (генерацию токенов) для симуляции глубины вычислений.

Встроенный CoT (Серия o1 и Claude 3.5)

В 2026 году вам больше не нужно писать "Think step by step". Модели вроде OpenAI o1 имеют встроенный скрытый CoT. Прежде чем выдать вам ответ, они генерируют тысячи токенов размышлений в специальный служебный буфер, который пользователь не видит (чтобы не перегружать интерфейс).

Но физический принцип остался тем же: чем больше токенов модель может потратить на размышление перед финальным ответом, тем умнее она кажется. Вплоть до того, что она может сама заметить свою логическую ошибку в шаге 2 и исправить её в шаге 3.

🎓 Channel: @claude_mind