Представляем Markdown for Agents

@ai_longreads

Cloudflare запускает функцию автоматической конвертации HTML-страниц в markdown для ИИ-агентов и краулеров — это экономит до 80% токенов и делает контент удобным для машинного потребления.

Это AI-перевод статьи, сделанный каналом Про AI: Лучшие Статьи и Исследования.

Представляем Markdown for Agents

Introducing Markdown for Agents Авторы: Celso Martinho, Will Allen Оригинальный текст:

Способ обнаружения контента и бизнесов в интернете стремительно меняется. Раньше трафик приходил из традиционных поисковых систем, и SEO определяло, кто окажется в выдаче первым. Теперь трафик всё чаще приходит от ИИ-краулеров и агентов, которым нужны структурированные данные на вебе, изначально построенном для людей.

Для бизнеса пришло время думать не только о посетителях-людях или классической SEO-оптимизации, но и начать воспринимать агентов как полноценных пользователей.

Почему markdown важен

Подавать сырой HTML на вход ИИ — всё равно что платить за каждое слово, чтобы прочитать упаковку вместо самого письма внутри. Простой заголовок ## About Us в markdown обходится примерно в 3 токена (токены, единицы текста); его HTML-эквивалент — <h2 class="section-title" id="about">About Us</h2> — сжигает 12–15 токенов, и это ещё до учёта <div>-обёрток, навигационных панелей и тегов <script>, которые раздувают каждую реальную веб-страницу и несут нулевую семантическую ценность.

Этот пост в HTML занимает 16 180 токенов и 3 150 токенов при конвертации в markdown. Это сокращение расхода токенов на 80%.

Markdown быстро стал lingua franca для агентов и ИИ-систем в целом. Явная структура формата делает его идеальным для обработки искусственным интеллектом, что в итоге даёт лучшие результаты при минимальных затратах токенов.

Проблема в том, что веб состоит из HTML, а не из markdown, и объём страниц неуклонно растёт из года в год, усложняя их парсинг. Для агентов задача — отфильтровать всё несущественное и извлечь релевантный контент.

Конвертация HTML в markdown стала стандартным шагом для любого ИИ-pipeline (пайплайн, конвейер обработки). Однако этот процесс далёк от идеала: он расходует вычислительные ресурсы, повышает стоимость и сложность обработки и, самое главное, может не соответствовать тому, как автор контента изначально задумывал его использование.

А что, если ИИ-агенты могли бы обойти сложности анализа намерений и конвертации документов и вместо этого получать структурированный markdown прямо от источника?

Автоматическая конвертация HTML в markdown

Сеть Cloudflare теперь поддерживает конвертацию контента в реальном времени на стороне источника для подключённых зон с использованием заголовков согласования контента (content negotiation). Когда ИИ-системы запрашивают страницы с любого сайта, использующего Cloudflare с включённой функцией Markdown for Agents, они могут указать предпочтение text/markdown в запросе. Сеть Cloudflare автоматически и эффективно сконвертирует HTML в markdown на лету.

Вот как это работает. Чтобы получить markdown-версию любой страницы из зоны с включённым Markdown for Agents, клиент должен добавить заголовок согласования Accept с text/markdown в качестве одного из вариантов. Cloudflare обнаружит это, загрузит оригинальную HTML-версию с сервера-источника и преобразует её в markdown перед отдачей клиенту.

Пример с curl, запрашивающий страницу документации Cloudflare с заголовком Accept:

curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/ \
  -H "Accept: text/markdown"

Если вы создаёте ИИ-агента на базе Workers, можно использовать TypeScript:

const r = await fetch(
  `https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/`,
  {
    headers: {
      Accept: "text/markdown, text/html",
    },
  },
);
const tokenCount = r.headers.get("x-markdown-tokens");
const markdown = await r.text();

Некоторые из самых популярных на сегодня агентов для работы с кодом — такие как Claude Code и OpenCode — уже отправляют эти заголовки Accept в своих запросах. Теперь ответ на такой запрос приходит в формате markdown. Всё так просто.

HTTP/2 200
date: Wed, 11 Feb 2026 11:44:48 GMT
content-type: text/markdown; charset=utf-8
content-length: 2899
vary: accept
x-markdown-tokens: 725
content-signal: ai-train=yes, search=yes, ai-input=yes

---
title: Markdown for Agents · Cloudflare Agents docs
---

## What is Markdown for Agents

The ability to parse and convert HTML to Markdown has become foundational for AI.
...

Обратите внимание на заголовок x-markdown-tokens в ответе — он указывает ориентировочное количество токенов в markdown-документе. Это значение можно использовать в вашем рабочем процессе, например для расчёта размера контекстного окна (context window) или выбора стратегии разбиения на части.

Политика Content Signals

Во время последнего Birthday Week компания Cloudflare анонсировала Content Signals — фреймворк, позволяющий любому выражать свои предпочтения относительно того, как их контент может использоваться после доступа к нему.

Когда вы возвращаете markdown, важно убедиться, что ваш контент используется агентом или ИИ-краулером. Поэтому ответы, сконвертированные через Markdown for Agents, включают заголовок Content-Signal: ai-train=yes, search=yes, ai-input=yes, который указывает, что контент может использоваться для обучения ИИ, поисковой выдачи и ИИ-ввода, включая агентное (агентный) использование. В будущем Markdown for Agents предоставит возможность задавать пользовательские политики Content Signal.

Подробнее об этом фреймворке — на странице Content Signals.

Попробуйте с блогом и документацией Cloudflare

Мы включили эту функцию для документации разработчиков и блога, приглашая все ИИ-краулеры и агенты потреблять наш контент в формате markdown вместо HTML.

Попробуйте прямо сейчас, запросив этот пост с Accept: text/markdown:

curl https://blog.cloudflare.com/markdown-for-agents/ \
  -H "Accept: text/markdown"

Результат:

---
description: The way content is discovered online is shifting, from traditional
  search engines to AI agents that need structured data from a Web built for
  humans. It's time to consider not just human visitors, but start to treat
  agents as first-class citizens. Markdown for Agents automatically converts
  any HTML page requested from our network to markdown.
title: Introducing Markdown for Agents
image: https://blog.cloudflare.com/images/markdown-for-agents.png
---

# Introducing Markdown for Agents

The way content and businesses are discovered online is changing rapidly...

Другие способы конвертации в markdown

Если вы создаёте ИИ-системы, которым требуется произвольная конвертация документов за пределами Cloudflare или Markdown for Agents недоступен со стороны источника контента, мы предлагаем другие способы:

Workers AI AI.toMarkdown() поддерживает множество типов документов, не только HTML, а также суммаризацию.
Browser Rendering /markdown REST API поддерживает конвертацию в markdown, если вам нужно отрендерить динамическую страницу или приложение в реальном браузере перед конвертацией.

Отслеживание использования markdown

Предвосхищая сдвиг в том, как ИИ-системы просматривают веб, Cloudflare Radar теперь включает аналитику типов контента для трафика ИИ-ботов и краулеров — как глобально на странице AI Insights, так и на страницах отдельных ботов.

Новое измерение и фильтр content_type показывает распределение типов контента, возвращаемых ИИ-агентам и краулерам, сгруппированных по категориям MIME-типов.

Также можно видеть запросы markdown, отфильтрованные по конкретному агенту или краулеру. Вот, например, запросы, возвращающие markdown для OAI-Searchbot — краулера, который OpenAI использует для поиска в ChatGPT.

Эти новые данные позволят отслеживать эволюцию того, как ИИ-боты, краулеры и агенты потребляют веб-контент с течением времени. Как всегда, всё на Radar доступно бесплатно через публичные API и Data Explorer.

Начните использовать уже сегодня

Чтобы включить Markdown for Agents для вашей зоны, войдите в панель управления Cloudflare, выберите свой аккаунт, выберите зону, найдите Quick Actions и переключите кнопку Markdown for Agents. Эта функция доступна сегодня в бета-версии бесплатно для тарифных планов Pro, Business и Enterprise, а также для клиентов SSL for SaaS.

Подробнее о Markdown for Agents — в документации для разработчиков. Мы будем рады вашим отзывам по мере доработки и улучшения этой функции. Нам интересно наблюдать, как ИИ-краулеры и агенты адаптируются к неструктурированной природе веба по мере его эволюции.

Подпишитесь на канал и каждый день читайте лучшие материалы про AI переведенные на русский!

Нашли интересную статью для перевода? Пришлите нашему боту: @ailongreadsbot

Представляем Markdown for Agents

Представляем Markdown for Agents

Почему markdown важен

Автоматическая конвертация HTML в markdown

Политика Content Signals

Попробуйте с блогом и документацией Cloudflare

Другие способы конвертации в markdown

Отслеживание использования markdown

Начните использовать уже сегодня

Report Page