В чём важность computer use?

Статья исследует эволюцию нейронных сетей от простого перцептрона 1957 года до современных моделей, способных управлять компьютерами через визуальный интерфейс, и объясняет, почему это открывает новую эру автоматизации.

Это AI-перевод статьи, сделанный каналом Про AI: Лучшие Статьи и Исследования.

В чём важность computer use?

Original Title: What's the big deal about computer use? | Автор: Kyle Jeong

Самая первая система искусственного интеллекта, нейронная сеть), создавалась не для языка и не для кода. Её не обучали на данных масштаба интернета. Это была простая машина, созданная в 1957 году Фрэнком Розенблаттом и названная Перцептрон, собранная из моторов, проводов и решётки фотоэлементов. Она училась на грубых изображениях с низким разрешением, проецируемых на панель световых сенсоров.

Она могла распознавать лишь очень простые паттерны, но представила новую идею: вместо того чтобы программировать правила напрямую, мы можем обучать машину, показывая ей примеры.

Нейронные сети эволюционировали медленно. Минский и Паперт задокументировали ограничения Перцептрона в 1969 году. Метод обратного распространения ошибки возродил область в 1980-х (Румельхарт и др.). Свёрточные сети набрали популярность в 1990-х (Лекун). Глубокое обучение получило широкое признание после AlexNet в 2012 году.

Архитектура Transformer (Васвани и др., 2017) переключила фокус области с изображений на последовательности, позволив моделям обрабатывать и генерировать язык в масштабе, что открыло дверь к системам общего назначения для рассуждений.

Supervised fine-tuning (SFT) (дообучение с учителем) стал стандартным подходом: собрать размеченные данные, обучить модель предсказывать выходы из входов. Это сработало для классификации, перевода и в конечном итоге генерации языка. Но сложные последовательные задачи требовали другого подхода.

Обучение с подкреплением, уходящее корнями в теорию управления и исследования поведения животных 1950-х годов, предложило решение. Вместо обучения на статических демонстрациях агенты могли учиться методом проб и ошибок: совершать действия, наблюдать результаты и оптимизировать вознаграждения. DQN от DeepMind, играющая в игры Atari (2013), и AlphaGo, победившая чемпионов мира (2016), продемонстрировали потенциал обучения с подкреплением для сложного принятия решений.

Благодарность Ноа Соломану за создание этой интерактивной демонстрации PPO

К началу 2020-х исследователи начали комбинировать обе парадигмы: SFT для начальной инициализации на основе человеческих демонстраций, затем обучение с подкреплением для уточнения поведения через взаимодействие.

В 2025 году мультимодальные модели, такие как Claude 4.5 Sonnet, могут принимать скриншот в качестве входа, парсить макет, понимать, что является интерактивным, и возвращать структурированные действия, такие как:

"output": [
  {
    "type": "reasoning",
    "id": "rs_67cc...",
    "summary": [
      {
        "type": "summary_text",
        "text": "Clicking on the browser address bar."
      }
    ]
  },
  {
    "type": "computer_call",
    "id": "cu_67cc...",
    "call_id": "call_zw3...",
    "action": {
      "type": "click",
      "button": "left",
      "x": 156,
      "y": 50
    },
    "status": "completed"
  }
]

Это уже не простая классификация. Это восприятие, рассуждение и действие в едином цикле.

Другими словами, та же самая идея, продемонстрированная в 1957 году, стала основой для агентов, которые теперь могут управлять компьютерами. Модели, обученные на пикселях, могут интерпретировать веб-сайты, идентифицировать кнопки, понимать поля форм и решать, что делать дальше. В сочетании со структурированными выходами они могут выполнять цифровые задачи, которые раньше требовали человека, сидящего за клавиатурой.

Машина, которая когда-то распознавала простые фигуры и кривые, теперь помогает создавать более продвинутые машины, способные использовать программное обеспечение.

Что такое "модели computer use"?

Итак, что же такое "computer use"?

Модель computer use (иногда называемая "агент computer use") — это языковая модель со зрением, обученная использовать компьютер. Она умеет взаимодействовать с программным обеспечением через стандартные пользовательские интерфейсы, которыми пользуемся мы, люди: клики, нажатия клавиш, прокрутки, экраны и окна.

Ключевой момент в том, что агенту не требуются программные API или backend-интеграции. Он использует фронтенды, которые уже существуют, такие как веб-браузеры и GUI-приложения.

Почему это важно?

Традиционная автоматизация, такая как макросы, RPA и кастомные скрипты, часто требует специально построенных коннекторов или хрупких скриптов. Модели computer use обещают автоматизацию общего назначения в множестве приложений без кастомных интеграций. Их интерфейс — тот, который люди уже используют, и такие агенты могут масштабироваться на различные задачи и домены из коробки.

При разработке автономных транспортных средств Tesla столкнулась с выбором: либо перестроить дороги со специальными сенсорами, разметкой и инфраструктурой, спроектированными для роботов, либо обучить ИИ-модели навигации по грязным, несовершенным дорогам, которые уже существуют. Tesla выбрала последнее, обучая свои модели на реальных условиях: выцветшей дорожной разметке, неожиданных препятствиях, непредсказуемо ведущих себя водителях-людях и дорогах в любом состоянии — от отремонтированных до разбитых.

Модели computer use следуют той же философии для цифрового мира.

Вместо того чтобы ждать, пока каждый веб-сайт, приложение и система будут перестроены с чистыми API и AI-дружественными интерфейсами, эти модели учатся ориентироваться в интернете и программном обеспечении таким, какое оно есть сегодня: нажимая кнопки, заполняя формы, читая экраны и адаптируясь к несогласованным интерфейсам, точно так же, как это делают люди. "Дороги" — это унаследованные системы, устаревшие интерфейсы и бесчисленные приложения, которые никогда не будут модернизированы. ИИ учится ездить по ним в любом случае.

Это открывает дверь к новому классу взаимодействия ИИ и программного обеспечения, где роль человека смещается от прямого управления к надзору и оркестрации.

Два пути: агенты на основе зрения vs. на основе текста

Когда вы создаёте систему, которая использует программное обеспечение как человек, существует два фундаментальных способа для неё воспринимать и действовать. Один — "видеть" буквальный экран (vision). Другой — читать структуру интерфейса (DOM, деревья доступности или подобное).

Давайте погрузимся в оба варианта.

Модели на основе зрения

Агенты на основе зрения воспринимают интерфейс как изображения или видеокадры. Они получают скриншоты, обрабатывают их с помощью зрения и выводят действия/вызовы инструментов, такие как "кликнуть на (x, y)", "напечатать этот текст", "прокрутить вниз". Модели обучены на фиксированном размере окна просмотра (например, 1288 x 711 или 1024 x 768) и могут идентифицировать интерактивные объекты на скриншоте и находить точный пиксель на экране для взаимодействия.

Поскольку агент использует тот же визуальный интерфейс, что и человек, он может в принципе управлять любым существующим UI: браузерами, десктопными приложениями, мобильными приложениями, унаследованными инструментами без поддержки API и так далее. Модель имитирует то, как работает человек, и может справляться с незнакомыми сайтами или приложениями, которых не было в исходных обучающих данных.

Но обработка зрения дорогая. Интерфейсы меняются. Макет смещается, цвета меняются, элементы немного перемещаются. Модель может неправильно интерпретировать, что кликабельно или где что-то находится на экране. Модели также обучены на точность для очень специфического размера окна/соотношения сторон, так что любые изменения — и модель фактически ломается.

Также скриншот не всегда раскрывает внутреннее состояние. Например, валидно ли поле формы или отключена ли кнопка. Агенту может потребоваться повторное наблюдение или метод проб и ошибок. Для многих задач видеть всё — это избыточно, когда доступна структура. Зрение часто добавляет задержку и увеличивает стоимость токенов по сравнению с текстовыми представлениями.

Примеры:

Operator от OpenAI — это пример "агента computer use". ИИ делал скриншоты и возвращал действия мыши и клавиатуры, которые транслируются в Playwright. Он не требовал специализированной интеграции в целевое приложение, потому что работал с тем, что видел бы пользователь-человек. Под капотом их продукт использует модель computer-use-preview, которая была обучена специально для взаимодействия с пикселями на экране.

Мы создали open source реализацию Operator, чтобы люди могли экспериментировать с моделью и видеть, как она работает.

Gemini 2.5 Computer Use от Google DeepMind работает аналогично. Скриншоты поступают на вход, действия (с трассами рассуждений) выходят. Эта модель немного отличается от модели OpenAI тем, что она возвращает несколько действий сразу (предполагая будущее состояние браузера), так что агентная упряжка способна выполнять их последовательно, что приводит к более быстрому выполнению задач в целом.

Также существуют передовые исследования по SLM (малым языковым моделям) для Computer-use. Fara-7B от Microsoft — это небольшая, но мощная модель computer use, предназначенная для развёртывания и запуска непосредственно на каждой машине с Windows 11. Модель является дообучением Qwen2.5-VL, обученным с помощью SFT на данных из экспериментального мультиагентного pipeline синтетической генерации данных CUA. Система использует одного ИИ-агента для предложения разнообразных веб-задач, другую мультиагентную систему (Magentic-One) для попытки решения этих задач и генерации пошаговых демонстраций, и наконец три агента-верификатора для проверки успешности решений, создавая большой синтетический обучающий датасет без необходимости в человеческих аннотаторах.

Это дало SOTA производительность в классе размера модели, превзойдя UI-Tars-1.5 и модель computer-use-preview от OpenAI на бенчмарке WebVoyager.

Вот быстрый старт для запуска и развёртывания моделей Computer use в продакшене.

# Создать пример скрипта, который запускает модель Computer Use со Stagehand
npx create-browser-app@latest -t gemini-cua

Затем запуск самого агента в коде прост.

const agent = stagehand.agent({
  cua: true,
  model: {
    modelName: "google/gemini-2.5-computer-use-preview-10-2025",
    apiKey: process.env.GOOGLE_API_KEY
  },
  systemPrompt: "You are a helpful assistant that can use a web browser."
});

const result = await agent.execute({
  instruction: "Tell me what Stagehand.dev does."
});

Агенты на основе текста/DOM

Вместо того чтобы смотреть на пиксели, агент на основе текста получает доступ к внутреннему представлению UI: дереву HTML DOM, снимкам доступности, ролям, меткам, атрибутам, обработчикам событий и так далее. Он рассуждает над этой структурой ("есть кнопка с меткой 'Submit' под элементом <form>"), а затем вызывает примитивы автоматизации для выполнения действий на веб-странице.

Например, Stagehand (наш фреймворк для веб-автоматизации с открытым исходным кодом) делает снимок DOM и дерева доступности, парсит его с помощью LLM, а затем решает, какие действия предпринять на основе структуры веб-страницы.

Ниже представлена интерактивная демонстрация, показывающая разницу между буквальным DOM веб-страницы и парсированной версией, которая подаётся в LLM в Stagehand:

Если вы попробуете пример на лендинге Browserbase, вы увидите, что сырой HTML составляет целых 27k токенов, в то время как наше усечённое DOM/A11y дерево — всего 6k. Исследования показывают, что LLM способны принимать лучшие решения, когда их контекст не забит ненужной информацией, поэтому кастомный снимок Stagehand — ключ к лучше работающим агентам.

Структурированные данные обычно обеспечивают меньше неоднозначностей. Вы можете нацелиться на конкретный элемент вместо того, чтобы угадывать позицию на экране, улучшая надёжность и скорость. Вместо отправки полных изображений в модель вы можете отправить компактную версию поддерева DOM, уменьшая токены, задержку и стоимость.

И чем больше вы смотрите на то, как веб на самом деле построен, тем более естественным становится этот форм-фактор. Веб-автоматизация часто по сути структурирована: формы, таблицы, списки, результаты поиска и дашборды — всё построено из элементов с атрибутами и естественно подходит для текстовых агентов.

Хотя агенты на основе текста кажутся эффективными, у них есть свои недостатки. Модель может знать, что существует <button id="buy">Buy</button>, но не знать, видима ли она, перекрыта ли модальным окном, находится ли за пределами экрана или частично скрыта. Визуальный контекст всё ещё может иметь значение во многих задачах.

Чтобы попробовать агента на основе текста, мы используем встроенный Stagehand Agent, который использует управляющую модель с доступом к 3 инструментам/примитивам: act, observe и extract для выполнения задач в вебе.

Код очень похож на агентов computer use, но вместо указания модели computer-use мы оставляем этот параметр пустым.

// мы не указываем CUA: true здесь, чтобы использовать встроенного агента
const agent = stagehand.agent({
  systemPrompt: "You are a helpful assistant that can use a web browser."
});

const result = await agent.execute({
  instruction: "Tell me what Stagehand.dev does."
});

Этот агент использует чисто текстовый подход (без зрения). Имея гибридное DOM/A11y (дерево доступности), которое мы упоминали ранее, агент парсит его и решает, какие примитивы Stagehand использовать для выполнения задачи. Act выполняет действия на странице, observe находит и возвращает все возможные действия на странице (кликабельные кнопки, заполняемые текстовые поля и т.д.), а extract даёт вам кастомизируемый структурированный вывод данных страницы.

Круто, и как это меняет мою жизнь?

Теперь, когда мы рассмотрели как они работают, давайте поговорим о почему они важны.

Десятилетиями автоматизация требовала точной документации того, что нужно автоматизировать. Подумайте о cron-задачах, макросах, RPA-ботах или написанных вручную скриптах. Или это означало вызов различных кастомных API.

Модели computer use позволяют что-то другое: автономность общего назначения. ИИ может работать в нескольких приложениях, в разных доменах и может адаптироваться к новым задачам и интерфейсам. Вы указываете, что хотите, и агент использует компьютер, чтобы этого достичь. Это гораздо больше, чем "запускать этот скрипт каждую ночь" или "вызывать этот API с этими параметрами".

Многие ценные задачи остаются ручными, потому что нет чистого API или нет инженерного времени для создания кастомной интеграции. Агент computer use может заполнить этот пробел. Если человек может выполнить задачу через UI, агент тоже должен быть способен. Если агент computer use может заполнять формы, собирать данные с десяти веб-сайтов, планировать встречи и логировать ваши отчёты о расходах, вы тратите своё время на интерпретацию результатов, проектирование систем, построение отношений и решение нерутинных проблем.

Исследование, проведённое McKinsey, показывает, что ИИ может автоматизировать действия, занимающие 60-70% текущих рабочих часов, особенно в ролях, основанных на знаниях. Это не означает, что эти работы внезапно исчезают. Вместо этого повторяющиеся части сокращаются, и бюджет внимания человека теперь может переключиться на творческую и стратегическую работу.

С агентами программное обеспечение начинает выглядеть больше как сервис, который работает на вас. Поток управления становится:

Человек описывает результат → Агент интерпретирует это и планирует действия → Агент управляет стеком программного обеспечения

Вместо того чтобы изучать все тонкости каждого дашборда и админ-панели, вы тратите усилия на описание целей и ограничений, в то время как агент обрабатывает операцию. Это аналогично переходу от интерфейсов командной строки к графическим. GUI снизили умственные затраты на запоминание длинных команд. Агенты снизят затраты на бесконечные клики и переключения контекста.

Будущее работы

Вместо того чтобы люди подстраивали свои рабочие процессы под программное обеспечение, программное обеспечение, воплощённое в виде агентов, начинает подстраиваться под человеческие цели. Компромиссы между подходами на основе зрения и DOM реальны. Инфраструктура всё ещё формируется. Стандарты и идентификация отрабатываются. Впереди ещё много работы.

Но направление ясно. Поскольку ИИ-модели учатся управлять компьютерами, а не только рассуждать о них, природа работы, программного обеспечения и систем меняется. Мы переходим от "я нажимаю кнопки" к "я описываю, что хочу сделать, а мой агент нажимает кнопки".

И когда машины справляются с нажатием кнопок, люди получают своё время обратно для того, что действительно важно.

Подпишитесь на канал и каждый день читайте лучшие материалы про AI переведенные на русский!

Нашли интересную статью для перевода? Пришлите нашему боту: @ailongreadsbot