xAI победит

Шон Магуайр из Sequoia объясняет, почему xAI Илона Маска, несмотря на кажущийся хаос, движется к победе -- благодаря стратегической смене приоритетов, доминированию в вычислительных мощностях и подкреплениям от Starlink, космических дата-центров и Terafab.

Это AI-перевод статьи, сделанный каналом Про AI: Лучшие Статьи и Исследования.

xAI победит

xAI will win Автор: Shaun Maguire Оригинальный текст:

Все спят на Илоне... опять. И особенно на xAI.

То, что выглядит как хаос -- это на самом деле резкая смена приоритетов после устранения узкого места. Как, например, резкий фокус на Starlink после того, как Falcon 9 стал надёжно многоразовым в 2018 году. Паттерн хаоса -- часть неумолимого движения к победе.

Пять лет назад люди считали Илона технологом. Сегодня, после многих лет масштабных и интенсивных манипуляций с нарративом, его воспринимают как политическую фигуру. Это впечатление ошибочно.

Илон постоянно ищет самые большие узкие места, сдерживающие технологический прогресс человечества. К сожалению, политика стала ограничивающим фактором на пути к межпланетной жизни, созданию гуманоидных роботов и AGI (общему искусственному интеллекту).

Вход в политику был нежелательным, но необходимым шагом для продвижения нашего коллективного будущего.

Эта статья пройдётся по истории, которая даёт контекст для настоящего и будущего. Я абсолютно уверен, что Илон победит.

Возможно, это разочарует тех, кто любит скандалы, но победа Илона и xAI не означает, что другие ведущие лаборатории проиграют. Я считаю, что большинство из них тоже победят.

Цифровой интеллект -- один из крупнейших рынков в истории (физический интеллект может оказаться ещё больше).

Но сначала несколько оговорок:

• Это мои личные взгляды, а не позиция Sequoia.
• Это точно не инвестиционный совет. Sequoia инвестирует в SpaceX, xAI и большинство компаний Илона -- я возглавлял эти инвестиции, так что я предвзят.
• В этом посте используется только публичная информация.

1) У Илона есть история предвидения будущего

По мере нарастания атак на него люди забыли о том, в какой поразительной степени он раз за разом предугадывал будущее. Не ставьте против человека, который:

При этом это не значит, что Илон всегда прав. Я думаю об этом так: в абсолютно неочевидных технологических ставках у Илона лучшая интуиция в мире. Он, вероятно, прав примерно в 80% случаев. Но это далеко не очевидные идеи вроде "только компьютерное зрение", "многоразовые ракеты" или "AlexNet = путь к AGI". А в 20% случаев, когда его интуиция ошибается, он быстро меняет курс при изменении данных.

Не вдаваясь в подробности, напомню лишь о нескольких крупных технологических ставках, в которых он оказался прав:

• Он понимал, что происходит с плотностью батарей, и практически единолично открыл эру электромобилей с Tesla
• Он помог создать эру цифровых денег с PayPal
• Он понял, что многоразовые ракеты и необходимы, и возможны. Сложно объяснить, насколько неочевидным это было
• В ранние дни беспилотных автомобилей шла огромная дискуссия: только зрение или зрение + лидар. Лагерь "только зрения" был в меньшинстве. Илон увидел будущее на 10 лет раньше, чем это стало очевидным

Это поверхностные примеры. Поскольку этот пост об xAI, давайте пройдёмся по его истории в области искусственного интеллекта.

Это моё личное прочтение ситуации, основанное на почти 20-летнем пребывании на периферии ИИ (я погружён в тему ИИ с 2007 года, со времён аспирантуры по статистике в Stanford, когда это было ещё скучно).

2) История Илона в ИИ

Возможно, Илон -- не тот человек, который руками писал код и вносил крупнейший вклад в ИИ, но при этом существует лишь очень небольшое число людей с таким послужным списком по усвоению ключевых моментов в реальном времени и способности видеть за горизонт (на ум приходят Ларри Пейдж на раннем этапе, Дженсен Хуанг, Илья Суцкевер, Демис Хассабис -- и не так много других).

Он не только распознаёт прорывы, которые имеют значение, но и имеет историю немедленных действий на их основе.

*AlexNet в 2012 году*

Современный ИИ следует разделять на эру до AlexNet и после. Результаты AlexNet вышли в октябре 2012 года. Для относительно небольшого числа людей, которые следили за этим, это было шокирующим. Нейронные сети существовали десятилетиями, но застопорились. Это было, по сути, научное захолустье. А затем AlexNet показал: если сделать их "глубокими", бросив на них огромное количество вычислительных мощностей (впервые в виде GPU, а не CPU) и данных, можно получить гигантский скачок в производительности.

Точные сроки для Илона неясны, но похоже, что он мгновенно осознал значимость AlexNet, и уже к маю 2013 года сообщалось, что Tesla "рассматривает возможность добавления технологии беспилотного вождения в свои автомобили".

Если вернуться в эпоху до AlexNet, ИИ делился на два различных философских лагеря: статистическое обучение против байесовского. После AlexNet, на мой взгляд, ИИ разделился по новым линиям: зрение против языка (компьютерное зрение против NLP). После AlexNet зрение переживало ренессанс, а языковое направление находилось в том, что оказалось кратковременным затишьем.

В то время шла неформальная дискуссия о том, какой путь к AGI лучше -- через зрение или язык? Никто не знал наверняка, но в 2013 году зрение казалось наиболее перспективным.

Воспользуюсь аналогией из биологии. Представьте следующий мысленный эксперимент. Представьте, что 1000 людей рождаются со зрением, но все остальные их чувства нарушены. А теперь представьте ещё 1000 людей, рождённых со слухом, но без зрения и без других чувств. Какая группа будет учиться быстрее?

Примерный консенсус того времени: подход "только зрение" будет более быстрым путём к общему интеллекту.

Но есть ещё один важный вариант. Представьте тот же мысленный эксперимент, но добавьте осязание. Итого: (зрение + осязание) против (язык + осязание). Биологическая скорость обучения значительно выше, когда есть возможность взаимодействовать со средой, а не просто пассивно её воспринимать.

Моё мнение: Илон глубоко осознал эти концепции и задал дорожную карту для Tesla:

Шаг 1: идти ва-банк на компьютерное зрение (с масштабированием) для решения задачи автопилота

Шаг 2: использовать это для заработка и создания лучшей модели зрения в мире. Затем перейти к гуманоидным роботам / Optimus, которые позволяют добавить осязание / интерактивную обратную связь. Это должно ускорить обучение в 10 раз

Шаг 3: либо это приведёт к AGI, либо найти следующий шаг за пределами Optimus

Насколько я могу судить, таков был план, и это была, возможно, лучшая дорожная карта к AGI в ту эпоху (у Google тоже была сильная дорожная карта -- и тогда, и сейчас).

*Глубокое обучение с подкреплением в конце 2013 года*

В декабре 2013 года DeepMind опубликовал статью "Playing Atari with Deep Reinforcement Learning". Так же, как AlexNet стал революционным скачком в классификации, это стало революционным скачком в обучении с подкреплением (RL). Нейронные сети были изобретены в 1950-х годах, а RL -- несколько лет спустя. Но обе техники застопорились, пока не появились их "глубокие" аналоги.

И снова Илон мгновенно осознал значимость происходящего и попытался купить DeepMind. Он проиграл торги Google, который тоже моментально понял монументальность прорыва в RL. Поглощение DeepMind компанией Google было объявлено всего через 38 дней после публикации этой статьи. Поразительно, как быстро и Google, и Илон действовали.

Но ребята... мы смотрим на этот таймлайн с ошибкой ретроспекции.

Поставьте себя на место Илона в декабре 2013 года. Рыночная капитализация Tesla на тот момент составляла $18B. Falcon 9 только что совершил свой 7-й успешный полёт) и запустил свой первый частный коммерческий груз. Парень вкалывал над производством в Tesla и начинал зарабатывать на Falcon 9... но при этом следил за всеми крупнейшими прорывами в ИИ и мгновенно осознавал их значимость + действовал.

Многие молодые ребята в ИИ сегодня не жили в ту эпоху, и просто сложно объяснить, как много Илон понимал в реальном времени.

*Основание OpenAI в 2015 году*

По ряду причин я не буду вдаваться в подробности. Но напомню: Илон стал сооснователем OpenAI в конце 2015 года. Моя интерпретация изначальной миссии: 1) быть местом для прорывных, долгосрочных исследований в ИИ и 2) попытаться сделать AGI "безопасным" для людей.

*Трансформеры в 2017 году*

Статья Google Brain "Attention Is All You Need" вышла на NIPS в 2017 году (также известная как статья о Transformer (трансформерах)). Это была революция на языковой стороне ИИ.

AlexNet : компьютерное зрение :: трансформеры : обработка естественного языка

Честно говоря, мне неизвестно о каком-либо серьёзном изменении курса со стороны Илона в ответ на этот результат, в отличие от других ключевых моментов в ИИ.

Одна интерпретация: даже при этом языковом прорыве он по-прежнему был уверен, что путь к AGI лежит через зрение.

Другая возможность: это произошло в ужасное время -- на пике "производственного ада" в Tesla (конец 2017 -- начало 2018). Одновременно это был поворотный момент для SpaceX, где работали над надёжностью посадки ускорителей Falcon 9. Или, может быть, дело было в чём-то другом, не знаю. Но похоже, что он изначально упустил резкий переход от зрения к языку.

*ChatGPT в 2022 году*

ChatGPT был выпущен для публики 30 ноября 2022 года. xAI была основана 9 марта 2023 года.

Я не знаю, что произошло за 3 месяца между этими двумя событиями, но полагаю, что Илон изменил своё мышление и увидел язык как вероятный путь к AGI (при сохранении дорожной карты по зрению в Tesla). Это был возврат к прежнему быстрому и решительному Илону. Распознавание знаковых событий в реальном времени и мгновенные смелые ставки.

*Законы масштабирования*

Ещё одна из самых важных идей в ИИ за последние 15 лет -- scaling laws (законы масштабирования). OpenAI опубликовала статью в 2020 году, которая произвела фурор в отрасли и популяризировала эту идею. Многие из авторов впоследствии основали Anthropic. Они определённо осознали нечто глубокое.

Но лично я не думаю, что scaling laws имели определённую дату так же, как другие события. Ларри Пейдж осознал нечто похожее на scaling laws ещё в 2007 году. И я думаю, Илон пришёл к аналогичному пониманию примерно тогда же. Если не тогда, то точно в начале работы над автопилотом Tesla и в ранней переписке OpenAI. Это ещё одна важная концепция, которую он рано усвоил.

Напомню: это был лишь набор примеров того, как Илон делал гигантские ставки в ИИ и обычно оказывался прав. И ВСЁ ЭТО -- ПОКА ОН УПРАВЛЯЛ АВТОМОБИЛЬНОЙ КОМПАНИЕЙ, РАКЕТНОЙ КОМПАНИЕЙ, ТОННЕЛЬНОЙ КОМПАНИЕЙ И КОМПАНИЕЙ ПО НЕЙРОИНТЕРФЕЙСАМ. Суть в том, что у Илона есть история предвидения будущего.

2) Илон фокусируется на малом количестве вещей одновременно

Я считаю, что это ключевая призма, через которую нужно смотреть на то, что происходит в xAI прямо сейчас.

Моё впечатление о том, как Илон управляет своими компаниями: он фокусируется только на 1-3 ключевых вещах одновременно. Его внимание следует экспоненциальному спаду -- примерно 70% фокуса на Приоритете 1, 20% на Приоритете 2 и 10% на всём остальном. Как только Приоритет 1 выходит на хороший путь, для публики это выглядит как гигантский рывок, потому что его внимание переключается на новый приоритет.

Я вставил абзац выше в Grok и попросил построить таймлайн для SpaceX по этому фреймворку. Получилось чертовски хорошо! Расскажу подробнее о Starlink.

У меня было много друзей, работавших над Starlink в период 2018-2020, так что я слышал кое-что изнутри и использую это как пример. Вот моё примерное видение того, как всё происходило.

Первый ускоритель Falcon 9 успешно приземлился в декабре 2015 года. 2016-й и 2017-й были целиком посвящены обеспечению надёжности многоразового использования. К концу 2018 года многоразовость была "на хорошем пути", то есть это узкое место было устранено. МАСШТАБНО. Теперь компания может серьёзно работать над Starship и Марсом. Но здесь будет узкое место в виде денег. Значит, пора серьёзно заняться Starlink.

Илон серьёзно занялся Starlink где-то в начале -- середине 2018 года. Моя интерпретация: до этого он не уделял ему особого внимания, справедливо фокусируясь на многоразовости Falcon 9. Но вскоре после того, как он сфокусировался на Starlink, он понял, что команда... просто недостаточно хороша. Он прилетел в Редмонд, штат Вашингтон, где они базировались, и уволил всё старшее руководство.

После этого Илон перевёл некоторых своих лучших молодых сотрудников с ракетного направления, и они быстро сделали невозможное. Starlink находился в хаосе около двух лет после этого, а затем стал самодостаточным монстром. После задержки в цепочке поставок из-за Covid производство пользовательских терминалов шло в большом шатре на парковке в Хоторне. От перезагрузки до выручки -- около двух лет. Невероятно.

То, что внешний мир воспринимал как хаос, на самом деле было обретённым фокусом. То, что выглядело как проигрыш, было отсутствием попытки. Это типичный паттерн в компаниях Илона. Назовём это рывком от смены приоритетов.

Для интереса -- вот резюме Grok о приоритетах Tesla во времени. У Tesla были моменты, похожие на историю Starlink выше. "Производственный ад" Tesla Model 3 в 2017-2018 годах. И две перезагрузки Autopilot/FSD. Первая -- в 2016 году после того, как Tesla и Mobileye прекратили партнёрство, а затем в 2021/2022.

Аналогично, команда основателей Neuralink состояла из 9 человек. Из этих 9 только двое остались: Илон Маск и DJ Seo. В 2020-2021 годах около шести членов-основателей покинули компанию. Опять же, снаружи это выглядело крайне хаотично. Но оглядываясь назад, это был фазовый переход от науки/R&D к чёткому направлению и масштабированию продукта. После 2-3 лет экстремальной турбулентности Neuralink работает гладко последние несколько лет и, похоже, процветает.

Теперь применим этот фреймворк к xAI. Для внешнего мира сейчас всё выглядит хаотично. Из 12 членов-основателей более половины ушли за последний год. xAI в настоящее время отстаёт от Anthropic и OpenAI по кодингу и выручке. Многие считают, что xAI безнадёжно позади.

Я вижу это иначе. Моё впечатление: приоритет №1 для Илона в xAI был compute (вычислительные мощности). Приоритет №2 -- приблизиться как можно ближе к фронтиру по производительности моделей.

Вычислительные мощности xAI теперь на ускоряющемся пути к доминированию. Знаю, что многие не согласятся со мной. У Google впечатляющее оборудование для дата-центров -- например, оптические переключатели на основе MEMS и TPU. Илон только что написал в твите:

Моя интерпретация этого твита: Google будет иметь самые масштабные вычислительные мощности на Земле на Западе. Китай будет иметь самые масштабные вычислительные мощности на Земле (отчасти благодаря их огромному преимуществу в солнечной энергетике). А SpaceX будет иметь самые большие вычислительные мощности в космосе. В конечном счёте космос победит.

Ключевой момент в том, что с прогрессом Colossus 2 + уверенностью SpaceX в орбитальных дата-центрах + способностью SpaceX к реализации аппаратных проектов (лучшая в мире, на мой взгляд), я думаю, что буквально за последние 3 месяца Илон перешёл от compute как приоритета №1 xAI к ощущению, что эта задача на хорошем пути.

Моё прочтение: два главных приоритета xAI теперь -- модели и новый приоритет: продукт.

К вопросу о продукте. Я бы утверждал, что Claude Code был первым настоящим ИИ-продуктом. Всё, что было до этого, было просто интерфейсом. "Продуктом" был невероятный бэкенд с максимально простым фронтендом. ChatGPT вписывается в эту модель -- прорывной бэкенд, доступный через простой промпт-интерфейс. Впервые с большими языковыми моделями Claude Code взял модель и превратил её в нечто большее, чем сумма частей.

Аналогия -- Google на раннем этапе. Оригинальный Google Search не был продуктом. Это был гениальный, элитный бэкенд, открытый публике через максимально простой интерфейс: белую веб-страницу с маленькой строкой поиска.

Google проделал фантастическую работу по построению рвов вокруг этого со временем -- от Android как операционной системы до Chrome, бесплатного лучшего почтового сервиса (Gmail), SSO и продуктов для совместной работы вроде Docs и Drive. На мой взгляд, Claude Code стал первым шагом от ИИ как мощных бэкендов, доступных через промпт-интерфейсы, к чему-то глубоко интегрированному и "прилипчивому".

На мой взгляд, сочетание выхода compute на хороший путь и появления продуктов в ИИ -- всё за последний квартал -- вызвало масштабную смену приоритетов в xAI.

Снаружи это выглядит хаотично, но как и со Starlink в конце 2018 года, это просто смена приоритетов и обретённый лазерный фокус. Так же, как многоразовость ракет стала "решённой" в 2018 году, compute теперь на правильной траектории. Модели + продукт -- новые приоритеты.

3) Подкрепление на подходе

Google -- 27 лет. OpenAI -- 10 лет. Anthropic -- пять с четвертью. А xAI -- чуть больше трёх лет.

Потерпите секунду. Что если xAI играла в другую игру?

Пока другие фокусировались на коде, Илон фокусировался на compute. Пока другие фокусировались на дорожной карте следующего года, Илон строил долгосрочное преимущество.

У xAI на подходе подкрепления в ближайшие годы. Вот некоторые из них.

*Свободный денежный поток Starlink*

Это самое простое для объяснения. Starlink -- один из самых прекрасных бизнесов в истории. Его сестра, Direct to Cell, должна быть не хуже, если не лучше. У Direct to Cell уже более 8 миллионов активных пользователей, но настоящий рост начнётся, когда: Starship будет запускать спутники v3 + чипсеты в телефонах будут оптимизированы под частоты SpaceX. Я верю, что Starlink + Direct to Cell станут для SpaceX/xAI тем же, чем Search стал для Google.

*Космические вычисления*

Знаю, это звучит как сюжет плохого фильма. Но это будущее. Также знаю, что люди скептичны.

Я верю математике больше, чем прикидкам. Думаю, это будет феноменально. Я провёл системный анализ, похожий на тот, что делал для Starlink, начиная с конца 2019 года (что привело к инвестиции в $600M в середине 2020 года). Моя математика показывает чуть худшую операционную маржу, чем у Starlink, но на том, что, вероятно, станет крупнейшим рынком в истории. Не могу дождаться, чтобы поделиться более глубокими мыслями.

А пока, не подтверждая какие-либо из этих цифр, вот примерно правильный способ думать о космических вычислениях.

На мой взгляд, для SpaceX худший сценарий -- это владение облачным бизнесом нового поколения. По сути, продажа inference (инференс) токенов для других поставщиков моделей с примерно 30%-ной операционной маржой на рынке в многие триллионы долларов. Но я не думаю, что мы будем жить в худшем сценарии.

*Terafab*

Совместный проект Tesla + SpaceX + xAI только что объявил о Terafab. Это один из самых амбициозных проектов в истории человечества. Это вертикально интегрированный проект, рассчитанный на производство чипов мощностью 1 ТВт в год.

Скажу лишь, что многие промежуточные шаги здесь -- низкорискованные и будут чрезвычайно полезны для этих компаний в самое ближайшее время.

Владение цепочкой поставок -- это всё. Это и есть Terafab.

*Optimus от Tesla*

Скорость обучения выше, когда есть возможность взаимодействовать со средой. Это физическое воплощение обучения с подкреплением. FSD от Tesla по сути пассивен: вы стараетесь ни во что не врезаться. Optimus будет активным -- уронит стакан, увидит, как он разбивается, и научится.

Илон лучше всех подготовлен к переходу к физическому ИИ.

4) Заключение

Илон включён на уровне, на котором ни один другой CEO крупной компании не был никогда.

Невозможно осознать такую трудовую этику, не увидев её воочию. Он работает на пределе того, что способна выдержать человеческая биология. Он -- первый CEO крупной компании уровня четырёхзвёздного генерала, который живёт в окопах со своими войсками, круглосуточно, на протяжении длительного времени.

Инженеры нарративов хотят, чтобы вы видели отвлечение и упадок. Но на самом деле происходит конвергенция множества многолетних дорожных карт в ускорение, которого мы никогда прежде не видели.

Космос, чипы, энергия и ИИ -- всё это сходится воедино. Илон -- лидер во всех этих областях.

xAI победит. Масштаб этой победы будет беспрецедентным. Невообразимым даже. И я не считаю, что это будет игра с нулевой суммой. Мы все выиграем. Это крупнейший момент расширения пирога в истории.

Никогда не ставьте против Илона. И пристегнитесь. По крайней мере, пока мы не загрузим себя в облако (я наполовину шучу).

Подпишитесь на канал и каждый день читайте лучшие материалы про AI переведенные на русский!

Нашли интересную статью для перевода? Пришлите нашему боту: @ailongreadsbot