«Новости индексируются, проблема на вашей стороне». Как Яндекс помогал государству зачищать СМИ в России

Текст: телеграм-канал «Воля»

1 марта 2022 года Лев Гершензон, в 2008-2012 годах руководивший сервисом «Яндекс.Новости», написал в своем фейсбуке бывшим коллегам по «Новостям». Он обвинил Тиграна Худавердяна, Елену Бунину, Романа Чернина, Андрея Плахова и Андрея Стыскина в том, что «Яндекс» стал основным инструментом государства для сокрытия информации о войне в Украине, орудием пропаганды, а они сами — соучастниками преступления.

Гершензон говорил об этом и раньше, но до войны такие обвинения от «Яндекса» отскакивали. Даже оппозиционно настроенные к власти люди воспринимали компанию как продвинутую, успешную, современную и либеральную. Ей сочувствовали из-за постоянного давления со стороны Кремля. А обвинения отдельных политиков, СМИ, главных редакторов и журналистов в подлогах с индексацией новостей и формированием позитивной повестки дня для читателей сам «Яндекс» легко отбивал ссылками на то, что «все делает робот», «наши алгоритмы настроены оптимально», «проблем с индексацией нет, это проблемы самих СМИ». В крайнем случае компания признавала «отдельные сбои в работе робота и в алгоритмах» и обещала разобраться.

Пока «Яндекс» обещает, мы разобрались с тем, как компания манипулировала новостной повесткой в интересах Кремля, когда это началось и к чему это привело.

С чего все начиналось и как было устроено

Сервис «Яндекс.Новости» появился в 2008 году. Тогда русский интернет был совсем другим, аудитория составляла меньше 20 миллионов читателей, а электронных СМИ (многие из которых работали без свидетельства о регистрации) было около 6 000.

Гершензон и его команда точно поняли основную потребность журналистов. Всем СМИ был нужен доступ к аудитории. Вся аудитория пользовалась поисковиками, в том числе «Яндексом». Появилась простая и гениальная идея: прикрутить к поисковику агрегатор новостей. Площадку, к которой получат доступ все СМИ, пожелавшие стать партнерами сервиса.

Правила игры на площадке поначалу были прозрачными:

• партнером может стать любой сайт, который производит уникальный контент и соответствует техническим требованиям сервиса;
• робот сервиса индексирует все новости и материалы, поставляемые СМИ-партнерами и ранжирует их в зависимости от нескольких десятков параметров (основные: уникальность материала, вес издания, который зависит от количества ссылок на него в других СМИ, оперативность новости);
• собранные материалы делятся на сюжеты по темам и рубрикам;
• оперативные и уникальные новости (не перепечатки) от источников с большим весом выводятся в топ-сюжета;
• пять самых читаемых новостей от источников с большим весом выводятся на главную страницу «Яндекса» и автоматически заменяются на свежие новости, догнавшие их по популярности.

Эти прозрачные правила и качественно работающие алгоритмы быстро привлекли к «Яндекс.Новости» почти все электронные СМИ, работающие в России. А еще больше привлек трафик, который стал приходить с нового сервиса. Редакции получили доступ к аудитории, которая им и не снилась.

СМИ с именем смогли выйти на аудиторные показатели в 30-50 миллионов человек в месяц. СМИ второго порядка начали собирать 3-7 миллионов «уников» (уникальных посетителей) в месяц.

К осени 2011 года многие редакции поняли, как оптимально работать с «Яндекс.Новостями», чтобы получать максимальный трафик от сервиса:

• новости должны выходить 24/7;
• новость должна быть уникальной (никакого копипаста);
• в новости должно быть не меньше двух ссылок на источники и не меньше одной ссылки в бэкграунде (предыстории описываемых событий).

Тогда же в российской журналистике появилась новая специализация — новостник. Это журналист, как правило, начинающий, который сидит в редакции, мониторит агентства и другие СМИ, следит за обновлением сюжетов в «Яндекс.Новостях» и переписывает чужие новости, добавляя в них новые подробности, чтобы встать в сюжете выше остальных. Хорошо работающая команда новостников давала СМИ от 40 до 70% суточного трафика. Зарплаты у них были минимальными — 25-45 тысяч рублей на человека, а результат выдающимся.

Стало понятно, как новое или малоизвестное СМИ может добиться стремительного роста аудитории. Подключаешься к «Яндекс.Новости», запускаешь новостную службу, работающую без выходных и праздников днем и ночью (обычно работа строилась сменами по 8 часов). Через месяц такой работы робот «Яндекс.Новости» увеличивает вес твоего издания и поднимает его в выдаче.

Изначально самый большой вес в «Яндекс.Новости» был у информационных агентств: РИА «Новости», ТАСС, «Интерфакс», РБК, «Прайм», Регнум. Вслед за ними шли популярные СМИ с большой историей: «Комсомольская правда», «Аргументы и Факты», «Коммерсант», «Российская газета», Лента.ру, Газета.ру, «Известия», «Независимая газета», «Ведомости» и другие. Дальше — все остальные.

Всем остальным попадать в топ сюжетов в самых популярных рубриках «Политика», «Экономика», «Общество» без веса было трудно. Поэтому они проигрывали конкуренцию СМИ первого порядка. Самые толковые руководители новостных служб нашли выход: писали новости в менее популярные рубрики («Финансы», «Технологии» и др.), где можно было попасть в топ и за счет этого быстро набрать базовый вес у робота «Яндекс.Новости». 

Набрав базовый вес, можно было конкурировать с основными СМИ в популярных сюжетах по ночам. В 2008-2012 годах многие большие редакции не заморачивались ночными сменами для новостников, потому что им хватало и дневного трафика. За счет этого небольшие или новые СМИ могли относительно легко попадать в топ-сюжета или даже на главную «Яндекса» ночью.

Эта тактика давала результаты, и спустя месяц-два маленькое СМИ могло уже конкурировать с большими коллегами даже в рубриках «Политика» и «Экономика».

В первые годы работы «Яндекс.Новости» российский рынок интернет-СМИ показывал стремительный рост и бурное развитие. Тогда, в 2008-2014 российская интернет-журналистика начала резко опережать европейских и даже американских коллег по уровню технического оснащения и подкованности сотрудников (речь исключительно о знании технических приемов и умении пользоваться самыми разными сервисами и программами, не о качестве самой журналистики).

Робот не пережил Крым 

Идиллия кончилась быстро. В декабре 2011 начались массовые акции протеста из-за результатов выборов в Госдуму. В январе-феврале они продолжились на Болотной площади.

Руководство «Яндекс.Новости» в тот момент начало получать звонки из администрации президента. Им четко давали понять, что повестка дня должна быть «объективной», а не превращаться в хронику митингов и их разгонов.

Топ-5 новостей на главной странице «Яндекса» с того момента стал модерироваться. Модерировались также и сюжеты в «Политике», «Происшествиях», «Обществе», «Экономике». Подбор новостей внутри сюжетов еще оставался за роботом.

Кремль усиливал давление на «Яндекс» и на СМИ. Сменивший Владислава Суркова в администрации президента Вячеслав Володин не хотел и не умел играть в игры с журналистами и технарями. Он предпочитал жестко говорить с владельцами СМИ и технологических компаний.

Цель этих разговоров была простой: повестка дня в интернете должна быть такой же или близкой к картине дня на «Первом канале», ВГТРК, «НТВ» и других государственных ТВ-каналах.

«Яндекс.Новости» и журналистов спасало в тот момент полное непонимание Володиным и его начальством того, как устроен интернет.

Товарищи из Кремля и со Старой площади учили матчасть два года. В этом им активно помогали российские интернет-бизнесмены, особенно Герман Клименко (владелец Liveinternet и MediaMetrics; в 2016 году стал советником Путина по развитию интернета) и руководство Mail.ru и Rambler.

Пока начальство слушало лекции своих советников, СМИ и «Яндекс.Новости» продолжали работать, адаптируясь к новым условиям.

Новостной сервис «Яндекса» стал для российских медиа тем же, чем нефть и газ для путинской власти. Подсев на иглу новостного трафика, отказываться от нее никто не хотел. Да и сам «Яндекс» старался сохранить нормальные отношения со СМИ.

Все резко и окончательно изменилось 28 февраля 2014 года, когда «вежливые люди» высадились в Крыму. Тогда правительственные здания и стратегические объекты на полуострове были заняты людьми в военной форме без опознавательных знаков. Их прозвали «зелеными человечками» или «вежливыми людьми». Путин на пресс-конференции 4 марта на вопрос, не российские ли это военные, ответил, что их там нет. Позже «ихтамнет» стало мемом.

Риторика властей не во всем совпадала с тем, что происходило на полуострове. 

Большинство жителей поддержали референдум, во многом из-за того, что были запуганы российскими же СМИ и пророссийскими местными политиками, которые рисовали единственной альтернативой референдуму о присоединении к России «массовые убийства наймитами киевской хунты».

Расхождения начинались в другом. В Крыму были те, кто не хотел становиться частью России. Это продвинутая молодежь, которая начала уезжать из Крыма в Украину, это крымские татары, интеллигенция и украинские бизнесмены, украинские военные и служащие, которые не хотели нарушать присягу.

О них писали, им давали слово многие российские СМИ, но в новостной повестке дня «Яндекс.Новости» голосов недовольных не было. Можете убедиться сами — web.archive.com помнит все, достаточно ввести адрес сайта и выбрать дату.

Резко перестали попадать в агрегатор и новости о жертвах «возвращения в родную гавань» — нескольких убитых украинских военнослужащих и сотрудников правоохранительных органов.

Робот Яндекса «не видел» новости о фальсификациях в день референдума, о нападениях «казаков» и «патриотически настроенных граждан» на журналистов, снимавших нарушения или митинги недовольных присоединением.

Руководители редакций связывались с руководством «Яндекс.Новости» и требовали объяснений, почему эксклюзивная новость не появляется в сюжетах, хотя полностью соответствует всем требованиям. В «Яндексе» поначалу брали паузу, но быстро придумали чисто техническое объяснение происходящего, звучавшее примерно так: «Ваша новость проиндексировалась роботом, но не попала ни в один сюжет, потому что этого нет в повестке других СМИ. Но не волнуйтесь так, как только проиндексируются публикации других изданий по вашей теме, будет сформирован сюжет».

Надо ли объяснять, что основной поток информации из Крыма обеспечивали государственные и связанные с государством СМИ, которые игнорировали любую информацию, не вписывающуюся в официальную картину?

Тогда те издания, которые хотели заниматься журналистикой, а не пропагандой, начали объединять усилия, делая несколько перекрестных новостей о происходящем, чтобы робот «Яндекс.Новости» все-таки собрал сюжет и его увидели не только постоянные посетители сайтов, но и широкая аудитория всего поисковика.

Результат был нулевым. Сюжет в сервисе не появлялся. После очередных звонков и писем в «Яндекс.Новости» в ответ приходила ссылка и пояснения, общий смысл которых сводился к следующему: вот вам ссылка на ваш сюжет, не ругайтесь, он есть. В нем пять новостей. Но он не попал в топ-сюжетов рубрики, потому что общий вес всех изданий, написавших о событии, слишком мал. Он меньше веса других сюжетов, поэтому их видно, а вашего нет. Но мы все сделали честно, наращивайте вес, пишите лучше и вас увидит аудитория.

В частных разговорах руководители сервиса объясняли, что у них есть указание следить за повесткой. Тогда же стало известно, что топ-5 новостей на главной странице «Яндекса» начал формироваться руками редакторов. Робот вышел из доверия.

«Ихтамнеты», «сепаратисты», «сбитый боинг», «ЧВК»: что не показывали «Яндекс.Новости» 

Весной 2014 года администрация президента начала зачищать СМИ. Была разогнана редакция Ленты.ру, старавшаяся играть по правилам, но все-таки выдававшая неуместные с точки зрения властей факты. Роскомнадзор заблокировал Грани.ру, Каспаров.ру и ряд других сайтов. 

Были созданы или перезапущены полностью подконтрольные власти агрегаторы новостей и заголовков: Mediametrics Германа Клименко и Rambler, за которым внимательно присматривал новоиспеченный главред Ленты.ру Алексей Гореславский (если интересно — вот его интервью «Известиям» от ноября 2014 года).

Дальше — больше. После начала событий на Донбассе «Яндекс.Новости» просто игнорировали все публикации, альтернативные официальной позиции Кремля. Российские войска не участвуют в конфликте на Донбассе (как вы помните, «их там нет»), Россия не имеет к этому никакого отношения, все происходящее связано исключительно с националистической политикой Киева и сопротивлением местных жителей.

• Новости о захвате российским спецназом административных зданий в Луганске и Донецке индексировались, но в сюжеты по этой теме попадали только новости, в которых говорилось, что их захватывают силы местной самообороны. 
• Новости о грабежах ювелирных магазинов и вскрытых банкоматах (этим занимались местные бандиты и российские силовики) в городах востока Украины не попадали даже в рубрику «Происшествия». 
• Новости, в которых рассказывалось о фарсе, устроенном на референдуме о создании ДНР и ЛНР (например, когда журналист с двойным гражданством ездил по избирательным участкам и голосовал сначала по одному паспорту, а потом сразу по другому) индексировались, но не попадали в сюжеты о референдуме.
• Когда началась война, в которой с первого дня принимали участие солдаты и офицеры российской армии, новости об их участии также не попадали никуда, хотя исправно индексировались.
• Новости, в которых сторонники ДНР и ЛНР назывались «сепаратистами», не попадали в сюжеты, хотя в слове сепаратист нет оскорбительной коннотации.
• Когда 17 июля 2014 года над Донецкой областью был сбит малайзийский Боинг (в 16:20 по московскому времени), около 16:45 в «Яндекс.Новостях» появился сюжет, собранный из публикаций пророссийских изданий. Они, ссылаясь на информацию от бойцов ДНР, сообщали, что сбит украинский военный самолет АН-24. К пяти вечера выяснилось, что сбит не военный, а гражданский самолет, не имеющий никакого отношения к Украине. Сюжет о сбитом АН-24 пропал из выдачи «Яндекс.Новости» моментально.
• Во время боев в Иловайском котле, когда украинских военных и бойцов нацбатов обстреливала российская артиллерия, новости об этом не попадали в сюжеты сервиса.

• В августе 2014 года после провального наступления на Мариуполь и Комсомольское раненых российских солдат везли в госпитали в Ростове-на-Дону, в Москве, в Санкт-Петербурге. Новости об этом не появлялись в сюжетах, посвященных войне на Донбассе. Как и информация об убитых десантниках и их тайных похоронах в Выбутах, что под Псковом, ставшая известной благодаря социальным сетям.
• Не попадали в сюжеты и новости о похоронах убитых солдат из Карачаево-Черкесии, Мурманской, Самарской, Кемеровской областей, Хабаровского и Алтайского краев.

Объяснения были теми же. Вес изданий, пишущих, что «их там нет», выше, чем ваш. Пишите лучше, а наш робот работает как надо, все индексирует, вот вам ссылка на вашу новость. А что ее никто кроме вас не видит, ну, это не наши проблемы. Как уже говорили — пишите лучше, на вашем сайте прочитают.

Зимой 2014-15 годов, когда началось наступление частей «ихтамнетов» и подразделений ДНР и ЛНР, завершившееся боями под Дебальцево, «Яндекс.Новости» не сообщали ни о потерях среди российских солдат, ни о жертвах среди мирного населения из-за российского огня, ни о том, как в ДНР убивали местных, пытавшихся выгнать из дворов российских минометчиков, которые часто стреляли по позициям ВСУ из-за жилых домов, вызывая ответный огонь по мирным жителям.

«Их там нет», «новости индексируются», «алгоритмы робота не менялись», «мы не модерируем новости руками, все делает робот».

В январе 2017 года вступил в силу закон о новостных агрегаторах, который в числе прочего обязал их проверять достоверность информации из изданий, не имеющих лицензии СМИ. После этого Яндекс изменил партнерское соглашение — клиентами сервиса могли стать только издания, имеющие свидетельство о регистрации СМИ.

Те, кто писал что-то расходящееся с официальной картиной мира, просто не индексировались «Яндекс.Новости», потому что не имели российского свидетельства о регистрации СМИ. А оставшиеся «Новая газета» и «Эхо Москвы» спрашивать ни о чем не хотели, ответ был ясен заранее.

Робот на позитивной диете

С 2015 по 2022 год сервис «Яндекс.Новости» решительно и окончательно встроился в формирование нужной властям картины мира. Алгоритмы работы робота были понятны давно. Нужно было всего лишь перестроить работу СМИ, чтобы перед глазами аудитории каждый день вырастал нужный государству город-сад.

Продвижение позитивной повестки делалось за счет публикации сотен, а иногда и тысяч новостей по одной теме, которые писали государственные СМИ и мелкие издания, работающие на госзаказ. «Москва хорошеет», «Экономика укрепляется», «Решительный отпор Западу», «Население поддерживает» и т.д.

Каждый регион обеспечивал и обеспечивает сегодня вал нужных для себя новостей, забивая таким образом негативную повестку в «Яндекс.Новостях». Робота кормят «позитивом» от Калининграда до Корсакова.

Разговоры, что «робота обманули» хитрые политтехнологи из АП, не имеют отношения к реальности. Его не нужно было обманывать — просто руководство «Яндекс.Новости» дало пульт от робота в руки тех, от кого зависят их зарплаты, ипотеки, отпуска и автомобили. И это был абсолютно осознанный выбор.

Владимир Путин опирается на большинство россиян. Большинство смотрит телевизор и потребляет новости через Mail.ru и «Яндекс» (некоторые даже уверены, что в «Яндексе» работают журналисты, которые их пишут). В 2014 году была поставлена задача сделать картинку одинаковой и уже к 2017-му ее полностью решили. Что было наглядно продемонстрировано во время пандемии и еще нагляднее сейчас, во время войны с Украиной.

Меньшинство, способное включать VPN, читающее Telegram, Facebook, Instagram и «вражеские СМИ», Кремль не волнует, потому что оно меньшинство.

Ответственность руководства и сотрудников «Яндекс.Новости» — не только в формировании позитивной повестки для большинства россиян, но и в подталкивании СМИ к последней черте. В условиях блокировки социальных сетей и действующих алгоритмов «Яндекса», редакции, даже если захотят, не смогут достучаться до читателей через привычные для этих читателей каналы распространения контента.

У большинства читателей и зрителей доверие вызывает лишь информация из привычных источников: «в телевизоре сказали», «в газете написали», «на сайте появилось». Телеграм-каналы, Youtube и другие платформы пока еще не расцениваются большинством россиян как авторитетные источники. Если удастся завоевать их доверие, то, возможно, получится изменить и мировоззрение. Тогда «Яндекс.Новости» превратится в аналог советской газеты «Правда», которую все читали, но мало кто верил. Но пока до этого далеко.

========

Подписаться на наш канал: https://t.me/volyamedia

«Воля» в Твиттере: https://twitter.com/Volya_media 

Наши тексты появляются благодаря вашей поддержке. Если они вам нравятся, помогите нам. Криптосчета для поддержки «Воли»:

BTC

bc1qlg9pu2npe8ckjuu4gfvgsfexpgsvekcjfkqndg

ETH

0xF51456ed3e0Ef1086538fcEf6511206b9B1A9eEF

Doge

DLpUA83easoLTqeP9hkdYVGHaUxHFASTQn

Zcash

t1YEJBkiFy6WbBG61P1YBEYj5dJNCQaiuFr

Как сделать перевод в криптовалюте, рассказываем здесь.