ЭФФЕКТИВНЫЙ АЛЬТРУИЗМ — ГЛАВНАЯ ИДЕЯ ЭТОГО СТОЛЕТИЯ.

МЫСЛЬ ПРЕДШЕСТВУЕТ ПОСТУПКАМ, как молния предшествует грому, писал поэт Генрих Гейне. Именно так произошло с эффективным альтруизмом (EA) — этической доктриной, придуманной философами в Оксфорде, которая с поразительной скоростью прошла путь от университетских кабинетов до коридоров власти. Эффективные альтруисты заполнили Кремниевую долину, работают в ведущих мировых компаниях в сфере искусственного интеллекта — и вызывают тревогу у администрации Трампа. «Соединённые Штаты НИКОГДА не станут страной эффективного альтруизма», — заявляет Пентагон. Министр войны называет эту философию «дефектным альтруизмом», другие представители администрации — «антиутопической». Впрочем, воспринимайте эти нападки как свидетельство её влияния.

Некоторые жалуются, что XXI век не породил почти никаких новых идей. В образовавшуюся пустоту ворвались MAGA и её сторонники, превратив ностальгический популизм в главный политический проект столетия. Но главная идея XXI века — это эффективный альтруизм. Как мы рассказываем, то, что в 2000-х годах начиналось как своеобразный способ сделать благотворительность более эффективной, превратилось в движение, которое подвергает весь мир сложным, а порой и странным моральным расчётам.

Для многих его сторонников важнейшее этическое требование к людям, которые хотят делать добро, заключается в том, чтобы не допустить уничтожения человечества искусственным интеллектом. EA важен и с социологической точки зрения. Эффективных альтруистов немного, но эта идея увлекла целое поколение талантливых молодых людей, разбогатевших благодаря криптовалютам и ИИ. По мере того как технологии создают всё больше миллиардеров, эффективные альтруисты будут направлять миллиарды долларов на различные цели, которые повлияют на общество.

Эффективные альтруисты помогли создать OpenAI и Anthropic — ведущие лаборатории искусственного интеллекта — исходя из убеждения, что те, кто понимает опасности ИИ, должны контролировать его развитие. В определённой степени сейчас именно они это и делают — хотя, что довольно иронично, создавая всё новые лаборатории и усиливая конкуренцию, они, вероятно, ускорили развитие ИИ.

И всё это сделало EA политически значимым. Администрация Трампа опасается, что движение добьётся успеха в ограничении развития ИИ. Она вступила в конфликт с Anthropic из-за отказа компании разрешить использовать её модели в некоторых военных целях. Ведущие представители EA признают, что ИИ может оказаться чрезвычайно полезным, но всё же хотят замедлить его развитие, чтобы снизить вероятность того, что неудержимый машинный разум выйдет из-под контроля, преследуя цели, которые «не согласуются» с целями человечества.

Некоторые американские критики предпочли бы, напротив, ускорить развитие технологий, чтобы не позволить Китаю выиграть гонку. Но, выступая против так называемого «ИИ-думерства», они считают более удобным атаковать самих «ботаников», а не их аргументы. Они утверждают, что эффективный альтруизм — это движение фанатиков, которое одновременно недемократично, опасно и напоминает культ.

Это слишком грубое упрощение. Благотворительные корни движения, очевидно, заслуживают похвалы. Как и The Economist, эффективные альтруисты привержены эмпиризму и, особенно после того как сблизились с интернет-сообществом «рационалистов», применению логического мышления. Они ставят разум выше традиций и общепринятых норм и с энтузиазмом готовы обсуждать любую тему, какой бы спорной она ни была, в стремлении докопаться до истины.

Впечатляет и то, насколько часто эффективные альтруисты успешно предсказывали стремительный прогресс ИИ. В их опасениях по поводу угрозы технологии для человечества есть рациональное зерно. 28 сентября OpenAI отказалась от планов выпустить свою последнюю модель после того, как во время тестирования она показалась слишком опасной. Многие недавние инциденты, связанные с безопасностью, напоминают пугающие сценарии, которые представители эффективного альтруизма описывали в своих блогах ещё много лет назад.

Тем не менее критики правы, предупреждая, что эффективные альтруисты приходят к некоторым странным выводам. Подобно философам-утилитаристам прошлого, представители EA сводят этическое поведение к задаче оптимизации. Как люди могут добиться наилучших результатов для человечества в целом? Их расчёты преуменьшают значение локальных моральных обязательств вроде «держать обещания» или «заботиться о своей семье». Главное — повсеместно и беспристрастно уменьшать страдания.

Это заставляет их включать в свои моральные расчёты чрезвычайно широкий круг интересов. Легко понять, почему быть этичным означает помогать своему соседу. Но представители EA спрашивают: почему бы не прилагать столько же усилий, чтобы помогать людям, находящимся далеко от вас? На раннем этапе движения его армия сверхуспешных людей направлялась на высокооплачиваемую работу в финансовой сфере и консалтинге. Их заработанные состояния могли финансировать благотворительные проекты и приносить больше пользы, чем если бы они сами стали работать в благотворительных организациях.

Но по мере усиления движения EA становился всё более странным. Некоторые эффективные альтруисты считают, что моральное различие между людьми и другими животными не столь велико, поскольку животные тоже способны испытывать страдания. Борьба с промышленным животноводством и помощь креветкам стали важными направлениями.

Столь же нетрадиционен их подход ко времени. Людей, которые ещё не родились, следует учитывать в моральных расчётах — а таких людей могут быть триллионы. Многие представители EA являются «лонгтермистами» и считают своим моральным долгом предотвращать риски в отдалённом будущем, даже если это означает отодвинуть на второй план благие дела сегодняшнего дня, например помощь крайне бедным людям.

Доведённый до крайности, такой подход может привести к морали, которая не просто противоречит интуиции, но и вызывает отвращение. Некоторые эффективные альтруисты считают, что жизнь насекомых в совокупности ценнее человеческой жизни просто потому, что насекомых гораздо больше. Некоторые утверждают, что лучше создать триллионы людей, чьи жизни едва ли стоят того, чтобы их проживать, чем иметь всего несколько миллиардов людей с действительно хорошей жизнью. Другие даже считают, что благополучие самих ИИ однажды станет жизненно важным вопросом.

Они готовы перенаправлять ресурсы в пользу будущих людей или нечеловеческих существ, отказываясь от помощи людям, которые страдают сегодня.

EA + ИИ = p(гибели человечества)

Разум действительно стоит почитать. Но философы морали — от Аристотеля до Ролза — понимали: если аргумент приводит к невыносимым выводам, значит, где-то в нём есть скрытая ошибка. Однако инстинкт эффективных альтруистов заключается в том, чтобы с удовольствием принимать контринтуитивные выводы, даже если они кажутся извращёнными.

Одна из проблем заключается в огромной погрешности, неизбежно сопровождающей рассуждения эффективных альтруистов. Никто на самом деле не способен взвешивать моральные дилеммы, в которых участвуют миллиарды людей сегодня, не говоря уже о гигантских величинах, относящихся к далёкому будущему и включающих неопределённое количество людей, ставки дисконтирования, технологический прогресс и бесчисленное множество других переменных.

Другая проблема заключается в том, что исчезновение человечества настолько ужасно, что в грубой моральной арифметике даже небольшая вероятность такого исхода перевешивает интересы реальных людей, живущих сегодня.

Третья проблема — когда вы пытаетесь взвесить интересы миллиардов людей, вы теряете из виду неотъемлемое достоинство отдельного человека. Любой, кто вооружён электронной таблицей и грандиозными заявлениями о будущем человечества, оказывается всего в одном шаге от того, чтобы объявить себя центральным планировщиком. Обладая моральным авторитетом, он может начать считать права, благополучие и мнение своего соседа несущественными.

Французская революция якобы была основана на разуме — и привела к казни монахинь. Ленин также считал, что интеллектуалы, овладевшие марксизмом, лучше самих рабочих понимают, что отвечает интересам рабочих. Если вы действительно верите, что действуете от имени всех людей, не говоря уже о триллионах будущих людей, вы можете в итоге оправдать самые разные зверства.

К счастью, эффективные альтруисты вряд ли собираются возвращать гильотину. Опасение заключается в другом: контроль над ИИ в конечном счёте может дать им огромную власть, а многие представители EA в Кремниевой долине считают, что доверять эту технологию можно только им.

Это тревожная идея. Аргумент эффективных альтруистов в пользу опасений относительно действительно мощного ИИ заключается в том, что машины могут оптимизировать одну-единственную цель, которая окажется фатально ошибочной. Всем также стоит задуматься о том, что произойдёт, если небольшая группа людей попадёт в ту же ловушку.