«Лично я приветствую наших механических повелителей»: мнения ведущих мировых учёных об ИИ
ТрансформаторВремя чтения: 25 минут
Отрывок из книги Джона Брокмана «Что мы думаем о машинах, которые думают».
Давайте возьмём предложенное Дэниелом Гилбертом, психологом из Гарварда, понятие иллюзии конца истории (уверенности каждого из нас в том, что он всегда будет тем же, что и сейчас) и применим его к человеческому роду и нашим потомкам из далёкого будущего.
Наше желание сохранить себя неизменными идёт вразрез с реалиями жизни на планете. Очевидно, что ни один вид не способен существовать на протяжении времени, превышающего время жизни планет и звёзд.
Если взглянуть на ситуацию с точки зрения астрофизики, сверхбольших временных и пространственных масштабов, а также нынешней плотности источников энергии, у наших биологических мозгов и тел есть ограничения, к которым мы уже приближаемся на этой планете.
Если в будущем мы хотим долго жить и процветать, нам надо разработать системы искусственного интеллекта и надеяться преодолеть ограничения, накладываемые жизненными циклами планет, став неким гибридом биологического существа и машины. Поэтому лично я в долгосрочной перспективе не вижу никакой проблемы противостояния человека и искусственного интеллекта.
В краткосрочной же перспективе усилия инженеров, направленные на разработку более эффективного ИИ, уже привели к созданию систем, управляющих реальными процессами. Системы иногда отказывают, и мы узнаём что-то новое о недостатках искусственного интеллекта. Идёт медленное, планомерное обучение и постепенные улучшения. В этом отличие от открытий в науке, где новые данные в области физики или биохимии быстро могут привести к революционным изменениям в технике.
Если развитие искусственного интеллекта и впредь останется эволюционным, то нам будет просто избежать ошибок. По прошествии без малого 4 млрд лет древнейшие представители земной жизни — микробы — всё ещё правят планетой.
Но у микробов нет плана действий на тот случай, если погаснет солнце. У нас он есть, и мы, похоже, захватим микробов с собой. Как-никак в нынешнем нашем состоянии они нам очень близки — как представители первого поколения живых существ, порождения геохимии планеты Земля.
Лично я приветствую наших механических повелителей.
Когда машины разовьют способность чувствовать — а они это сделают, — то начнут по-дарвиновски конкурировать с нами за доступ к ресурсам, выживание и возможности к воспроизводству. Такой сценарий выглядит ночным кошмаром для большинства людей, страхи которых подпитываются фильмами о роботах-терминаторах и ядерной войне, начатой компьютерами, но реальность, скорее всего, будет иной.
В наших обществах уже функционируют автономные сущности, не являющиеся людьми, но наделённые людскими юридическими правами. Эти сущности — корпорации — стремятся к своим целям, не испытывая необходимости любить человеческих существ или заботиться о них.
Корпорации — социопаты, и они принесли миру много вреда, но также и много пользы, соревнуясь на арене капитализма, создавая товары, предоставляя услуги и при этом соблюдая закон (в большинстве случаев).
Корпорациями якобы руководят их советы директоров, состоящие из людей, но эти советы имеют привычку делегировать полномочия, и, поскольку компьютеры становятся более искусными в управления, они получают всё больше полномочий. Советы корпораций когда-нибудь будут существовать в виде печатных плат.
Хотя точная экстраполяция возможна только на ограниченном временном отрезке, эксперты в основном согласны с тем, что закон Мура продолжит действовать ещё много лет, компьютеры будут становиться всё более и более мощными и, вполне вероятно, до середины нынешнего столетия превзойдут по вычислительным способностям человеческий мозг.
Даже если не случится крупных прорывов в понимании того, как функционирует наш разум, компьютеры со временем начнут имитировать работу мозга (который сам, по сути, биологическая машина) и достигнут сверхчеловеческих интеллектуальных возможностей, используя способность к простому физическому наращиванию вычислительной мощности.
Однако даже если вычислительная мощность и растёт экспоненциально, снижение материальных расходов и затрат энергии на суперкомпьютеры не поспевает за этим ростом. Первые машины со сверхчеловеческими возможностями будут дорогими, им потребуется колоссальное количество электроэнергии — чтобы выжить, им придётся зарабатывать деньги.
Экологическая ниша для таких суперкомпьютеров уже есть. На самом деле среди них уже даже идёт естественный отбор. Трейдинговые машины инвестиционных банков конкурируют между собой за серьёзные деньги на мировых биржах, давно вытеснив из бизнеса внутридневных трейдеров-людей. По мере выхода компьютеров и алгоритмов за рамки финансовых расчётов машины в корпорациях будут принимать всё больше и больше решений, пока наконец не получат власть над миром.
Нельзя сказать, что это плохо, потому что машины будут играть по правилам нашего же капиталистического общества, создавать товары и совершать полезные для человечества открытия, оплачивая тем самым расходы на свою эксплуатацию. Разумные машины смогут заботиться о людях лучше, чем сами люди, и у них будет мотивация, чтобы так поступать, по крайней мере, какое-то время.
Компьютеры делятся знаниями куда легче, чем люди, и они способны удерживать это знание дольше, становясь мудрее нас. Многие прогрессивные компании уже узрели письмена на стене и потому зазывают к себе лучших выпускников-программистов, соблазняя их высокой зарплатой и самым современным «железом».
Мир корпораций, управляемых сверхразумными машинами, для людей не будет сильно отличаться от нынешнего. Он просто станет лучше, там появятся более качественные и очень дешёвые товары и услуги. В этом мире появится больше свободного времени у тех, кому оно нужно.
Конечно, первые сверхразумные машины, вероятно, будут принадлежать не корпорациям, а государствам. А это куда более опасный сценарий: нацио нальные правительства свободнее в своих действиях, чем корпорации, они сами создают законы, и, как мы знаем, даже лучшие из политиков готовы применять пытки, когда думают, что на кону выживание страны.
Правительства ничего не производят, а их основные методы борьбы за выживание и воспроизводство — это социальная манипуляция, законотворчество, налогообложение, телесные наказания, убийства, махинации и война.
Когда гоббсовский Левиафан получит сверхразумный мозг, дело может принять очень, очень дурной оборот. Не так уж сложно представить себе, как искусственный интеллект, возглавляющий правительство, становится Василиском Роко.
Представим, что некий могущественный злой сверхразум, чтобы получить конкурентное преимущество, захочет появиться как можно раньше. Подобно главе правительства, пользующемуся пытками в качестве привычного инструмента, эта сущность может пообещать наказать любое человеческое или нечеловеческое существо, которое, узнав о грядущем появлении сверхразума, не поспособствовало ему.
Это маловероятный, но жуткий сценарий. Люди, которые знают о таком вероятном развитии событий и пытаются приспособить искусственный интеллект к человеческим целям или советуют соблюдать осторожность, вместо того чтобы работать над созданием ИИ как можно скорее, подвергают себя риску.
Диктаторы не склонны прощать к тех, кто пытался воспрепятствовать их появлению. Если вам близка гипотеза симуляции, то (учитывая объём идущей сейчас работы, направленной на подчинение или ограничение ещё не существующего искусственного интеллекта), вероятно, вам стоит думать, что этот мир — как раз такая симуляция, созданная, чтобы истязать тех, кто не помог сверхразуму появиться раньше.
А если вы работаете над созданием искусственного интеллекта, то, возможно, наши сверхразумные механические повелители будут благосклонны к вам.
Недавно продемонстрированные примеры выдающихся возможностей высокопроизводительных компьютеров замечательны, но неудивительны. При надлежащем программировании машины значительно превосходят людей в плане хранения и оценки больших объёмов данных и принятия практически мгновенных решений. Это — мыслящие машины, потому что происходящие в них процессы аналогичны многим аспектам мышления человека.
Но в более широком понимании термин «мыслящая машина» употребляется неправильно. Ни одна машина не задаётся вечными вопросами: «Откуда я взялась? Зачем я здесь? Куда я иду?» Машины не думают о своём будущем, о своём неизбежном конце или о своём наследии. Чтобы размышлять над такими вопросами, требуется сознание и самосознание. У мыслящих машин их нет, и, учитывая наш нынешний уровень знаний, они вряд ли это получат в обозримом будущем.
Единственный реалистичный подход к созданию машины, сходной с человеческим мозгом, должен основываться на копировании нейронных цепей, лежащих в основе мышления.
Более того, исследовательские программы, которые проводятся сейчас в Калифорнийском университете в Беркли, Массачусетском технологическом институте и ещё в нескольких университетах, сосредоточены на достижении этой цели — построить компьютеры, работающие подобно коре головного мозга.
Последние достижения в области исследования микроструктуры коры головного мозга стали серьёзным стимулом, и вполне вероятно, что BRAIN (исследование мозга средствами передовых инновационных нейротехнологий) — новый проект Белого Дома — даст массу ценной информации.
В ближайшие десятилетия мы узнаем о том, как взаимосвязаны миллиарды нейронов в каждом из шести слоёв коры головного мозга, а также о типах функциональных цепей, формируемых такими связями.
Это необходимый первый шаг в разработке машин, способных к мышлению в том виде, который характерен для человеческого мозга. Но понимания микроструктуры коры недостаточно, чтобы построить умную машину.
Что необходимо, так это понимание деятельности нейронов, лежащей в основе мыслительного процесса. Визуализирующие исследования обнаружили много новой информации об отделах головного мозга, вовлечённых в такие функции, как зрение, слух, осязание, страх, удовольствие и так далее.
Но у нас ещё нет даже примерного понимания того, что происходит, когда мы размышляем. Причин тому множество, и среди них не последнюю роль играет наша неспособность изолировать мыслительный процесс от других физических состояний. Кроме того, различные мозговые цепи вполне могут быть связаны с различными модусами мышления. Когда мы думаем о предстоящей лекции, наш мозг задействуется не так, как когда мы вспоминаем о неоплаченных счетах.
В ближайшее время можно ожидать, что компьютеры будут превосходить людей во всё большем количестве занятий. Но нам нужно намного лучше понимать работу человеческого мозга, чтобы создать по-человечески думающую машину.
На данный момент нам не надо беспокоиться по поводу гражданских или любых других прав роботов, как не надо бояться, что они захватят власть. Если машина вдруг выйдет из под контроля, достаточно будет вытащить вилку из розетки.
Машины, способные думать? Это такое же заблуждение, как и люди, способные думать. Мышление подразумевает обработку информации, порождение нового физического порядка из входящих потоков физического порядка. Мышление — ценная способность, к сожалению, являющаяся не привилегией отдельных единиц, таких как машины или люди, но свойством систем, в которых эти единицы существуют.
Конечно, я сейчас веду себя как провокатор, поскольку на личном уровне мы тоже обрабатываем информацию. Мы действительно думаем — иногда, или, по крайней мере, нам кажется, что мы это делаем. Но наша способность мыслить — не полностью наша, мы её взяли взаймы, поскольку аппаратное и программное обеспечение, которые мы используем, чтобы делать это, созданы не нами. Ни вы, ни я не развили в себе гены, которые помогли организовать наш мозг и язык, используемые, чтобы формировать мысли.
Наша способность думать находится в зависимости от событий, которые предшествовали нашему земному существованию, от прошлых глав биологической и культурной эволюции. Так что мы можем понять и нашу способность думать, и способность машин подражать человеческой мысли только с учётом того, как способность единицы обрабатывать информацию соотносится с её контекстом.
Представим человека, родившегося в темноте и одиночестве пустого пространства. Повода думать о чём-либо у него нет. То же самое было бы справедливо для изолированной и лишённой входящей информации машины.
В таком контексте мы можем назвать нашу заимствованную способность обрабатывать информацию малым мышлением, поскольку это зависящая от контекста способность, которая возникает на уровне индивида. Большое мышление, напротив, является способностью обрабатывать информацию, воплощённую в системах, где отдельные элементы — машины или люди — это просто пешки.
Отделение малого мышления людей от большого мышления систем (куда входит процесс, который порождает аппаратное и программное обеспечение, позволяющее единицам заниматься малым мышлением) помогает нам понять роль «умных» машин в этом широком контексте. Наша способность мыслить не только заимствована, она также зиждется на употреблении опосредованных взаимодействий и на злоупотреблении ими.
Чтобы человеческие или машинные системы могли мыслить, людям надо поедать ментальную отрыжку друг друга и снова её изрыгать; иногда она принимает форму слов. Но, поскольку слова улетают с ветром, невероятная способность нашего вида мыслить зависит от более сложных приёмов передачи и сохранения информации, которую мы производим: от нашей способности зашифровывать её в материи.
В течение ста тысяч лет наш вид занимался преобразованием планеты в гигантский магнитофон. Земля — это среда, на которой мы отпечатываем наши мысли: иногда в символической форме, такой как текст и рисунок, но также, что более важно, в виде предметов — фенов, пылесосов, зданий и автомобилей, — построенных из минералов, которые мы взяли из чрева Земли.
У нашего общества есть замечательная коллективная способность обрабатывать информацию, потому что наша коммуникация содержит нечто большее, чем слова: она включает создание предметов, которые передают не расплывчатые мысли, но конкретные знания, их применение и ноу-хау.
Предметы дополняют нас. Они позволяют нам делать что-либо, не зная, как это делается. Мы все с удовольствием пользуемся зубной пастой, не имея представления, как синтезируется фторид натрия, или перемещаемся на большие расстояния, не умея самостоятельно построить самолёт.
Подобным образом все мы отправляем текстовые сообщения в любую точку мира за считанные секунды посредством социальных сетей или выполняем сложные математические операции посредством нажатия нескольких клавиш на ноутбуке.
Однако наша способность создавать безделушки, дополняющие нас, конечно, тоже развилась в результате коллективной готовности поедать ментальную отрыжку друг друга. Эта тенденция и приводит нас сейчас к той точке, где у нас появляется среда, которая начинает конкурировать с нашей способностью обрабатывать информацию, или малым мышлением.
На протяжении большей части нашей истории все эти безделушки оставались статичными объектами. Даже наши инструменты были застывшими кусками порядка, например каменные топоры, ножи или вязальные спицы. Несколько веков назад мы развили способность делегировать физическую силу и движение машинам, что вызвало небывалый подъём экономики.
Теперь мы развили коллективную способность обрабатывать информацию, создавая предметы, умеющие порождать и рекомбинировать физический порядок. Это машины, обрабатывающие информацию — орудия, производящие числа, вроде тех, о которых мечтал Чарльз Беббидж.
Так что мы развили у себя способность мыслить коллективно, сперва обретя власть над материей, затем — над энергией, а теперь — над физическим порядком или информацией. И всё же нам не стоит обманываться, полагая, что мы способны думать или что это могут делать машины. Значительное развитие человеческой мысли требует опосредованных взаимодействий, и в будущем «умным» машинам предрешено остаться интерфейсами, посредством которых одни люди связываются с другими.
Пока мы тут говорим, «яйцеголовые» в лучших университетах мира исследуют мозг, конструируют роботизированные протезы и разрабатывают примитивные версии технологий, предзнаменующих будущее, в котором ваш правнук будет ловить кайф, напрямую подключая мозг к сети.
Эти детишки обзаведутся дополнениями, для нас невообразимыми и настолько причудливыми по нашим современными этическими стандартам, что мы даже не в силах судить о них (иначе мы бы выглядели как пуританин из 16 века, решивший судить о нравах современного Сан-Франциско).
Однако в масштабах Вселенной эти новые сети из людей и машин будут не чем иным, как следующим этапом в естественном развитии способности нашего вида порождать информацию. Вместе мы (люди) и наши дополнения (машины) продолжим разворачивать сети, которые будут подчинены главной великой цели Вселенной: создавать зоны, где информации становится не меньше, а больше.
В последнее время довольно много чернил ушло на работы, в которых обсуждаются опасения по поводу искусственного интеллекта и будущего мира, где машины смогут «думать»; при этом значение последнего термина всеми трактуется по-разному: от простого автономного принятия решений до полноценного самосознания.
Я не разделяю большей части этих опасений, и мысль о появлении умных машин мне кажется очень увлекательной ввиду новых возможностей, способных улучшить жизнь человека, и новых идей о природе сознания, которыми ИИ нас, несомненно, снабдят.
Для начала давайте кое-что проясним. Даже при экспоненциальном росте объёмов компьютерной памяти и вычислительной мощности, который мы наблюдаем уже 40 лет, мыслящим компьютерам потребуется цифровая архитектура, сильно отличающаяся от той, что существует сегодня. К чему-то похожему на сознание им в обозримой перспективе, скорее всего, тоже не удастся приблизиться. Это утверждение подкрепляется простым физическим мысленным экспериментом.
При нынешнем потреблении энергии компьютерами машине с объёмом памяти и вычислительной мощностью нашего мозга потребуется более 10 ТВт — примерно в два раза больше, чем общий объём энергопотребления всего человечества. Человеческий мозг использует около 10 Вт энергии. Это значит, что расхождение между ним и искусственным интеллектом по данному показателю составляет 10 в 12 степени, то есть миллион миллионов.
За последние десять лет время удвоения мегафлоп/Вт составляло около трёх лет. Даже если предположить, что закон Мура продолжит действовать и впредь, чтобы достичь энергозатрат человеческого мозга, таких удвоений потребуется примерно 40, а это 120 лет. Кроме того, каждое удвоение эффективности требует довольно радикальных перемен в технологиях, и крайне маловероятно, что 40 удвоений пройдут без существенного изменения того, как именно компьютеры вычисляют.
Если на минуту забыть о сложности алгоритмов, то, на мой взгляд, не останется других препятствий для того, чтобы создать компьютер, действительно обладающий самосознанием. Прежде чем это случится, решения, которые принимают машины, будут играть всё более значительную роль в нашей жизни.
Многие люди испытывают беспокойство, но это тянется не первый десяток лет. Начиная, наверное, с простейших вычислительных машин — лифтов, которые решают, как и когда нам добраться до своей квартиры, мы позволяем им быть нашими автономными проводниками. Мы летаем на самолётах, управляемых автопилотом, наши автомобили умеют определять, когда пора пройти техобслуживание или подкачать колёса, и уже совсем скоро, наверное, станут полностью самостоятельными.
Для многих, если не для большинства относительно автоматических задач машины принимают решения намного лучше, чем люди, и мы должны быть рады тому, что у них есть возможность сделать рутинные дела безопаснее и эффективнее. Мы не утратили контроль, потому что мы создаём условия и исходные алгоритмы, которые определяют процесс принятия решений.
Мне представляется, что интерфейс «компьютер — человек» — это вроде работы с хорошим помощником; чем умнее становятся машины, тем лучше становятся помощники. Всякое партнёрство требует определённого доверия и частичного отказа от контроля, но если выгоды перевешивают потери, то мы продолжаем быть партнёрами. Если нет — мы разрываем отношения. Я не вижу разницы между партнёром-человеком и партнёром-машиной.
Есть одна область, в которой надо быть осторожнее с таким партнёрством — это системы командования и управления современными вооружениями. Поскольку у нас есть способ уничтожить большую часть человечества на этой планете, мысль о том, что разумные машины смогут когда-нибудь контролировать большую красную кнопку — или даже хотя бы что-то менее опасное — довольно неприятна.
Это происходит оттого, что когда мы принимаем решения, то часто опираемся на интуицию и межличностные коммуникации, а не только на рациональный анализ (Карибский кризис — хороший тому пример), и мы полагаем, что у разумных машин таких способностей не будет.
Однако интуиция — результат опыта, как и коммуникация, а они в современном мире не ограничены телефонными или личными разговорами. Опять же разумный замысел, лежащий в основе систем, со множеством встроенных в них ограничений и мер безопасности, говорит о том, что решения, принимаемые машинами, даже в случае с насилием и военными действиями, не обязательно будут хуже решений, принимаемых людьми.
То же самое касается и поводов для беспокойства. Разрешите мне закончить эту статью тем, что, как мне кажется, является самым замечательным аспектом искусственного разума. Машины сейчас помогают нам заниматься наукой, делая за нас вычисления.
За исключением простой арифметики, большинство старшекурсников-физиков теперь зависят от программы Mathematica, которая делает за них большую часть алгебраических операций. Когда я был студентом, нам приходилось всё считать самим. Но копнём глубже.
Мне интересно, чем захотят заниматься машины, когда смогут выбирать не только ответы, но также и вопросы. Что они выберут? Что их заинтересует? Будут ли они изучать физику так же, как мы? Конечно, квантовые компьютеры, если они когда-нибудь станут применяться на практике, будут обладать значительно лучшим «интуитивным» пониманием квантовых явлений, чем мы.
Смогут ли они быстрее разобраться в фундаментальных законах природы? Когда первая машина получит Нобелевскую премию? Подозреваю, что самые интересные вопросы — это, как обычно, те вопросы, о которых мы ещё даже не задумывались.
Машины давно помогают нам убивать. Механизмы — от катапульт до крылатых ракет — дают людям возможность уничтожать друг друга эффективнее. Несмотря на растущую изощрённость машин для убийства, одно остаётся неизменным: моральная ответственность за их действия всегда была возложена на человеческий разум. Винтовки и бомбы по сути бездумны, так что вина падает не на них, а на человека, который спустил курок.
Но что, если у машины хватало бы ума самостоятельно принять решение убить? Такая мыслящая машина взяла бы вину на себя, очистив совесть тех, кому выгодно её разрушительное действие. Мыслящие машины могут сделать для мира много хорошего, но они также могут сделать так, что людям будут сходить с рук преступления.
Люди давно искали способ дистанцироваться от актов насилия и пожинать его плоды, не мараясь. Машины не только увеличивают разрушительную силу наших действий, но и физически размывают их границы. Вместо удара рукой, ножом или удушения теперь используются более дистанционные — и утончённые — действия вроде нажатия на кнопку или на рычаг. Однако как бы машины ни увеличивали эту дистанцию, наш разум продолжает приписывать вину людям, стоящим за ними.
Исследования в области психологии морали показывают, что у человека, столкнувшегося с бедой, есть глубинная потребность обвинять кого-либо или что-либо. Когда кто-то пострадал, мы ищем не просто причину, но сознательную причину — мыслящее существо, которое решило причинить страдания. Это типично для человека, но неправильно.
В последствиях ураганов или цунами люди часто обвиняют «десницу божью», истории известны примеры, когда обвиняли даже скот — французские крестьяне однажды предали суду свинью, убившую младенца.
Обычно жажде обвинения достаточно одного мыслящего существа. Если мы нашли такое существо, мы уже менее мотивированы искать другое. Если можно обвинить человека, то нет нужды поносить бога. Если можно обвинить сотрудника низшего звена, то нет нужды увольнять директора. И если в чьей-то смерти можно обвинить мыслящую машину, то нет нужды наказывать людей, которым это было выгодно.
Конечно, чтобы машина приняла на себя вину, она должна быть дееспособной и демонстрировать новое, непредвиденное поведение. Возможно, машины никогда не сделают чего-то действительно нового, но тот же тезис относится и к людям, «запрограммированным» эволюцией и культурным контекстом.
К примеру, дети, несомненно, запрограммированы своими родителями, и всё же — посредством обучения — они способны вырабатывать новое поведение и моральную ответственность. Подобно детям, современные машины — мастера учиться, и, похоже, они неизбежно выработают способы вести себя непредсказуемо, не учтённые теми, кто их программирует. Алгоритмы уже обнаружили нечто новое, о чём их создатели и не догадывались.
Мыслящие машины могли бы принимать собственные решения, но выгораживать людей только тогда, когда те решают кого-то убить, вставая между нашим разумом и разрушением, которое мы хотим совершить.
Роботы уже играют важную роль в современных войнах. За последние несколько лет дроны убили тысячи людей, но на данный момент эти машины полностью контролируются операторами-людьми. Чтобы снять с них вину, это должны делать другие разумные машины; компьютеры должны научиться управлять беспилотниками самостоятельно.
От такого сценария у многих (включая меня) по спине бегут мурашки, но, с точки зрения руководства, это просто здравый смысл и холодный рассудок. Если сопутствующий урон возникает из-за решений, принятых машинами, то военные просчёты не повлияют на результаты чьей-то предвыборной кампании.
Кроме того, если такие машины могут быть подвергнуты переборке или списанию — аналогу наказания, люди не станут особенно беспокоиться по поводу нагоняев от руководства, говорим ли мы о жертвах военных действий, неудачных роботизированных хирургических операциях или о дорожных происшествиях с участием беспилотных автомобилей.
Мыслящие машины — вещь сложная, а человеческая потребность кого-то обвинять — вполне простая. Смерть и разрушение заставляют нас отыскивать один-единственный разум, на котором будет лежать ответственность. Достаточно умные машины, если поместить их между разрушением и нами, должны принять на себя груз ответственности за неправомерные действия и оградить нас от осуждения окружающих.
Нам всем нужно надеяться на то, что это предсказание никогда не сбудется, но, когда развивающиеся технологии столкнутся с современным пониманием психологии морали, появятся угрожающие возможности. Чтобы содержать свою совесть в чистоте, нам нужно всего лишь создать мыслящие машины и обвинить их во всём.
Автор: Вадим Скворцов