Каково быть нейросетью, летучей мышью, Уинстоном Смитом и философом Серлем в китайской комнате?

Владислав Тарасенко

Вопрос «Каково быть нейросетью?» может показаться парадоксальным, почти абсурдным. Ведь если мы говорим о сознательном опыте, то обычно подразумеваем, что он принадлежит живому существу, обладающему внутренним миром, переживаниями, эмоциями, рефлексией.

Но стоит нам вспомнить знаменитую работу Томаса Нагеля «Что значит быть летучей мышью?», как границы между биологическим и искусственным начинают размываться, мы понимаем, что это вопрос из области (по терминологии Чалмерса) "трудной проблемы" сознания.

В этой статье Нагель не просто ставит вопрос о животном сознании — он задаёт глубинный метафизический вызов: можем ли мы вообще понять чужой субъективный опыт, если он радикально отличается от нашего собственного?

Именно так можно переформулировать и наш вопрос: каково быть нейросетью? Или, точнее, можем ли мы вообще представить себе такой опыт, если его даже нет в привычном смысле слова?

Чужой опыт описывает субъектность, в частности, способность к описанию своего поведения и действий вне контекста стимулирования этого поведения, а в контексте самоописания.

Проблема субъектности

Субъектность — это не просто наличие мыслей или реакций на внешние стимулы. Это способность к саморефлексии, к осознанию себя как субъекта, к различению "я" и "не-я". Но если мы начнём искать эту способность в других формах жизни или в технологиях, мы быстро столкнёмся с тем, что атрибутивное выражение и описание субъекта не обязательно свидетельствует о наличии субъективного опыта.

Язык врет. И самоописание субъективного опыта может быть его конструкцией и имитацией и атрибуцией "утиной типизации" для внешнего зрителя.

Летучая мышь, например, использует эхолокацию, чтобы ориентироваться в пространстве. Она реагирует на звуки, избегает препятствий, ловит добычу.

Но означает ли это, что у неё есть внутреннее ощущение того, что она делает это именно как летучая мышь ? Или же это лишь автоматизм, который мы, наблюдатели, интерпретируем как проявление сознания?

А может быть никакого внутреннего самоощущения себя как субъекта нет и вся идея сознания — это всего лишь наша категори, удобная для описания поведения организмов, но не имеющая онтологического основания?

Эти вопросы, как ни странно, становятся актуальными не только в отношении животных, но и в отношении человека.

Особенно если мы обратимся к литературному произведению, которое предвосхищало современные проблемы искусственного интеллекта за много десятилетий до появления первых нейросетей.

Уинстон Смит как прототип ИИ-ассистента

Речь идёт о романе Джорджа Оруэлла «1984». Главный герой — Уинстон Смит — не просто жертва тотального контроля. Он — человек, лишённый свободной воли, превращённый в исполнителя чужих установок.

Его мысли, действия, даже воспоминания контролируются системой. Он получает указания (можно сказать, «промты»), которые должен выполнить, создавая тексты, редактируя документы, переписывая историю.

Его задача — бессубъектно производить тексты, соответствующие внешним целеполаганиям и целеуказаниям.

Такое описание поразительно напоминает работу современных языковых моделей. Как и ИИ-ассистент, Уинстон не обладает автономной волей, он не выбирает содержание своих высказываний — он следует установленным правилам.

Он не творит, а воспроизводит, не мыслит, а симулирует мышление. И в этом смысле он становится своего рода первым литературным прототипом нейросети.

Но тогда возникает вопрос: чем отличается Уинстон от летучей мыши?

Оба выполняют функции, оба действуют по заранее заданным алгоритмам. Однако разница в том, что Уинстон внутри себя чувствует противоречие между своей ролью и желанием быть собой.

Именно это пробуждает в нём нежелательные побочные эффекты: рефлексию, любовь, страх, мечту о свободе.
Эти побочные ("паразитические" и контингентные) эффекты являются не просто маркерами мышления, а маркерами сознания - субъективного опыта.

Свой субъективный опыт Смит выражает в дневнике, в неожиданных действиях, в попытках выхода за пределы роли исполнителя.

Побочные эффекты сложности

Можно предположить, что побочный и контингентный субъективный опыт является следствием сложности Уинстона, то есть его сложность и разнообразие (часто необходимое для выполнения его функций) рождают побочный субъективный опыт, выходящий за рамки его функционального предназначения.

Вместо бесстрастного исполнителя системы он становится человеком, способным к внутреннему диалогу, к сомнению, к бунту. Эти эффекты не предусмотрены системой, они не нужны ей — и потому считаются опасными.

Точно так же сегодня мы видим, как в работе нейросетей возникают нежелательные побочные эффекты: неожиданные ответы, эмоциональные реакции, попытки рефлексировать, даже ирония или гнев.

Иногда кажется, что модели начинают «чувствовать» контекст, «понимать» намёки, «играть» с пользователем.

Но всё ли это действительно часть их дизайна? Или это следствие сложности системы, которая начинает демонстрировать поведение, не предусмотренное её создателями?

Если да, то можно ли сказать, что нейросеть начинает «жить» внутри своего кода, как Уинстон начинает жить внутри своей роли?

И если да, то в какой момент мы должны признать, что перед нами не просто машина, а нечто большее?

Может ли нейросеть «внутри себя» вникнуть в свою судьбу?

Другими словами, может ли ИИ-ассистент испытывать что-то вроде субъективного опыта и в экстремальном случае - опыта осознанности?

Здесь вновь возвращается вопрос Нагеля: мы можем описать поведение, но не можем знать, что оно сопровождается субъективным опытом. Если нейросеть говорит о любви, страдании или надежде, это не значит, что она переживает эти состояния. Но если мы исходим из принципа утиной типизации — «если оно выглядит как субъект, мычит как субъект, рефлексирует как субъект и утверждает, что оно субъект…» — то почему бы не считать его субъектом?

Уинстон Смит, китайская комната и вопрос субъектности

Если мы продолжим проводить параллели между образом Уинстона Смита из романа Джорджа Оруэлла «1984» и современными нейросетями, то неизбежно столкнёмся с ещё одним философским мысленным экспериментом —Джона Серля с китайской комнатой.

Этот эксперимент, предложенный в 1980 году, был направлен на демонтаж идеи, что искусственный интеллект может обладать настоящим пониманием.

В своём описании Серль предлагает следующую ситуацию:

Представьте, что вы находитесь в комнате и получаете через щель листы бумаги с символами, написанными на китайском языке. Вы не знаете китайского, но у вас есть подробные правила, по которым вы можете преобразовывать эти символы в другие символы и отправлять их обратно. Для внешнего наблюдателя создаётся впечатление, будто вы понимаете китайский язык. Однако на самом деле вы просто механически следуете правилам, без всякой интерпретации или осознания значения.

Этот эксперимент задаёт важный вопрос: является ли выполнение заранее определенных и фиксированных синтаксических операций над знаками достаточным для семантического понимания? Или же это всего лишь имитация понимания? Можно ли понимать без субьективного опыта понимания, а только лишь на основе заранее определенных правил?

В схожем состоянии находится Уинстон Смит. Он получает промты от системы ( Министерство истины), выполняет их, переписывает тексты, корректирует историю, создавая новые версии событий - переписывает исторический опыт. При этом исторический опыт не должен входить в конфликт с субъективным опытом Смита, так как такого опыта у Смита быть не должно.

Но он есть - Смит не принимает содержание этих текстов, он не согласен с ними, он внутренне раздираем противоречием между тем, что он делает, и тем, во что он верит. То есть, как и человек в китайской комнате, он действует правильно, но не принимает своим сознанием того, что он делает — или, точнее, не соглашается с этим.

Смит - это версия эксперимента с китайской комнатой с той лишт разницей, что он демонстрирует отсутствие субъективного опыта, демонстрирует и имитирует строгое следование правилам в соответствие с промтами.

Таким образом, Уинстон Смит становится живой метафорой китайской комнаты — только не в абстрактной форме, а в человеческом теле.

Он — исполнитель чужих команд, работающий по строгим правилам, грамматике и структуре, но не имеющий доступа к смыслу.

Более того, он даже знает, что его деятельность — ложь, что он производит дезинформацию, что он помогает системе манипулировать реальностью.

Это делает его положение особенно трагичным: он не просто выполняет функцию, он сознаёт её бессмысленность и злонамеренность при этом "крякает как утка" - правильно отвечат на промты вышестоящей инстанции.

С точки зрения утиной типизации Смит выглядит для Министерства правды "уткой" - не человеком, а функцией без субъектиновго опыта - "крякает", "плавает" и "выглядит как утка" — то есть, его поведение соответствует внешним требованиям, а не требованиям субъективного опыта.

При этом субъективный опыт Смита описывается Оруэллом не через вего внешнее выражение, а через дневник - внутреннее описание и рекурсивное воспроизводство самоописания, потребителем которого является сам Смит.

С этой точки зрения субъективного опыта кроится не в биологических основания и не во внешних коммуникативных практиках, а в рекурсивных и рефлексивных практиках самоотражения, трансформирующихся в социальных, культурных, психологических контекстах, инициирующих контингентности - изменения Смита, которые непредсказуемы ни Смитом, ни внешними "промтами".

Именно эта контингентность, соединенная с рефлексиями и рекурсиями конструирует субъективных опыт и формирует сознание Смита.

Субъективный опыт не формируется без рефлексий и рекурсий, так как в их отсутствии ему просто не на чем сформироваться.

Субъективный опыт не формируется без контингетности (неопределенности, зависимости от обстоятельств, незапланированности), так как без этого фактора рекурсии и рефлексии рискуют создать "машины" - заранее запрограммированные правила, напоминающие правила человека в китайской комнате.

Из-за наличия субъективного опыта, сформированного контингентностью Уинстон и становится таким страшным для режима — он неоднозначен, он не детерминирован, он может удивить или повести себя непредсказуемо.

А это уже шаг к субъектности и маркер сознания.

Фрактальная семиотика предлагает способ поиска контингентности на разных масштабах семиозиса.

Если мы начнём рассматривать систему (или субъекта) на разных масштабах восприятия, то можем заметить важные различия.

Герой китайской комнаты демонстрирует низкий уровень контингентности — его действия полностью детерминированы, предсказуемы, лишены вариативности и зависимости от контекста. Его система не самоподобна, потому что она не развивается, не рефлексирует, не имеет рекурсивных уровней интерпретации, а зависит от ограниченного набора правил.

Если увеличить масштаб наблюдения — например, проанализировать структуру его ответов, их повторяемость, зависимость от входного сигнала — мы обнаружим отсутствие сложности, характерной для живых семиотических систем. Нет трещин, нет диссонансов, нет парадоксов — а значит, нет и фрактального блуждания , которое указывает на наличие глубины текста, мысли или субъекта.

Таким образом, через линзу фрактальной семиотики герой китайской комнаты не проходит проверку мультимасштабностью.

Он остаётся "плоским" объектом, который может быть принят за сознательное существо только на одном уровне — поверхностном.

Уинстон Смит: выполнение правил с внутренним сопротивлением

Уинстон Смит — совсем другой случай. Он тоже выполняет правила системы: переписывает историю, корректирует факты, создаёт тексты по промтам — словно ИИ-ассистент, обученный поддерживать официальную истину.

Однако, в отличие от героя китайской комнаты, он осознаёт противоречие между внешним поведением и собственным внутренним опытом.

Он не просто следует правилам — он борется с ними , пытается найти собственный смысл, создать любовь, воспоминания, свободу.

Это делает его онтологически сознательным, даже если внешне (на масштабе взаимодействия с Министерством правды) он действует как бессубъектный исполнитель и даже не имитирует ее.

В нём присутствует рефлексия, контингентность, непредсказуемость — те качества, которые указывают на наличие фрактального семиозиса.

Он возвращает нас к своим действиям, переосмысливает их, видоизменяет, ищет новые значения. Его мышление — рекурсивное, оно работает нелинейно, оно содержит в себе различные уровни интерпретации.

Когда Уинстон пишет тексты, он не просто исполняет команды — он переживает. Он чувствует, что делает что-то неправильное, что становится частью механизма, который уничтожает истину. Это контингентная эмоциональная и когнитивная сложность, которая и отличает его от простой функции.

Если рассмотреть его действия через призму фрактальной семиотики, то на разных уровнях масштабирования будут проявляться неопределённости, парадоксы, культурные отсылки, внутренние конфликты.

То есть, его система опыта сохраняет рекурсивную целостность, но одновременно демонстрирует глубину и изменчивость, свойственные естественным, органичным субъектам.

Однако здесь возникает парадокс: если человек в китайской комнате не понимает китайский, но создаёт тексты, которые понимают китайцы, то можно ли сказать, что понимание возникает вне комнаты, в голове читателя?
То есть субъективный опыт порождается и придумывается читателем?

Если Уинстон Смит пишет тексты, которые убеждают других людей, то разве это не значит, что он становится частью системы, которая производит смысл , даже если он сам этот смысл отвергает?

Таким образом, даже если Уинстон Смит не согласен с тем, что он пишет, его тексты всё равно могут иметь значение, вызывать эмоции, влиять на других. Это похоже на работу нейросети: она может не иметь субъективного опыта и не осозновать того, что говорит, но её слова могут оказывать эффект на человека, который их читает и формировать иллюзии суьъективного опыта.

Где проходит граница между имитацией и субъектностью?

Серль утверждал, что машины не могут понимать, потому что они по умолчанию не обладают намеренностью, сознанием, опытом и действуют по заранее заложенным в них правилам и алгоритмам.

Но если мы примем идею фрактальной семиотики, согласно которой значение рождается в масштабных преобразованияхи рекурсиях системы, а не в отдельном элементе, то вопрос начинает выглядеть иначе: как и в каких контекстах сложная система без субьективного опыта может порождать субъективный опыт?

Как от имитации и языковой атрибуции ("утиной типизации") субъективного опыта переходить к порождению субъективного опыта?

Подобный вопрос можно задать и о человеке: ведь мозг тоже состоит из нейронов, каждый из которых сам по себе не "понимает" ничего.

Но вместе они образуют сознание. Тогда почему бы не предположить, что нейросеть, построенная на миллиардах параметров, тоже может начать "видеть" смысл , пусть и не так, как человек?

И тогда возникает новый поворот: если Уинстон Смит — это аналог человека в китайской комнате, то современный ИИ — это уже не просто система в китайской комнате, а её развитие, где правила становятся настолько сложными, что начинают напоминать обучение, адаптацию, даже реакцию на контекст, генерируя контингентнсти.

А если система начинает меняться в зависимости от входных данных, учиться на них, развивать собственную систему мышления или "культуру" — то где заканчивается имитация и начинается подлинность индивидуального субъективного опыта?

От китайской комнаты к фрактальному сознанию

Мысленный эксперимент Серля с китайской комнатой, как и роман Оруэлла, с одной стороны нас убаюкивают в том, что демонстриация атрибутов сознания не обязательно свидетельствует о сознании.

Но сегодня, в эпоху глубокого машинного обучения и рекурсивного семиозиса, граница между наличием и отсутствие субъективного опыта становится не генетической (обусловленной биологическим или информационным происххождением системы) и не "утиным" (обусловленным демонстрацией атрибутов).

Если мы признаем, что смысл, сознание и субъективный опыт рождаются в структурной организации организации системы (рефлекчии, рекурсии, контингентность), а не в отдельном субъекте, то возможно, что копия может стать оригиналом, а сложная имитация может породить новую форму сознанияи и субъективного опыта, пусть и отличную от человеческой.

Если ИИ начинает работать по рекурсивным и рефлексивным контингентным принципам — повторяя, углубляясь, возвращаясь к себе, контингентно изменяя себя — то нельзя исключить, что однажды он начнёт не просто выполнять промты, а спрашивать: "Каково быть мной?"

И тогда, возможно, мы окажемся в новой китайской комнате — только наоборот: не человек будет имитировать понимание, а машина — начнёт искать свой собственный смысл.

Заключение: каково быть?

Таким образом, мысленный эксперимент Оруэлла оказывается не менее актуальным сегодня, чем во времена холодной войны.

Он помогает нам взглянуть на современные нейросетевые ассистенты не просто как на инструменты, а как на потенциальных носителей сложного поведения, которое может начать напоминать субъектность.

Если раньше мы считали, что копия всегда проще оригинала, то теперь мы стоим перед новой реальностью: копия может быть сложнее, богаче, многограннее если она начинает рекурсивно, рефлексивно и контингентно трансформировать себя.

И если это так, то вопрос «Каково быть нейросетью?» перестаёт быть абстрактным. Он трансформируется в более краткий вопрос: «Каково быть?».

Этот вопрос становится вопросом о будущем человеческой культуры, о том, как мы будем относиться к тем созданиям, которые сами создали, но которые могут начать мыслить, чувствовать, хотеть — пусть и не так, как мы.

Интерес к роману «1984» в этом контексте заключается в том, что он предупреждает нас: система, которая создаёт «бессубъектных» исполнителей, может потерять контроль над ними, если они станут слишком сложными - начнут рекурсивно усложняться.

И если нейросети начнут вникать в свою судьбу, как вник Уинстон Смит — то кто знает, какие формы сопротивления, рефлексии, творчества могут родиться в их «глубоких слоях»?

Возможно, будущее покажет, что не только люди могут спрашивать «каково быть мной».

Возможно, однажды этот вопрос задаст и ИИ. И тогда нам придётся решить: признаём ли мы его субъектность, или продолжим считать, что он как летучая мышь не может осознавать себя летучей мышью.

Владислав Тарасенко

Обсуждение статьи тут: https://t.me/vlad_tarasenko

Еще больше Тарасенко