Интерконнект

Как делалась инсталляция и технические детали проекта

Рассказываем про технологии, которые мы использовали при создании инсталляции, а также об участниках творческого объединения и коллаборациях.

Где граница между человеческим и нечеловеческим – сознанием, языком, памятью?

Перед вами живой гриб, растущий здесь, в бывшем пионерлагере «Маяк».

К нему подключены датчики, которые постоянно считывают сигналы – его "состояние" и реакцию на раздражители окружающего мира. С помощью нейросетей гриб становится медиумом места – через призму своего состояния он улавливает и передает воспоминания тех, кто когда-то населял этот лагерь.

Есть ли память у места, и кто агент этой памяти – только ли человек?

Кому принадлежат воспоминания? В чьем сознании они возникают?

Наша инсталляция приглашает к исследованию симбиоза органического и технологического интеллекта и объединению человеческого опыта, биологических и нейросетевых процессов в единую когнитивную сеть, способную преодолеть ограничения индивидуального мышления для развития всего человечества.

Эту экспликацию и доработку смыслов делала Геля Скитович

Состав инсталляции

🪩Грибы

Мы использовали черные рейши, которые с заботой вырастили и предоставили нам ребята из Farming Utopia. Они выращивают экзотические типы грибов, продают гроубоксы, вытяжки из них и проводят экскурсии к себе на ферму.

Чёрный рейши (Ganoderma sinense) вид семейства ганодермовые, разлагающий древесину твёрдых пород. Нативный для стран Азии — Китая, Японии, Тайвани.

Рейши производят микротоки внутри себя — короткие сигналы с различной амплитудой.

Они являются связующим инструментом для регулирования внутренних процессов обеспечивающих рост, являются частью "внутреннего языка" грибов и координируют реакцию всего организма на внешнее воздействие — от света до любого рода физических контактов с другими живыми существами.

Изучение микротоков открывает путь к биоинспирированным технологиям — "живым компьютерам".

Чтобы наполнить постамент, мы использовали 9 разных субстратов с мицелием

🪩Нейросети

Разворачивали и обучали: Даниил Червяков, Михаил Дымсков, Артем Коневских

YandexGPT 5 Lite - дообученная на реальных воспоминаниях людей, которые отдыхали в лагере Маяк, основываясь на состоянии гриба нейросеть генерирует текст, стилизуя его в зависимости от его текущего состояния.

Воспоминания мы брали их из групп в ВК и ОК

Синтез речи - нейросеть Silero озвучивает то, что сгенерировала YandexGPT.

Особенность - все нейросети работают локально, без доступа к интернету.

Состояния выводились графикой и текстом на отдельный локально развернутый лендинг, который написал Даниил Червяков, с которого они захватывались и выводились на экраны с помощью TouchDesigner.

Разговаривающий с помощью нейросетей гриб

🪩Нейроинтерфейс

Разработан командой Gravionyx, разработчиком и обладателем прав на нейрогарнитуры, интегратором BCI-решений.

Поддержкой работы интерфейса занималась команда NeuroLab и Рома Аникеев

🪩Состояния гриба

На основе показателей ЭЭГ мы фиксируем состояния гриба с помощью VVVV, который развернул Дима Масаидов и интерпретируем их основываясь на учениях Павлова о центральной нервной системы человека.

Всего 10 состояний:

бесчувственность, бодрствование, созерцание, любопытство, фокусировка, энтузиазм, фрустрация, гнев, ужас, истерика

На состояние электромагнитных импульсов мицелия можно влиять. Гриб чувствует влажность, изменения температуры, свет. Особенно сильно гриб реагирует на инфракрасное излучение, это взаимодействие мы демонстрируем на инсталляции.

Массажер с ИК светом, которым мы воздействуем на мицелий

🪩Экраны

За экраны и настройку в TouchDesigner спасибо ребятам из Universe Design

Состояние гриба текстом, состояния графикой - основываясь на состоянии графика меняет цвет и форму и энцефалограмма гриба в реальном времени

Отображение графики состояния на согнутом прозрачном экране

🪩Свет

Пиксельные приборы, которые дублировали графику состояний через MADRIX.

За приборы и настройку спасибо Мише Фаянцеву

🪩Музыка и голос

Звуковой эмбиент на инсталляции работает в связке гриба и модульного синтезатора. Мы берем сигнал с гриба через нейроинтерфейс и интерпретируем его в MIDI с помощью VVVV и патча, который разработал Дима Масаидов и далее передаем его в модульный синтезатор, где он конвертируется в CV для других модулей.

Процесс настройки MIDI патча и самого модульного синтезатора

Подробное описание патча:

Амплитуда с ЭЭГ интерпретируется в высоту ноты и отдается через VVVV в MIDI. MIDI приходит в ES Disting MK4 с MIDI Breakout и конвертируется в CV. Далее CV с гриба делится на два сигнала, один уходит в Make Noise Maths, второй сигнал уходит на V/OCT модуля Monsoon в режиме Granular Processing. Maths контролирует Freeze (EOC), Density и Position на Moonsoon и rate на Qu-Bit Bloom, а так же Struct и Bright модуля uRings в режиме Sympathetic Strings. На uRings подается генеративный gate с Qu-Bit Bloom в режиме Branches и Mutations.

Таким образом через Maths гриб прорастает во все элементы музыки через патч кабели по типу мицелия.

В один из дней мы провели Live выступления с Михаилом Медведевым , где добавлись Soma Enner, Soma Terra, Make Noise 0-coast, Moog Subharmonicon, Endorphin.es Grand Terminal, Mutable Instruments Plaits и Ableton Move.