Двухсторонний хеш-нейрон
Алексей Тарасов @AtarПусть хеш-нейрон связан не только с нейронами предыдущего слоя, но и с хеш-нейронами следующего слоя.
Мы просто входное адресное пространство нейрона собрали из двух кусков. Больше ничего не меняем.
Нейроны первого слоя, как и прежде, формируют в своём слое код распознанного ими в режиме unsupervised объекта. Этот код является входным для вышестоящего второго слоя. Ровно как было в Моделирование вторичной зрительной зоны (V2).
Если слой ничего не понимает, что происходит, то он формирует шум. Устойчивые паттерны активности (коды) в нём появляются только, когда он формирует внутренние классы.
Шумовая картина активности у верхнего слоя не влияет на способность нижнего слоя формировать классы и, соответственно, не влияет на активность нейронов.
Но как только вышестоящий слой сформирует свои классы, их устойчивые коды начинают влиять на коды, формируемые нижестоящим слоем.
Допустим, что у нас два слоя уровня L1 занимаются распознаванием отдельных слов в тексте. Находящийся над ними слой L2 связан с обоими нижними слоями.
Вначале L1 слои учатся различать отдельные слова. Как только на их выходах появляются более менее стабильные коды слов, L2 начинает замечать стабильные словосочетания, и также формирует для них устойчивые коды. Теперь коды словосочетаний становятся "видимыми" для нейронов L1 слоёв, и перестраивают коды отдельных слов, которые встречаются в этих словосочетаниях.
После такой перестройки кодов появляется возможность узнавать слова из словосочетаний в условиях помех.
Пример
"Без *ру*а не вылов**ь и рыбку из пруда"
У слоёв первого уровня для слов *ру*а и вылов**ь возникает неопределённость: "труда, прута...", "выловишь, выловить...".
Второй слой по кодам неповреждённых слов распознаёт пословицу и формирует её код. Нижние слои получают эту подсказку, и их коды слов "труда" и "выловишь" получают преимущество перед другими вариантами.