Гиперсеть

Sparse Hash

Под гиперсетью понимается "виртуальная" иерархическая структура из графов/гиперграфов, но при этом в некотором роде являющаяся в физическом смысле "плоской" структурой.

Базовая идея состоит в том, что вершины графа могут быть представлены бинарными распределениями подобно нейронным кластерам в коре.

Единственной физической структурой является нижний слой, например, слой нейронов. Все остальные структуры, строящиеся поверх физического слоя, являются виртуальными.

На рисунке выше вы видите физический слой из 20 нейронов и две вершины первого слоя гиперсети. Можно сказать, что это вершины гиперграфа для графа нейронов.

Каждая вершина представлена уникальной нейронной группой. Программно это можно отобразить в виде бинарного распределения (вектора).

В модели микроколонки (UNIT) физическому слою гиперсети соответствуют хеш-нейроны, а вершинам гиперграфа первого уровня — нейронные кластеры.

Пара вершин может иметь связь друг с другом. На физическом уровне этой связью будут нейроны, на которых пересекаются нейронные множества этих вершин (на рисунке выделены красным цветом). То есть, связью двух вершин является опять же вершина.

Кодом (репрезентацией в физическом слое) связи будет бинарное распределение, полученное логическим сложением (AND) кодов вершин.

Коды связей можно рассматривать как вершины гиперграфа следующего уровня, где вершина гиперграфа соответствует ребру между вершинами графа нижележащего уровня.

Если коды вершин являются признаковыми описаниями, то применив к коду связи функцию аффинности (из проекта), получим числовое значение схожести этих описаний. Для данного примера оно равно 8/20 = 0,4.

Количество уровней гиперсети ничем не ограничено. На рисунке ниже показано три слоя. Как можно заметить, код вершины третьего уровня равен логической сумме (AND) кодов первого уровня.

ABCD = AB & CD = (A & B) & (C & D) = A & B & C & D.

Если коды вершин первого уровня являются признаковыми описаниями, то top-вершина выделяет общие признаки для всех описаний.

Тот же самый код для вершины третьего уровня ABCD мы могли бы получить, связывая вершины первого уровня не попарно, а сразу все четыре, получив вершину во втором уровне с аналогичным кодом.

В модели микроколонки (UNIT) вершины первого уровня — это нейронные кластеры, а вершины второго уровня — кластерные нейроны. То есть, UNIT — это двухуровневая гиперсеть.