Токенайзер
Алексей Тарасов @AtarЧто будет, если юниту скормить текст?
На самом деле текст выбран только для удобства анализа результатов. Юнит всеяден, природа входных сигналов имеет малое значения.
Аналогично как в эксперименте с синтетическими последовательностями использован метод плавающего окна. На вход юнита подаются символы, которые попадают в окно фиксированного размера, двигающегося вдоль текста.
Так как большинство слов в реальных текстах повторяется редко, то хорошие результаты начинаются после 50 тысяч символов. Набор символов, выбранных окном, кодируется аналогичным предыдущему эксперименту способом.
То, что делает юнит можно назвать токенизацией.
Примеры сформированных юнитом токенов по неким общим признакам
Показаны опорные образы, формирующие кластер из хеш-нейронов (ключ).
Слово в единственной форме
|винни-пу|винни-пу|винни-пу|винни-пу|винни-пу|винни-пу|винни-пу|винни-пу|
|кристофе|кристофе|кристофе|кристофе|кристофе|кристофе|кристофе|кристофе|
| робин. | робин. | робин. | робин. | робин. | робин. | робин. | робин. |
|немножко|немножко|немножко|немножко|немножко|немножко|немножко|немножко|
|одкрепит|одкрепит|одкрепит|одкрепит|одкрепит|одкрепит|одкрепит|одкрепит|
| кролик,| кролик,| кролик,| кролик,| кролик,| кролик,| кролик,| кролик,|
| подумал| подумал| подумал| подумал| подумал| подумал| подумал| подумал|
| первым | первым | первым | первым | первым | первым | первым | первым |
Однокоренные слова: схватил, обхватил, ухватил, захватил, захватить, спохватившись.
|схватил |схватил |бхватил |бхватил |схватил |схватил |схватил |бхватил |
| ухватил| ухвати.|обхватил|захватит|обхватил| ухватил|похватив|захватил|
Слова с одинаковым окончанием: пытался, остался, занимался, кидался, запинался, забирался.
|пытался |остался |нимался |кидался |нимался |пинался |бирался |пытался |
Слова с одинаковой приставкой (началом): высокий, выходит, выковать, выкопать.
|высокий-|высокий |выходит |выходит-|выкопать|выходит |выкопать|выкопаю |
Слова близкие по "звучанию": лестница, пятница.
| пятницу|лестнице| пятницы|лестницы| пятницу| пятницы|лестнице| пятницу|
Устойчивые словосочетания: по лесу, трам-пам-пам, бум-бум, было бы, не знаю.
| по лесу| по лесу| по лесу| по лесу| по лесу| по лесу| по лесу| по лесу|
|трам-пам|трам-пам| бум-бум|-бум-бум|арам-пам|трам-пам|трам-пам| бум-бум|
| было бы| было бы| было бы| было бы| было бы| было бы| было бы| было бы|
| не знаю| не знаю| не знаю| не знаю| не знаю| не знаю| не знаю| не знаю|
Глаголы с одинаковым предлогом: полез в, вошёл в, пошёл в, попал в.
|полез в |попало! |вошел в |пошел в |пошел в |попал в |попал в |попал в |
Одинаковые глаголы в разных временах и родах: любил, любит, любила, заметит, заметят, заметить
|е любил |н любил |ь любил |е любит |е любит |ь любил |ь любил |ь любила|
|заметит |заметят |заметит |заметит |заметят.|заметить|заметят |заметит |