Исследуем Gopherspace

Исследуем Gopherspace

D0ublezer0


Если вы знакомы с нетсталкерским фольклором, то наверняка слышали о таинственных областях Deep Web, доступных только через "устаревшие протоколы". Самым каноничным примером такого протокола является gopher. 


Gopher - сетевой протокол распределённого поиска и передачи документов, который был широко распространён в Интернете до 1993 года, ещё до появления http, которым, впоследствии и был вытеснен из обращения. Большинство современных браузеров этот протокол уже давно не поддерживают, а сайты на нем не индексируются поисковиками, что сделало этот сегмент сети частью Deep Web. 

Тем не менее вымершим Gopher назвать тоже нельзя, так, как в нем и по сей день можно найти сотни активных сайтов, поддерживаемых энтузиастами ретротехнологий. Многие из них обновляются ежедневно.


Как серфить?


Погружение в этот дивный мир сетевой археологии мы начнем с самого очевидного вопроса: "Как попасть на гофер-сайт?". URL-адреса таких сайтов легко узнать по префиксу "gopher://" вместо привычного "http://", однако ввод его в адресную строку браузера в большинстве случаев ничего не даст. Есть, конечно, браузеры, которые данный протокол ещё поддерживают, например, Lynx и ещё несколько браузеров, перечисленных вот здесь: https://en.wikipedia.org/wiki/Gopher_(protocol)#Web_browsers


В сети при желании также можно найти специализированные инструменты вроде "Gopher Browser for Windows", или, если совсем уж ничего не хочется устанавливать, есть онлайн прокси, куда можно ввести адрес гофер-сайта и отобразить его содержимое. Вот пара примеров таких прокси:

http://gopher.floodgap.com/gopher/gw?

https://gopherproxy.meulie.net/


Для того, чтобы открывать гофер-сайты с популярных браузеров вроде Firefox или Chrome потребуется установить расширение. Ещё до недавних пор поддержка протокола в Firefox легко обеспечивалась расширением OverbiteFF, однако в какойто момент он перестал поддерживаться и был заменен аддоном OverbiteWX, в котором реализации самого протокола нет, а есть только редирект на вышеупомянутые онлайн-прокси. Впрочем всего этого нам итак хватит за глаза.

Где искать?


Так как Gopherspace не индексируется, найти его сайты в поисковиках не получится, если только кто-нибудь не выложил список известных ему адресов. Однако этот островок ностальгии не так популярен, как ресурсы того же tor, и врядли эти списки будут всеобъемлющими. Есть конечно списки известных адресов на наиболее крупных gopher-сайтах, но и они охватывают гдето 91% по мнению их авторов, так как используют краулеры и не могут видеть сайты, на которые нет ссылок.

В "Точке Сбора" для исследования гофер-сегмента использовали известный метод сканирования 70 порта на случайных ip-адресах при помощи бота, разработанного @good_evening. Найденные им адреса можно видеть в телеграм-канале: https://t.me/ohl7AeGah5uo8cho4nae9Eemaeyae3


И хотя новые сайты бот находит довольно редко, среди них попадалось много таких, которые в клирнете нигде не цитировались. Некоторые из них не цитировались даже в самом gopherspace и, видимо, были известны только локально. К сожалению, многие из них на сегодняшний день стали недоступны. Аналогично можно искать гофер-сайты в поисковике shodan.io по запросу "gopher port:70".


Войдя на сайт вы часто будете обнаруживать ссылки на наиболее популярные и ключевые ресурсы, такие как gopher.floodgap.com, на которых есть поисковики по Gopherspace вроде краулера Veronica-2.

Большой удачей для нас стало найти среди результатов случайного сканирования сайт gopher://93.157.51.147/,

принадлежащий исследователю из Германии, который реализовал собственный краулер на Go и выложил в репозитории https://github.com/blabber/grawler. После небольшой модификации, с его помощью мы смогли составить собственную карту Gopherspace и проиндексировать значительную часть его содержимого, с чего настоящее исследование этого удивительного мира только начинается.

Карта Gopherspace

Полноразмерная версия карты: https://ibb.co/m877td

Глядя на карту можно увидеть много интересного, например сразу бросаются в глаза сайты в доменах onion и i2p, а также адреса в формате ipv6, что указывает на рост и развитие сегмента даже в таких неожиданных для него направлениях. К счастью, Tor-browser ещё поддерживает расширение OverbiteFF и после его установки на такие сайты удается зайти. Во многих случаях это зеркала обычных gopher-сайтов, таких как gopher://bitreich.org, но есть и много оригинальных. Вот список тех, что мы нашли:


gopher://coffeefh3xa2yqif.onion:70  gopher://goatse3jktzuuccd.onion:70

gopher://goatsex6p2gn5rqx.onion:70  gopher://hg6vgqziawt5s4dj.onion:70

gopher://ibpj4qv7mufde33w.onion:70 gopher://j73ayflmpldqrpuo.onion:70

gopher://jewjewkeei4o4bvn.onion:70  gopher://kroovybwbzaagcen.onion:70

gopher://mabitesurlacommode.onion:70  gopher://mewmewmtgq7jda2i.onion:70 

gopher://nq2jjmggyzfhfxfn.onion:70  gopher://par7qdjbxvve57ts.onion:70

gopher://qtp2tgnuce47gyzt.onion:70  gopher://szpvqtyw3vbgzb3s.onion:70 

gopher://txgodjpb3hm5itrc.onion:70  gopher://uaeoa3mvlc4vgjlv.onion:70

gopher://xopo4w4zpyw2u43n.onion:70  gopher://yzszwhdftasz3bj2.onion:70

gopher://mqtwdyfjce4q2tw3ux7f3xbo3qj55uqs3l4y3s7qurntmezag7ta.b32.i2p:70



Если отобразить карту гоферспейса ввиде графа в Gephi, можно наглядно увидеть как сайты группируются вокруг наиболее крупных серверов

полноразмерная версия: https://ibb.co/fQ6Buy

Самыми крупными ресурсами тут оказались:

gopher.floodgap.org, SDF.ORG, gopher.viste.fr, uninformativ.de, cloudb.zapto.org и

bitreich.org

Разбор SDF.ORG можно прочитать в статье http://telegra.ph/Pervyj-vzlyad-na-SDFORG---The-Super-Dimension-Fortress-03-09

gopher://sdf.org

Если посмотреть на его гофер-сайт, то можно увидеть, что это хостинг большого количества пользовательских сайтов и блогов (которые в гофере называются phlogs).


Контент



Gopher не поддерживает отображение графики, поэтому основным способом декорирования сайтов является ASCII - Art. Практически каждый сайт в гоферспейсе содержит шапку из ASCII-арта с его названием, для этого существует множество различных скриптов, создающих арты из текста или изображений. На одном из сайтов даже удалось найти попытку реализации скрипта для перевода комиксов в ascii-формат.


ASCII-комикс


Впрочем, энтузиасты порой заходят достаточно далеко в стремлении красиво отображать гофер-сайты. В процессе исследования удалось найти, к примеру, такой проект как Gopher-VR, являющийся попыткой отображать структуру каталогов сайта ввиде трехмерной виртуальной реальности.


Имиджборды

В гоферспейсе достаточно много имиджборд, не смотря на неспособность этого протокола отображать графические элементы. К постам просто прикрепляются ссылки на файлы изображений.


1436chan
Имиджборд в гофере

Здесь я приведу список найденных нами имиджборд:

Gopher Imageboards:

70chan - gopher://gopher.su:70/board

70chan archive - gopher://gopher.su:70/70chan

1436chan - gopher://khzae.net:70/chan

Gopherchan - gopher://port70.net:70/chan

Another 70chan - gopher://bbs.sick.bike:70/70chan

Gopher 4chan - gopher://khzae.net:70/phourchan

Gopher/u/ - gopher://gopher.dangeru.us:70/

Eek! Imageboard - gopher://me0w.net:70/eekimg/eek.dcgi

Eek! Imageboard (tor) - gopher://mewmewmtgq7jda2i.onion/1/eekimg/eek.dcgi 


Примечательно, что многие из них живы и имеют активных участников.

Разместить сообщение в таких имиджбордах можно при помощи отдельного скрипта, так как сама страница полей для отправки не имеет.

Так или иначе, тема адаптации современных технологий под использование в gopherspace - довольно популярна среди здешних энтузиастов. К примеру на одном из сайтов удалось найти исследование, посвященное переводу гофер-сайтов на ipv6. (gopher://gopher.zcrayfish.soy:70/phlog/20180410-who-s-running-gopher-on-ipv6)

gopher://gopher.zcrayfish.soy:70/phlog/20180410-who-s-running-gopher-on-ipv6

И даже такое:

gopher://tx.god.jp:70/beyond/

В гофер сообществе любят иронизировать на эту тему и сделали, например, веб-браузер для просмотра в gopher сайтов на http. Это как онлайн прокси для просмотра гофер-сайтов, только наоборот, вы вводите туда ссылку на обычный сайт, а он отображается в виде, совместимом с протоколом gopher.

gopher://gopher.tamagothi.de:70/fun

А вот ещё гоферный твиттер:

gopher://benzebub.me:70/squeaker


Тем не менее, так как Gopherspace пришел к нам из стародавних времен, он служит отличной отправной точкой для проникновения в глубины "старого интернета". Здесь довольно часто можно найти страницы со ссылками на всевозможные BBS, архивами Fidonet, Usenet и даже списки диалапных BBS, для подключения к которым нужно звонить на указанные номера телефонов с модема определенной модели.

BBS Links - gopher://gopher.black:70/explorations/bbs
Usenet archives - gopher://ftp.icm.edu.pl:70/vol/rzm4/usenet

Здесь также можно найти большое количество игр и ПО для ретро-компьютеров и всевозможные порталы, посвещенные любительским радиостанциям и радиосталкингу.

gopher://gopher.teply.info:70/electronics/Afu/bandplan


Далее мы просто рассмотрим некоторые интересные находки:


gopher://dawoodfall.net:70/

Вот, к примеру типичная ARG в gopherspace:

А на сайте gopher://fuckup.solutions можно найти тексты всеми любимого Джона Оно

gopher://fuckup.solutions

Страница изобретателя, посвященная ардуино-интерфейсу для управления стиральной машиной по сети:

gopher://clemens.name:70/hprojects


И ещё один из его проектов:

gopher://clemens.name:70/hprojects/heated_trackball

А здесь можно найти игры для эмулятора SEGA Mega Drive:

gopher://cyber.dabamos.de:70/

Картинки с карточек с атакующими динозаврами 1988 года:

gopher://boomlin.de:70/findings/dinosaurs_attack
Dinosaurs Attack!
gopher://gopher.petergarner.net:70/RetroWeird
gopher://mrtoasted.com:70/shadowwolf

Ещё про радио:

gopher://sdf.org:70/users/pngwen/sw
gopher://gopher.hamnet.ca:70/ - Amateur Radio Gopherhole


Можно найти старые книги об интернете:

Или фотографии ретрокомпьютеров:

gopher://1436.ninja:70/hp200lx
gopher://1436.ninja:70/ob800

На одном из сайтов было выложено фото оборудования, на котором он работает.

гофер-сервер (rictusempra.grahamedgecombe.com)

Автор другого сайта сделал скрипт, скачивающий паранормальные истории с reddit.

gopher://boomlin.de:70/findings/spooky

Chaotic media network - гофер-сайт известной группы CCC, являющейся создателями оверлейной сети для хакеров ChaosVPN.

gopher://gopher.raumzeitlabor.org:70/

Сайт с картами и текстовыми описаниями для игры в D&D.

gopher://gopher.smolderingwizard.com:70/
gopher://hngopher.com:70/

Крупное файлохранилище:

gopher://redhill.net.nz


И многое другое:

В заключение можно сказать, что хотя многие технологии и уходят в прошлое, они остаются притягательными своей простотой и вызывают ностальгию, заставляющую многих людей поддерживать их жизнь в реликтовых глубинах Deep Web'а, развиваясь там отдельно от остальной сети и порождая причудливые сочетания прошлого и настоящего. Это уникальный мир со своей атмосферой, подобный затонувшей на дно интернета атлантиде, которую вы теперь сможете найти. А на этом пока всё. Удачных исследований!