Исследуем Gopherspace
D0ublezer0Если вы знакомы с нетсталкерским фольклором, то наверняка слышали о таинственных областях Deep Web, доступных только через "устаревшие протоколы". Самым каноничным примером такого протокола является gopher.
Gopher - сетевой протокол распределённого поиска и передачи документов, который был широко распространён в Интернете до 1993 года, ещё до появления http, которым, впоследствии и был вытеснен из обращения. Большинство современных браузеров этот протокол уже давно не поддерживают, а сайты на нем не индексируются поисковиками, что сделало этот сегмент сети частью Deep Web.
Тем не менее вымершим Gopher назвать тоже нельзя, так, как в нем и по сей день можно найти сотни активных сайтов, поддерживаемых энтузиастами ретротехнологий. Многие из них обновляются ежедневно.
Как серфить?
Погружение в этот дивный мир сетевой археологии мы начнем с самого очевидного вопроса: "Как попасть на гофер-сайт?". URL-адреса таких сайтов легко узнать по префиксу "gopher://" вместо привычного "http://", однако ввод его в адресную строку браузера в большинстве случаев ничего не даст. Есть, конечно, браузеры, которые данный протокол ещё поддерживают, например, Lynx и ещё несколько браузеров, перечисленных вот здесь: https://en.wikipedia.org/wiki/Gopher_(protocol)#Web_browsers
В сети при желании также можно найти специализированные инструменты вроде "Gopher Browser for Windows", или, если совсем уж ничего не хочется устанавливать, есть онлайн прокси, куда можно ввести адрес гофер-сайта и отобразить его содержимое. Вот пара примеров таких прокси:
http://gopher.floodgap.com/gopher/gw?
https://gopherproxy.meulie.net/
Для того, чтобы открывать гофер-сайты с популярных браузеров вроде Firefox или Chrome потребуется установить расширение. Ещё до недавних пор поддержка протокола в Firefox легко обеспечивалась расширением OverbiteFF, однако в какойто момент он перестал поддерживаться и был заменен аддоном OverbiteWX, в котором реализации самого протокола нет, а есть только редирект на вышеупомянутые онлайн-прокси. Впрочем всего этого нам итак хватит за глаза.
Где искать?
Так как Gopherspace не индексируется, найти его сайты в поисковиках не получится, если только кто-нибудь не выложил список известных ему адресов. Однако этот островок ностальгии не так популярен, как ресурсы того же tor, и врядли эти списки будут всеобъемлющими. Есть конечно списки известных адресов на наиболее крупных gopher-сайтах, но и они охватывают гдето 91% по мнению их авторов, так как используют краулеры и не могут видеть сайты, на которые нет ссылок.
В "Точке Сбора" для исследования гофер-сегмента использовали известный метод сканирования 70 порта на случайных ip-адресах при помощи бота, разработанного @good_evening. Найденные им адреса можно видеть в телеграм-канале: https://t.me/ohl7AeGah5uo8cho4nae9Eemaeyae3
И хотя новые сайты бот находит довольно редко, среди них попадалось много таких, которые в клирнете нигде не цитировались. Некоторые из них не цитировались даже в самом gopherspace и, видимо, были известны только локально. К сожалению, многие из них на сегодняшний день стали недоступны. Аналогично можно искать гофер-сайты в поисковике shodan.io по запросу "gopher port:70".
Войдя на сайт вы часто будете обнаруживать ссылки на наиболее популярные и ключевые ресурсы, такие как gopher.floodgap.com, на которых есть поисковики по Gopherspace вроде краулера Veronica-2.
Большой удачей для нас стало найти среди результатов случайного сканирования сайт gopher://93.157.51.147/,
принадлежащий исследователю из Германии, который реализовал собственный краулер на Go и выложил в репозитории https://github.com/blabber/grawler. После небольшой модификации, с его помощью мы смогли составить собственную карту Gopherspace и проиндексировать значительную часть его содержимого, с чего настоящее исследование этого удивительного мира только начинается.
Полноразмерная версия карты: https://ibb.co/m877td
Глядя на карту можно увидеть много интересного, например сразу бросаются в глаза сайты в доменах onion и i2p, а также адреса в формате ipv6, что указывает на рост и развитие сегмента даже в таких неожиданных для него направлениях. К счастью, Tor-browser ещё поддерживает расширение OverbiteFF и после его установки на такие сайты удается зайти. Во многих случаях это зеркала обычных gopher-сайтов, таких как gopher://bitreich.org, но есть и много оригинальных. Вот список тех, что мы нашли:
gopher://coffeefh3xa2yqif.onion:70 gopher://goatse3jktzuuccd.onion:70
gopher://goatsex6p2gn5rqx.onion:70 gopher://hg6vgqziawt5s4dj.onion:70
gopher://ibpj4qv7mufde33w.onion:70 gopher://j73ayflmpldqrpuo.onion:70
gopher://jewjewkeei4o4bvn.onion:70 gopher://kroovybwbzaagcen.onion:70
gopher://mabitesurlacommode.onion:70 gopher://mewmewmtgq7jda2i.onion:70
gopher://nq2jjmggyzfhfxfn.onion:70 gopher://par7qdjbxvve57ts.onion:70
gopher://qtp2tgnuce47gyzt.onion:70 gopher://szpvqtyw3vbgzb3s.onion:70
gopher://txgodjpb3hm5itrc.onion:70 gopher://uaeoa3mvlc4vgjlv.onion:70
gopher://xopo4w4zpyw2u43n.onion:70 gopher://yzszwhdftasz3bj2.onion:70
gopher://mqtwdyfjce4q2tw3ux7f3xbo3qj55uqs3l4y3s7qurntmezag7ta.b32.i2p:70
Если отобразить карту гоферспейса ввиде графа в Gephi, можно наглядно увидеть как сайты группируются вокруг наиболее крупных серверов
Самыми крупными ресурсами тут оказались:
gopher.floodgap.org, SDF.ORG, gopher.viste.fr, uninformativ.de, cloudb.zapto.org и
bitreich.org
Разбор SDF.ORG можно прочитать в статье http://telegra.ph/Pervyj-vzlyad-na-SDFORG---The-Super-Dimension-Fortress-03-09
Если посмотреть на его гофер-сайт, то можно увидеть, что это хостинг большого количества пользовательских сайтов и блогов (которые в гофере называются phlogs).
Контент
Gopher не поддерживает отображение графики, поэтому основным способом декорирования сайтов является ASCII - Art. Практически каждый сайт в гоферспейсе содержит шапку из ASCII-арта с его названием, для этого существует множество различных скриптов, создающих арты из текста или изображений. На одном из сайтов даже удалось найти попытку реализации скрипта для перевода комиксов в ascii-формат.
Впрочем, энтузиасты порой заходят достаточно далеко в стремлении красиво отображать гофер-сайты. В процессе исследования удалось найти, к примеру, такой проект как Gopher-VR, являющийся попыткой отображать структуру каталогов сайта ввиде трехмерной виртуальной реальности.
Имиджборды
В гоферспейсе достаточно много имиджборд, не смотря на неспособность этого протокола отображать графические элементы. К постам просто прикрепляются ссылки на файлы изображений.
Здесь я приведу список найденных нами имиджборд:
Gopher Imageboards:
70chan - gopher://gopher.su:70/board
70chan archive - gopher://gopher.su:70/70chan
1436chan - gopher://khzae.net:70/chan
Gopherchan - gopher://port70.net:70/chan
Another 70chan - gopher://bbs.sick.bike:70/70chan
Gopher 4chan - gopher://khzae.net:70/phourchan
Gopher/u/ - gopher://gopher.dangeru.us:70/
Eek! Imageboard - gopher://me0w.net:70/eekimg/eek.dcgi
Eek! Imageboard (tor) - gopher://mewmewmtgq7jda2i.onion/1/eekimg/eek.dcgi
Примечательно, что многие из них живы и имеют активных участников.
Разместить сообщение в таких имиджбордах можно при помощи отдельного скрипта, так как сама страница полей для отправки не имеет.
Так или иначе, тема адаптации современных технологий под использование в gopherspace - довольно популярна среди здешних энтузиастов. К примеру на одном из сайтов удалось найти исследование, посвященное переводу гофер-сайтов на ipv6. (gopher://gopher.zcrayfish.soy:70/phlog/20180410-who-s-running-gopher-on-ipv6)
И даже такое:
В гофер сообществе любят иронизировать на эту тему и сделали, например, веб-браузер для просмотра в gopher сайтов на http. Это как онлайн прокси для просмотра гофер-сайтов, только наоборот, вы вводите туда ссылку на обычный сайт, а он отображается в виде, совместимом с протоколом gopher.
А вот ещё гоферный твиттер:
Тем не менее, так как Gopherspace пришел к нам из стародавних времен, он служит отличной отправной точкой для проникновения в глубины "старого интернета". Здесь довольно часто можно найти страницы со ссылками на всевозможные BBS, архивами Fidonet, Usenet и даже списки диалапных BBS, для подключения к которым нужно звонить на указанные номера телефонов с модема определенной модели.
Здесь также можно найти большое количество игр и ПО для ретро-компьютеров и всевозможные порталы, посвещенные любительским радиостанциям и радиосталкингу.
Далее мы просто рассмотрим некоторые интересные находки:
Вот, к примеру типичная ARG в gopherspace:
А на сайте gopher://fuckup.solutions можно найти тексты всеми любимого Джона Оно
Страница изобретателя, посвященная ардуино-интерфейсу для управления стиральной машиной по сети:
И ещё один из его проектов:
А здесь можно найти игры для эмулятора SEGA Mega Drive:
Картинки с карточек с атакующими динозаврами 1988 года:
Ещё про радио:
Можно найти старые книги об интернете:
Или фотографии ретрокомпьютеров:
На одном из сайтов было выложено фото оборудования, на котором он работает.
Автор другого сайта сделал скрипт, скачивающий паранормальные истории с reddit.
Chaotic media network - гофер-сайт известной группы CCC, являющейся создателями оверлейной сети для хакеров ChaosVPN.
Сайт с картами и текстовыми описаниями для игры в D&D.
Крупное файлохранилище:
И многое другое:
В заключение можно сказать, что хотя многие технологии и уходят в прошлое, они остаются притягательными своей простотой и вызывают ностальгию, заставляющую многих людей поддерживать их жизнь в реликтовых глубинах Deep Web'а, развиваясь там отдельно от остальной сети и порождая причудливые сочетания прошлого и настоящего. Это уникальный мир со своей атмосферой, подобный затонувшей на дно интернета атлантиде, которую вы теперь сможете найти. А на этом пока всё. Удачных исследований!