#randomstalking_week - нетсталкерский флешмоб на рандомскан.

Нетсталкинг - тематика очень своеобразная. Движется своим чередом. Каждый что-то сканит, сканит своё, и потом выкладывает находки в общак. Или вообще не выкладывает, а сканит один. В каком-то смысле можно назвать тематику децентрализованной. Но когда вот такие, незатейливые вещи объединяют людей - то мне это кажется замечательным. Вот это ощущение сплочённости сообщества, работающего над одним. Настоящий праздник в тематике.

Как гласит доска объявлений:

Неделя рандомсталкинга

1. В течение следующей недели предлагаем свои идеи и реализацию инструментов рандомсталкинга. Универсальная прослойка для загрузки в Telegram уже готова. Что бы вы хотели видеть или кодить на её основе?

2. Обсуждение единого формата метаданных, удобного для вас или машинной обработки.

3. Что для вас означает метод рандома? Расскажите, почему он вам нравится (или нет) и что даёт. Дискасс - сейчас в Точке Сбора (вход через @netstalking).

1 . Инструменты и идеи

Нетсталкинг неразрывно связан с технологиями. В тематике очень и очень много людей, которые работают или работали в сфере IT, а если и не работали, то точно уж являются "продвинутыми" юзерами ПК. Поэтому ожидаемо, что многие проекты воскресли, чтобы явить свой лик во время рандомсталекерской фиесты.

PyNesca

Ещё одна попытка переписать небезызвестную Nesca на языке Python. Как и Pysca, продвигается медленно, но на рандомсталкерский флешмоб разработка зашевелилась снова. Стали принимать pull request'ы (изменения в коде - прим. автора) и разработка стала вестись, в общем-то, активнее. Добавили сканер FTP, сделали более гибкий конфиг, перелопатили доки, сделали много чего... Но проект всё ещё не готов и поэтому показать из него, увы, я ничего не могу.

Randy Bot

Как и PyNesca, является заготовкой, но уже более продвинувшейся - она вполне себе запускается! Написана юзером Pan Kotowski на основе другого проекта-движка, с прилагающейся к нему документацией, написана вполне хорошо, на данный момент размещена на сайте Network Neighborhood (сообщество людей, интересующихся сетью на более низком уровне), и мы надеемся, что эта заготовка получит дальнейшее развитие - ведь идея универсального рандомсталкинг-бота довольно перспективна.

Link Hopper

Широко известная в узких кругах личность, @v696973, также решила поучаствовать в флешмобе - и достала из своих пыльных закром бота-кузнечика. Кузнечик находит все ссылки находящиеся на сайте, случайно выбирает одну из списка, и прыгает на неё. Потом сканит все ссылки на другой странице. Снова случайно прыгает на одну из них. И так, пока не достигнет марианвеба, красных комнат, ютуба уровня /b/ и Тихого Дома. К сожалению, бот долго не проработал - пропрыгал всего 300 с лишним ссылок и потом был отключен создателем :(

Рандомбот с базой данных построенный на графах, на Apache Airflow

Тут, к сожалению, нет даже работающего прототипа - только теоритическая часть. Apache Airflow - это удобная, эргономичная платформа для ведения работы и мониторинга этой самой работы - она позволяет строить различные графы, деревья, представлять статистику в наглядном виде... Именно поэтому, из-за удобства платформы, Ян Майкл Винсент и ранее упомянутый Pan Kotowski планировали построить бота именно на данной системе, но пока что планы не вышли из теоритической части и практической работы ещё не было начато. Пока нам не остаётся ничего, кроме как пожелать удачи в начинаниях :)

2 . Вопросы хранения информации

На самом деле, вопрос хранения информации в едином виде и в едином хранилище поднят уже давно. Было несколько проектов, предпринявших попытку сделать "децентрализованное нетсталкерское хранилище" - Отклик, в некотором смысле Медвед, и еще некоторые последователи. Но большинство этих проектов были либо заброшены, либо погребены песком времён, с лежащими и нетронутыми исходниками на гитхабе... Именно поэтому эта дискуссия стала предметом споров в неделе рандомсталка:

Некоторые люди считают, что достаточно уже имеющихся способов хранения и разметки информации (JSON, XML), а некоторые сейчас занимаются разработкой унифицированного метода поиска информации. Есть идеи и "комбинирования форматов" - Pan Kotowski предлагает использовать RDF с несколькими словарями для описания находок с транспортированием информации по HTTPS, а в будущем и AMQP . Пока что практических, юзабельных наработок на эту тему мало - поэтому на данный момент сталкерам приходится пользоваться обыденными способами разметками информации - но решения уже разрабатываются. Кстати, Пан приветствует помощь в этом вопросе, поэтому, если имеете опыт работы с этим, то можете связаться с ним :) @straszny_zwierz

3 . Что для вас есть метод рандома?

Рандомскан можно описать вот такими красивыми словами: "найди то, не знаю что, где-то там, не знаю где". Это поиск без цели. Скан случайных IP, бесцельное брождение по сайтам, прошерстывание различных рандомных ID на файлообменниках. Этот метод не так эффективен, как направленный поиск, но тем не менее, большинство находок в нетсталкинге как раз найдены путём рандомскана. Обычно, делисёрч (направленный поиск контента - прим. автора) является уже следствием находки рандомсканом.

Как пример - моя излюбленная история про хакера-Майкла, который верил в то, что его накачивает наркотиками и постоянно насилует ФБР. Та история началась с простого файла, встречавшегося на многих ФТП, в котором Майкл предупреждал людей о слежке, а позже уже именно делисёрчем его историю удалось исследовать глубже.

Подводим итоги флешмоба

Этот флешмоб привнёс много активности, искру в нетсталкерское сообщество, которое обычно является разрозненным, и если работает вместе, то в разных отдельных группах, а не одним большим массивом. Эта неделя принесла нам много инструментов и припособлений для рандомскана, а также помогла разобраться с некоторыми техническими аспектами этого вида деятельности, вроде хранения данных. Мне бы хотелось в конце привести небольшой "дайджест" находок за неделю, найденных именно рандомсканом:

1. Старая и забытая крякогруппировка с кучей старого софта (FTP Random Image)

2. FTP-сервер с разными ромами и парой вирусов под MacOS (Random FTP Image)

3. Хомпейдж Осанова Алексея Александровича, доцента (SiteCity.RU Random Scan)

4. Скриншот странной софтины для мерчендайзеров для валидации магазинных полок (RandomShots)

Ну, а на этом всё. Надеюсь, вы почерпнули из статьи полезную для себя информацию. Искренне желаю вам удачи, сталкеры, и надеюсь что вы в следующий раз тоже примите участие в чём-то подобном :)

До скорых встреч.

Автор - @onexor

Помогали - @jan_michael_vincent, @straszny_zwierz