Crawler

Горизонт Событий

В мысли админ-состава Горизонта Событий давно закралась идея реализовать crawler по всеми любимой onion-сети. Не поверите, но этот путь был очень долгим. Начиная еще со старого проекта реализаций было несколько. На настоящий же момент мы пришли к какому-то итоговому результату, хотя пока что и достаточно небольшому.

Давайте же разберем что такое crawler для тех, кто не знает об этом.

По своей сути crawler представляет собой составную часть поисковой системы и предназначен прежде всего для перебора страниц с целью занесения информации о них. Такие используют крупнейшие поисковики типа Google или Yandex. Но, как вы понимаете, в onion-сети, которая не является индексируемой, достаточно сложно присвоить описание тому или иному сайту. Мы до сих пор находимся на пути к реализации данного функционала.

Итак, представляю вашему вниманию наш crawler, который рекурсивно перебирает ссылки в любую глубину от заданной ссылки. Реализован на Go, скомпилирован пока что только под Windows. Для запуска необходимо запустить Tor-браузер.

Для получения сведений о запуске необходимо использовать команду

./crawl.exe -h

Пример использования без указания глубины

Пример использования с указанием глубины 2

Скомпилированный код на Go под Win-подобные системы

Crawler

Report Page