Файлообменники

На фоне облаков многие забывают о файлообменниках, которые по сей день используются для быстрого обмена файлами, а исследователями — ещё и для их массового скачивания.

В рамках нетсталкинга файлообменники можно разделить на три категории:

1. Те, что генерируют порядковые ссылки или имеют публичные каталоги. Работа с ними вручную заключается в частом обновлении страницы и своевременном скачивании заинтересовавшего файла. Процесс можно автоматизировать с помощью парсера для извлечения ссылок из XML или HTML-документов или брутфорса для перебора порядковых чисел в URL.

Если вам наскучат файлообменники этой статьи, вы можете найти другие. Рекомендуется проверять их на наличие корневых sitemap.xml и sitemap_recent.xml запросами типа inurl:sitemap.xml.

• RGhost. Один из крупнейших российских файлообменников, во время написания руководства сменивший концепцию и удаливший старые файлы. Обновляемый каталог за последний день был доступен в XML. Также была полная история неудалённых публичных файлов.

Срок хранения выборочен: от 1 до 90 дней. В работе с РГхостом характерен скоростной парсинг. Заключается он в следующем. После загрузки на сервер файл сразу не меняет ссылку со стандартной 9-значной (7bDfKcfTJ) на сложную приватную (private/7C75Q9FXs/*md5hash*), зато добавляется в каталог.

Нетсталкер может успеть поставить файл на скачку до того, как его заприватит владелец, и изменится ссылка. Хакеры используют этот метод, чтобы достать сканы паспортов, частное порно и базы аккаунтов — всё, что плохо лежит. Технически это не взлом, т.к. файл общедоступен на момент скачивания.

• Файлообменник. Вместо каталога есть постраничная таблица с более чем 300000 ссылками. Точный срок хранения файлов неизвестен, т.к. их удаляет администрация по своему усмотрению, но в правилах указан диапазон от 20 до 150 дней. Прямая ссылка находится в значении метода document.getElementById(“link”).innerHTML JS-функции linker(). Из защиты возможен только пароль.

• zFile. Таблица на всю страницу содержит лишь файлы за последние 3,5 дня, хотя всего их более 20000. Срок хранения: 14 суток. Приватизации нет, но запароливание есть. Перед скачиванием файла включается таймер на 10 секунд, заскриптованный JS-функцией countdown(). Его можно обойти, т.к. в методе document.getElementById(“link”).innerHTML первого вложенного if лежит прямая ссылка. Критичнее другое: скачивание возможно не чаще раза в минуту, поэтому советую использовать анонимайзеры. На сервер также нельзя загружать одинаковые файлы.

• 4shared. Коммерческий международный файлообменник с мобильными приложениями на Android, IOS и Windows Phone, премиум подпиской и облачным хранением. Каталог рассортирован по файловым расширениям и содержит более 80000000 файлов. Срок хранения не ограничен, но аккаунт деактивируется, если не логиниться дольше 180 дней. Безопасность описана отдельно.

2. Те, что не имеют уязвимостей, обеспечивают конфиденциальность пользователя и пресекают попытки парсинга или брутфорса. Чаще всего это выражается в отсутствии каталогов и генерации сложных буквенно-цифровых ссылок. Тем не менее, какую-то часть их файлов, упоминавшихся в Интернете, можно найти с помощью операторов site:, inurl: и цитирования. Список таких файлообменников:

Sendspace (искать по /file/);

файлообменник.рф

DepositFiles и т.д.

Особо интересен MyFile, имеющий свой ханипот и отслеживающий скачивания государственными структурами и СМИ.

3. Наконец, существуют файловые хостинги. Принцип их работы такой же, как и у любых файлообменников, но есть ключевое отличие: поддержка одного, максимум двух типов файлов. С целью экономии места далее перечислены основные публичные хостинги.

Imgur. Крупнейшая площадка для обмена картинками и анимациями, которые можно заприватить. Новые публичные изображения публикуются в специальной ленте.

Популярность сайта привела к появлению рандомайзеров, например: random imgur, Imgur Roulette и RandomGur. Есть возможность узнать источник файла, если он загружен по ссылке.

Lightshot. Обменник, хранящий скриншоты, взятые одноименным ПО. Его парсит нетсталкерский бот RandomShots.

Pastebin. Первое в мире хранилище текстовых файлов неограниченного размера. Срок хранения выборочен. Подобные сайты популярны среди пользователей мессенджеров из-за неудобности чтения больших текстов прямо в чатах.

Похожие функции выполняют pastebin.ru , Slexy, Upaste и Pastiebin , некоторые из которых генерируют удобные порядковые ссылки. Парсинг Пастебина возможен, но из-за того, что в архиве хранятся 50 последних ссылок, потребуется либо постоянное обновление его страницы, либо покупка платного доступа к API.

SlideShare - сервис хранения и распространения файлов презентаций. Это дочерний проект LinkedIn - соцсети для рекрутинга и профессиональных контактов.

Задуман как социальная медиаплощадка, аналогичная ютубу: предоставляет возможности по комментированию, отметкам лайков и избранного, выходу в топы ресурса, анализу статистики посещаемости.

Основным направлением контента предполагается обучающий материал, презентации конференций и компаний. Здесь хранятся учебные курсы, научные и научно-популярные материалы, диссертации. Это определено  контекстом сервиса, но по факту ограничений на содержание заливаемых файлов нет.

К примеру, можно найти копии печатных СМИ. Поддерживаемые форматы: pdf, odp, txt, форматы MS PowerPoint и MS Word.

Сервис делит контент на презентации, документы и инфографику, исходя из свойств залитого файла. Хотя справка SlideShare этого не поясняет, позволяется заливать и видео. Для удобства краулера создаётся транскрипт: тексты на презентациях по возможности распознаются и включаются в страницу.

Поиск по сервису возможен несколькими путями: по ключевым словам, по алфавиту (требует логина), сёрфингом по топам (не позволяет опускаться ниже определённого уровня) и сёрфингом по приглянувшимся профилям, подысканным в комментариях или из предыдущих поисковых результатов (пример с интересным для нас, хотя и устаревшим контентом).

Существует аналогичный MyShared , ориентированный на русскоязычный сегмент и поддерживающий только форматы PowerPoint. Помните, что среди внешне непримечательных картинок могут оказаться rarjpeg’и разных расширений: .jpg, .png, .gif, .mp3, .wav, .aac, .amr, .torrent и .html.