Сбор информации с помощью OSINT

Поиском, сбором и анализом информации, полученной из общедоступного источника, занимается OSINT. Основная цель — найти информацию, ценную для злоумышленника или конкурента. Сбор информации во многих отношениях является ключевым моментом теста на проникновение. Сегодня вы узнаете, с помощью каких инструментов и какую информацию можно найти в открытых источниках.

TheHarvester

В состав TheHarvester входит целый фреймворк для сбора email адресов, имён субдоменов, порталов, открытых портов/банеров и имён сотрудников фирмы из различных открытых источников. Фреймворк позволяет производить как пассивный поиск по нескольким поисковым системам: google, yahoo, bing, shodan.io, googleplus, linkedin и т.д., так и активный — например, перебор имен субдоменов по словарю.

Используя различные поисковые источники можно получить различный результат. Например, при использовании поисковой системы Yahoo, получается следующий результат:

А при использовании Google:

WhatWeb

Практически у всех компаний, есть свои сайты, которые тоже можно анализировать. Основная задача инструмента WhatWeb — ответить на вопрос, какие технологии использует веб-приложение. WhatWeb распознает веб-технологии, включая систему управления контентом (CMS), пакеты статистики / аналитики, библиотеки JavaScript и многое другое.

WhatWeb содержит более 1700 плагинов, предназначенных для распознавания одной вещи. Он также определяет номера версий, адреса электронной почты, идентификаторы учетных записей, формы веб-платформы, ошибки SQL и многое другое.

# whatweb -v google.com

TiDos

TiDos — это полноценный фреймворк, который охватывает все. От сбора исходных данных, до анализа уязвимостей. В его арсенале имеется 5 модулей, позволяющих искать информацию о цели в открытых источниках и некоторые уязвимости. Поскольку нас интересует только сбор информации, мы рассмотрим только один раздел, позволяющий собирать и обрабатывать пассивные данные, среди которых имеется:

поиск email-адресов и прочую контактную информацию в Интернете;
информацию о домене (whois-информация);
информацию о конфигурации DNS;
список субдоменов;
список подсетей и т.д.
сбор баннеров;
проверка файлов robots.txt и sitemap.xml;
определение CMS;
определение альтернативных версий сайта путем обращения с различным параметром User-Agent;
поиск файлов типа info.php и его возможных вариаций и т.д.

SpiderFoot

SpiderFoot — это инструмент для автоматизации OSINT. Может интегрироваться со многими доступными источниками данных и использует ряд методов анализа данных для облегчения навигации по этим данным. SpiderFoot на самом деле не консольный инструмент. имеет встроенный веб-сервер с интуитивно понятным веб-интерфейсом. Позволяет собирать информацию о:

IP-адресах;
Домены/Субдомены;
Имена пользователей;
Телефонные адреса;
Проверка некоторых данных на предмет утечки и т.д.

Пример полученных результатов:

Maltego

Maltego — довольно популярный инструмент для проведения OSINT-событий и построения отношений в виде графиков. Бесплатная версия может быть вполне достаточной для поиска информации, но помните, что для многих модулей, например для поисковой системы Shodan, вам необходимо получить ключи API для задействованных служб.