Разведка и сбора информации — обзор инструментария OSINT
Life-Hack [Жизнь-Взлом]/ХакингOSINT подразумевает сбор и анализ общедоступной информации, в основном из сетевых источников. В разрезе кибербезопасности/пентеста OSINT чаще всего применяется для сбора публичных данных о компании, и это касается не только информации об адресах электронной почты ее сотрудников. Не менее интересной будет информация о:
- DNS-именах и IP-адресах;
- открытых портах;
- запущенных сетевых службах;
- наличии сервисов удаленного доступа;
- незащищенных приложениях и операционных системах;
- имеющихся механизмах безопасности.
К счастью, для проведения OSINT существует множество инструментов и сегодня мы рассмотрим некоторые их тех, которые помогут собрать информацию об организации и составить ее цифровой след.
Консольные инструменты
Nmap
Nmap («Network Mapper») — это утилита с открытым исходным кодом для исследования сети и проверки безопасности. Она была разработана для быстрого сканирования больших сетей, хотя прекрасно справляется и с единичными целями. Это нестареющая классика и первый инструмент, который используют при проведении пентеста. Его функционал довольно обширен, но в нашем случае от него потребуется только определение открытых портов, названия запущенных сервисов и их версии.
# nmap -v -sV -p1-65535 pentestit.ru
![](https://sun9-16.userapi.com/impf/0WUp1tD9Dl8DlaIteDisIXxF9WpRnKb7P9Akcw/tLkVRGGAaYE.jpg?size=575x169&quality=96&proxy=1&sign=c107517e27934974ca0de20f52f405f8)
Cканировать нужно не только диапазон TCP портов, но также и UDP:
# nmap -sU pentestit.ru
![](https://sun9-6.userapi.com/impf/a1Zv_JiqKEifGyPcJ9rztodI3J9_d2vX0doBNg/88VsYly4H74.jpg?size=679x119&quality=96&proxy=1&sign=e5eb705bcebe3c2a7dc286e380ab2601)
Эта информация поможет определить возможные точки входа в сетевой периметр организации.
Dmitry
Еще один консольный инструмент для поиска информации об интересующих хостах. Базовый функционал позволяет:
- собирать возможные поддомены;
- собирать адреса электронной почты;
- получить информацию о времени безотказной работы;
- выполнять сканирование TCP-портов (сканирует первые 150);
- производить поиск whois и многое другое.
Запуск инструмента рекомендуется производить с использованием всех доступных ключей:
# dmitry -winsepfb pentestit.ru
![](https://sun9-65.userapi.com/impf/A0aKaOtLtwqWy_Dvhm07HXcXTEJa0CPJtIk7oA/Dsb25ktqBvY.jpg?size=503x270&quality=96&proxy=1&sign=cf73961c431e9616af5df9695dcc4958)
-i
— Выполнить поиск whois по IP адресу хоста;-w
— Выполнить поиск whois по имени домена хоста;-n
— Получить информацию с Netcraft.com по хосту;-s
— Выполнить поиск возможных поддоменов;-e
— Выполнить поиск возможных адресов электронной почты;-p
— Выполнить сканирование портов TCP на хосте;-f
— Выполнить сканирование портов TCP на хосте и показать в отчёте фильтруемые порты;-b
— Прочитать баннер полученный со сканируемого порта.
Функционал довольно обширный, но по возможностям и скорости обнаружения открытых портов все же уступает предыдущему инструменту, хотя это не мешает использовать их совместно. Все-таки, подобные вопросы требуют использования информации из разных источников для большей достоверности.
TheHarvester
TheHarvester — это целый фреймворк для сбора адресов электронной почты, имён поддоменов, виртуальных хостов, открытых портов/банеров и имён сотрудников компании из различных открытых источников. Позволяет производить как пассивный поиск по нескольким поисковым системам: google
, yahoo
, bing
, shodan.io
, googleplus
, linkedin
и т.д., так и активный, например, перебор имён поддоменов по словарю.
# theharvester -d pentestit.ru -b google -l 500
![](https://sun9-36.userapi.com/impf/mPoOipoY1Ts8gB8e2AgKXm62u-A8CyWYun1j5A/T-hE7UPOC9U.jpg?size=343x424&quality=96&proxy=1&sign=04e56952e5be0f7725d3ed59a2492ca9)
-d
— домен;-b
— поисковая система;-l
— количество поисковых запросов для обработки.
Recon-ng
Recon-ng тоже полнофункциональный фреймворк веб-разведки, написанный на Python. В комплекте поставляются независимые модули, взаимодействие с собственной базой данных, удобные встроенные функции, интерактивная помощь и т.д. Из-за схожести интерфейса Recon-ng с Metasploit-framework освоиться будет куда проще, если был опыт использования последнего. Установить все доступные модули можно командой: marketplace install all
при первом запуске инструмента т.к. они могут изначально отсутствовать. Некоторые модули при работе взаимодействуют с API различных сервисов, таких как: Google, Github, Bing и т.д. для них необходимо будет получить API ключ и указать его командой keys add
. Посмотреть список ключей можно командой keys list
, где будет выведена таблица.
![](https://sun9-35.userapi.com/impf/M3F9SnYMD4YAtKuIXUBvl8yOT6ksJ2sluzRT7g/Ukesz3wvN10.jpg?size=423x507&quality=96&proxy=1&sign=6b3348ef7454c5e0bbe9d155fbb6a736)
Для просмотра основных команд необходимо вызвать справку:
![](https://sun9-23.userapi.com/impf/wSpoxbUf0TYIQqfhgK9BdBoeuxX8nFZ8AGUK-A/xVpek1U4e8U.jpg?size=540x416&quality=96&proxy=1&sign=b374a68b1e754dd5dc2b707837f92161)
TiDos
TiDos — универсальная платформа, охватывающая всё от сбора начальных данных до анализа на уязвимости. Во время запуска программы необходимо ввести интересующий домен и используется ли SSL:
![](https://sun9-30.userapi.com/impf/6sCUxW2AOGQbhsNpOjLWDWAd_nP4sSWNW3ta8Q/5dKpNGUzyZY.jpg?size=594x667&quality=96&proxy=1&sign=b7c987fedba49ff716338f9e946c62c1)
В своем арсенале TiDos имеет 5 разделов, которые позволяют выполнять как поиск информации о цели в открытых источниках, так и искать некоторые уязвимости. Для выбора достаточно указать соответствующий ID.
![](https://sun9-42.userapi.com/impf/uKbyKyq3JT8tmnvVEv-0PSel7iOpNNGFqWW-ug/cEJFFXqLjHo.jpg?size=376x146&quality=96&proxy=1&sign=3d5b75f6e5198c5c58c0fc4b8ff6db73)
Так как нас интересует только сбор информации, то и рассматривать будем только один раздел, содержащий порядка 50 модулей. Здесь можно проводить как пассивный сбор данных:
- поиск адресов и прочую контактную информацию в Интернете;
- информацию о домене (Whois-информация);
- информацию о конфигурации DNS;
- список поддоменов;
- список подсетей и т.д.
![](https://sun9-75.userapi.com/impf/JCxaqegWq_uHNfBaX44lDifdAHCbsmpEttrBAg/6zmZS-fI6mM.jpg?size=488x568&quality=96&proxy=1&sign=ec37bb574575f606b9a4c672823117ca)
![](https://sun9-76.userapi.com/impf/_Y1RJrMyEF0hWih7nS2vLR-ChhB1VKk5Nz-5rw/peRK4rJn_WM.jpg?size=574x527&quality=96&proxy=1&sign=214fe01c0497db2f42114608d4d1f300)
так и активный:
- сбор баннеров;
- проверка файлов robots.txt и sitemap.xml;
- определение CMS;
- определение альтернативных версий сайта путем обращения с различным параметром User-Agent;
- поиск файла info.php и его возможных вариаций и т.д.
![](https://sun9-57.userapi.com/impf/SUrmRsD1xjwWfvvf__nmGV2keoN7Ccpj9AzLng/7fxvGJ0g2NE.jpg?size=447x436&quality=96&proxy=1&sign=69a1899d9c5b8bc2e0665bacd77df434)
![](https://sun9-62.userapi.com/impf/QC_ODTeC5FqlsCVMk4upSSFyT4nFcDc69vkG1g/5QTWhUJ1oVw.jpg?size=618x724&quality=96&proxy=1&sign=60b1c4f7c72e4d9f2b11d1958ea0d38a)
Онлайн сервисы
Использование онлайн-сервисов также один из возможных путей при проведении сбора данных о цели. Есть обобщенная база таких сервисов — это osintframework. Здесь собраны и отсортированы по разделам различные инструменты. К слову говоря, здесь также предоставлены ссылки не только на онлайн сервисы, но и на полезные инструменты и фреймворки, относящиеся к конкретному разделу, как например, TheHarvester или Recon-ng — для OSINT.
![](https://sun9-17.userapi.com/impf/28C24T3l3DSlCmWrcWYFCf3IKkS7p64_TjpmZw/Gg2SrXbTrS8.jpg?size=807x632&quality=96&sign=87defc9a9d0db2f5fd769ce282e61830)
Поиск адресов электронной почты
hunter
Сервис довольно прост в использовании. На сайте вводим название комании, или ее домен, и получаем список адресов, которые удалось найти вместе с ресурсами, где эти данные фигурировали. Доступен также плагин для установки в браузере Mozilla Firefox, чтобы автоматизировать процесс сбора учетных записей.
![](https://sun9-75.userapi.com/impf/p0tuU7Smod1TxBhbtXB9dEiv7r-sKNusZJSoSw/_MJRODuYyfM.jpg?size=807x671&quality=96&sign=e0a2530235f570a3853934f8db754801)
mailshunt
Аналогиично — указываем домен компании и получаем список найденных учетных записей. Разные сервисы могут работать по разным алгоритмам, поэтому для получения более обширного списка рекомендуется совместно использовать несколько сервисов.
Whois
who.is
Вводим домен компании и в ответе получаем whois-информацию о домене, DNS-записи и т.д.
![](https://sun9-13.userapi.com/impf/ojFBSyuBygJjvsCkeLfEBNVf7GY1E7gupKqRrQ/ConrGZpreB0.jpg?size=807x241&quality=96&sign=5812e3dec5936e1df96d34647dfc6b3a)
2whois
Помимо получения whois-информации сайт предоставляет для работы онлайн-сервисы nslookup, dig, анализ DNS и многое другое. Весьма полезный сервис.
![](https://sun9-6.userapi.com/impf/gtpSOoJoR2_jSA3HZf_LVQTcreVTObm-nU4glA/Fv6QxODpu9s.jpg?size=801x383&quality=96&proxy=1&sign=14f60ee67793cb1d1e0518a7fcf50028)
Hackertarget
Сервис похож на предыдущий, но набор инструментов значительно расширен, что позволяет дополнительно использовать, например, сканеры уязвимостей OpenVAS, Nmap, Nikto, WhatWeb и т.д.
![](https://sun9-47.userapi.com/impf/qPflvCus1CIdAdS07xCYOgDpsHQ7254c8z9PYw/oycyYbSRGns.jpg?size=807x217&quality=96&sign=4d44d7971c16b93ac0f97faa9bf49f15)
Google Dorks
Google Dork Queries (GDQ) — это набор запросов для выявления всего того, что должным образом не спрятано от поисковых роботов. Вот небольшой список команд, которые чаще всего используются:
site
— искать по конкретному сайту;inurl
— указать на то, что искомые слова должны быть частью адреса страницы/сайта;intitle
— оператор поиска в заголовке самой страницы;ext
илиfiletype
— поиск файлов конкретного типа по расширению.
Комбинируя различным образом команды для поиска можно найти практически все, вплоть до логина/пароля администратора.
![](https://sun9-16.userapi.com/impf/LKxaZeNLlNb0PV-74hBsJyngo9nI10tOjqhauQ/7OKDTQYahyw.jpg?size=766x562&quality=96&proxy=1&sign=a2fab07a0ae4c3036038f57deb02b811)
Вывод
Сбор информации является важным этапом проведения тестирования на проникновение. Периодическое проведение разведки поможет обнаружить потенциальные недостатки сетевого периметра раньше, чем этим воспользуются злоумышленники.