OSINT

Мы начинаем цикл публикаций, в которых попробуем рассказать о тех или иных направлениях CTF, да и вообще IT-специальностей (в том числе, ИИ и анализ данных) более подробно и увлекательно, сделать библиотеку ссылок на ресурсы и программа, а также привести примеры решений задач.

👆Построены наши публикации будут по одному и тому же шаблону, для того, чтобы во время CTF не тратить драгоценное время на поиски иголки в стоге сена. 👆 И, да, мы БУДЕМ ОБНОВЛЯТЬ разделы с врайтапами 👆

Начнем мы от условно простых к более сложным темам. От OSINT'а и форензики к реверсу и pwn. Почему именно так? Все-таки, да, первые два направления требуют кучу знаний, начиная устройства файловой системы и заканчивая возможными артефактами операционки, но все это гуглится и набивается опытом, в то время последние два требуют колоссальных знаний в программировании, "обратной разработке" и глубокого понимания устройства операционной системы. А если при этом учесть, что в ходе одной CTF могут попасть "задачи", написанные на языках Python, Ruby, JavaScript, C++, при этом скомпилированные в EXE и еще использующие какую-либо встроенную виртуальную машину, то лучше эти темы оставить на потом 😂

Важно: 1. Для того, чтобы хорошо освоить какую-либо тему, нужно постоянно в ней совершенствоваться. Читайте writeup'ы, блоги исследователей и тренируйтесь, тренируйтесь и еще раз тренируйтесь.

2. Невозможно охватить в полном объеме все направления. Обычно, команда для CTF состоит из 3-5 человек, и каждый из них является специалистом в определенной области. Да, в общих чертах каждый из них должен понимать все, но сложные задачи в узких областях охватить невозможно!

3. Любую задачу, любую программу нужно начинать "решать" с разбиения задачи на более простые. Запомнить, что нерешаемых задач не бывает !

Сели поудобнее, достали тетрадки и ручки (или блокнот и клавиатуру), и потихоньку шаг за шагом набрасываете алгоритм решения задачи, сначала самый самый общий. Погуглили эти большие разделы, попробовали что-то набросать в коде. Раз, и становятся понятнее следующие шаги, снова кладем их на бумагу, рисуем стрелочки и гуглим. И так, пока задача не решится. Помните, что всё трудное может состоять из более простых вещей, стоит лишь определиться с тем, как эти вещи связаны между собой.​ Главное, чтобы хватило времени, и не опустились руки!

Оглавление

• Теория
• Обзор инструментов
• Примеры интересных writeup
• Где потренироваться

Теория

Класс задач OSINT или как их еще называют Recon относится к большому направлению IT-технологий под названием "Разведка по открытым источникам" (англ. Open source intelligence, OSINT). Такие задачи включают в себя поиск, сбор и анализ информации из открытых источников.

Где могут пригодиться эти знания во взрослой жизни? Это журналисты, аналитики, службы безопасности, киберпреступники, ну и конечно, государственная служба.

В CTF же в OSINT задачах самое главное это интуиция и опыт, опыт и интуиция. Нет одного шаблона, как в той же стеганографии или реверсе, где ищем функцию main, а от нее "идем" к проверке флага. Поэтому еще раз повторим, что нужно тренироваться, тренироваться и еще раз тренироваться, чтобы быть знакомым с различными случаями, и тогда Ваше подсознание будет выдвигать предположения о вероятных вариантах.​

​В ходе Squ1rrelCTF мы познакомились c игру GeoGuessr.  Идея игры заключается в том, что игрок оказывается в каком-то месте на Google Street View. Никакой другой информации, кроме изображений улицы и компаса, не предоставляется. Да, на фото, есть такие "приметы" как дорожные знаки, растительность, уровень жизни, климат и движение автомобилей, их можно использовать в качестве подсказок. Игрок должен угадать местоположение. После этого GeoGuessr показывает реальное географическое положение и дает игроку оценку в зависимости от того, насколько близко к правильному местоположению оказалось место, отмеченное игроком.
Один из лучших спецов в этой области признался, что он 13 месяцев провел перед Google картами, изучая особенности каждой страны! ✍️💪

Конечно, внимательность и аналитический склад ума это уже очень хорошая площадка для разгона. Но, для эффективного решения заданий вам необходимо уметь подразделять ЗАДАЧИ на подзадачи, и в конце, решив каждую подзадачу, строить связи между найденными данными. Именно эти факторы прокачиваются со временем.​

Какие же бывают подзадачи в OSINT?

• поиск информации о человеке

Тут есть большое количество различных вариантов того, что нам может быть дано. Это может быть всё, что угодно, начиная от фото машины, заканчивая каким-то личными данными.

Поиск информации о владельце машины мы выделим в отдельный класс задач и рассмотрим немного позднее, а в этой части сконцентрируемся на задачах, где нам известно ФИО или ник.

Фактически, если вы знаете реальное имя цели, вы запросто её найдёте в соцсетях , а затем вы узнаете всё, о том, с кем цель общается, где живёт и т.д. Даже если в профиле у цели нет ни одной фотографии, но есть хоть одни друг, вы всё равно сможете узнать, как минимум город проживания, а при определённых удачных условиях — всё, с точностью до дома и этажа.

После того, как вам станет известен ник хоть в одной социальной сети, вы сможете попробовать найти этого же человека и в других соцсетях. Т.к. люди в большинстве своём склонны использовать схожие username’ы на разных сервисах.

Наилучшее средство для этих целей — Snoop.

• поиск информации о человеке по лицу

Да, и в жизни, и в CTF встречается класс задач, где нужно найти информацию о человеке, использую только его фото. Для этой цели лучшее средство search4face.com. Он быстро и удобно ищет людей по фото в ВК, TikTok и одноклассниках (база данных по состоянию на 2020-2022 год).

• поиск информации по изображению

Частным случаем является поиск информации по местности, так называемый GeoOSINT. Это когда есть в наличии одна-две фото и нам надо узнать, где это снято. Процесс называется "Обратный поиск по изображению" или "Reverse Image Search" (RIS). Тут выбор инструментов очень большой, по факту можно использовать даже банальный Google Maps, но есть и другие инструменты (см. раздел Toolz).

Если в "исходном" изображении очень много лишних деталей, то сокращайте его, пока где-нибудь в конце и не выскочит нужное нам изображение 😁

• поиск по Email и номеру телефона

Здесь особенностей, наверное, нет (см. Toolz)

Toolz

Важно: при подготовке списка использовались материалы статей vag4b0nd и YarIkGU, а также помощь Fastyyy. Большое спасибо!

Полный сборник OSINT сервисов и приложений (более 1000 штук)

Еще один каталог утилит для OSINT

Еще один обобщающий ресурс по OSINT

 Очень интересный канал: "Интернет-Розыск I OSINT I Киберрасследования"

Поиск по имени и по нику

• Maryam — open source инструмент. В принципе, это один из самых многофункциональных инструментов поиска, который я когда либо использовал. Он неплохо подойдёт и для поиска по реальному имени и для поиска по нику. Доступен на github. ВАЖНО: работает только под Linux
• InstantUserMe — рабочий шустрый чекер (рекомендуется в закладки)
• Snoop — один из самых быстрых и мощных инструментов для поиска по имени. Он использует около 500 источников для сбора информации. Инструмент с открытым исходным кодом, правда, есть и платная версия, она просто использует больше источников для сбора информации (она для наших целей не нужна)
• Alfred — третья утилита этого класса. Работает под Windows, можно пробовать, если не будут справляться первые две
• Maigret — поддерживает очень много источников, но основным плюсом является наличие бота в Telegram (правда, поиск занимает более 10 минут)
• NameCheckup — шустрый чекер, но половина соцсетей не работает 😢
• Pipl — поисковик по социальным сетям. Требует регистрации и платный
• social-searcher.com — Ищет все посты пользователя. Бесплатная версия очень сильно ограничена в функционале
• @FindNameVk_bot — Бот ищет историю смены фамилий профиля по открытым источникам, указывает дату создания аккаунта
• @InfoVkUser_bot — Бот позволяет провести анализ друзей профиля. Сейчас доступны ВУЗы и родные города.

Поиск людей по фото

• search4face.com  — лучшее средство для поиска людей по фото в ВК, TikTok и одноклассниках (база данных по состоянию на 2020-2022 год).

Поиск изображение в сети Интернет

• Google  — классика ✍️
• Яндекс — используем для российского сегмента сети
• расширение для Chrome для поиска сразу в 8 системах RIS
• ImgOps — сервис для проверки метаданных и RIS
• TinyEye — крупнейший сервис для поиска картинок. Иногда работает даже лучше, чем Google, но по картам не ищет от слова совсем
• NumLookup — можно использовать для поиска картинок, телефонных номеров и отдельных лиц
• CopySeeker — по их мнению, они лучший движок для RIS, но по картам не ищут, и в CTF его применение ограничено 
• 2gis — хорошо подходят для поиска какого-либо малого бизнеса, т.к. там отмечены даже границы помещений внутри здания, в котором сидит компания
• DualMaps — если кратко: это просто Google Maps с двух разных ракурсов и Google Street Viewer. Это может быть полезно, например, если нет возможности использовать второй монитор, а переключаться между окнами неудобно
• demo.f4map — хорошо детализированная 3D карта. Может быть полезна, если надо «заглянуть» в какой-нибудь двор или посмотреть на город в 3D. Кстати, в некоторых случаях - более детализированная карта, чем даже Google Earth

поиск по Email

• haveibeenpwned.com — для проверки на наличие Email’а в слитых базах
• Ghunt  — для поиска информации о владельце Google аккаунта

поиск по номеру телефона

• PhoneInfoga — лучшее приложение для этой цели
• NumLookup — сервис для поиска телефонов

Поиск информации об устройствах в сети Интернет

• Censys и shodan — два мощных поисковика, позволяющих искать различные типы устройств (веб-камеры, маршрутизаторы, серверы и так далее), подключённые к сети Интернет
• Еще несколько аналогов: 1, 2, 3
• Карта Wi-Fi сетей

Разное

• Привязка исторических фотографий по координатам
• Привязка статей Википедии по координатам: 1, 2
• быстрый поиск старых версий сайта в 21 поисковых архивах
• Удаление водяных знаков с фоток
• разблюрить фотографию

Writeup

Пример с поиском по ID ботов в телеграмме, используется Github, утечки ID, запросы к API телеграм, telegram bot dumper, поиск информации по ФИО в гугл и анализ соц сетей

Два Примера 1) с поиском криптокошелька и привязкой его к ФИО, через свойства профиля, почтовый адрес и профиль скайпа 2) поиском на гитхабе длинной не логичной функции, анализом профиля разработчика и получением его открытых ключей

Несколько примеров: 1) анализ логики генерации имен файлов и получение доступа к скрытому файлу, 2) анализ сайта, поиск через robots.txt скрытой директории, получении файла, подбора паролей с использованием JohnTheRipper, анализом метаданных и поиском по нику в соц сетях

Два примера решения тасков от vag4b0nd: 1) поиск личной инфы в соц. сетях и 2) получение истории btc кошелька

Очень интересный writeup на задание, использующее свойство Google Hangouts, Google maps и поиск от HackTheBox

Чуть чуть видео от гуру GeoOSINT, на английском, но с субтитрами с автопереводом можно: 1, 2, 3 (очень классное) и канал на Youtube.

Тренировка

• Codeby.games — неплохой сервис, где кроме прочих заданий есть и категория OSINT. Есть самые разнообразные, как сложные, так и простые задания
• Osint Tasks Bot — бот в телеграмм, который выдаёт и проверяет задания по OSINT, в основном — поиск по картам и на местности (работает несколько костально, но в нем есть моё любимое - задания на поиск по местности)
• GeoGuessr: Официальная (платная), бесплатный аналог, еще один, файл с ссылками на испытания для обхода требований денег в платной версии
• HACK OSINT CTF 2024. Таймлайн: до 20.06 - регистрация, 21-24 июня мероприятие (онлайн), 5 июля - подведение итогов, награждение.