Тонкости рекона

crt.sh

Давно ничего не писал, хотелось статью, но вышла пока только заметка.

Итак crt.sh это ресурс, который мониторит и собирает в себя выпускаемые сертификаты. Является одним из самых популярных источников поддоменов.

И все бы с ним хорошо, только вот запрос, который выполняется к бд, когда вы совершаете поиск по вашему домену/организации/слову, имеет ограничение в 10к результатов. Проверить это можно, посмотрев на sql запрос, который будет под табличкой поддоменов:

https://crt.sh/?Identity=example.com&showSQL=Y

Сделано это вероятно для того, чтобы сайт не перегружался, однако популярные инструменты для сбора поддоменов зачастую используют вот такой запрос к этому ресурсу:

https://crt.sh/?Identity=example.com&output=json

И у меня нет оснований полагать, что для такого запроса sql внутри выглядит как-то иначе, чем для предыдущего. А это значит, что вывод результатов будет ограничен.

У этого же ресурса есть публична postgresgl база данных с гостевым доступом:

psql -h crt.sh -p 5432 -U guest certwatch

С помощью прямого подключения к бд можно обойти указанный лимит, составив запрос самостоятельно.

В subfinder реализована функция прямого запроса к бд crt.sh(из amass, насколько я понял, убрали эту фичу), только проблема в том, что запрос который там используется, просто скопирован с crt.sh и соответственно 10к лимита и там на месте.

К чему я это: важно знать свой инструмент, порой знание тонкостей/ограничений играет роль преимущества в сфере, где большое количество конкурентов делают повсеместно одно и тоже.
Это не первый и не последний подобный кейс, который мне повстречался.