Hakrawler - быстрый CLI веб-сканер для хакеров

Быстрый веб-сканер golang для сбора URL-адресов и местоположений файлов JavaScript. По сути, это простая реализация потрясающей библиотеки Gocolly.

Примеры использования

Единый URL-адрес:

echo https://google.com | hakrawler

Несколько URL-адресов:

cat urls.txt | hakrawler

Тайм-аут для каждой строки стандартного кода через 5 секунд:

cat urls.txt | hakrawler -timeout 5

Отправляйте все запросы через прокси-сервер:

cat urls.txt | hakrawler -proxy http://localhost:8080

Включить поддомены:

echo https://google.com | hakrawler -subs

Примечание: распространенной проблемой является то, что инструмент не возвращает URL-адреса. Обычно это происходит, когда указан домен (https://example.com ), но он перенаправляет на поддомен (https://www.example.com ). Поддомен не включен в область видимости, поэтому URL-адреса не печатаются. Чтобы преодолеть это, либо укажите конечный URL-адрес в цепочке перенаправления, либо используйте -subsопцию для включения поддоменов.

Пример набора инструментов

Получите все поддомены Google, найдите те, которые отвечают на http (ы), и просканируйте их все.

echo google.com | haktrails subdomains | httpx | hakrawler

Установка

Обычная установка

Сначала вам нужно установить go.

Затем выполните эту команду, чтобы загрузить + скомпилировать hakrawler:

go install github.com/hakluke/hakrawler@latest

Теперь можно запускать ~/go/bin/hakrawler. Если вы хотите просто запустить hakrawlerбез полного пути, вам нужно export PATH="~/go/bin/:$PATH"будет это сделать. Вы также можете добавить эту строку в свой ~/.bashrcфайл, если хотите, чтобы она сохранялась.

Установка Docker (из dockerhub)

echo https://www.google.com | docker run --rm -i hakluke/hakrawler:v2 -subs

Локальная установка Docker

Гораздо проще использовать описанный выше метод dockerhub, но если вы предпочитаете запускать его локально:

git clone https://github.com/hakluke/hakrawler
cd hakrawler
docker build -t hakluke/hakrawler .
docker run --rm -i hakluke/hakrawler --help

Kali Linux: Использование apt

sudo apt устанавливает hakrawler

Затем, чтобы запустить hakrawler:

echo https://www.google.com | docker run --rm -i hakluke/hakrawler -subs

Параметры командной строки

Usage of hakrawler:
  -d int
     Depth to crawl. (default 2)
  -h string
     Custom headers separated by two semi-colons. E.g. -h "Cookie: foo=bar;;Referer: http://example.com/" 
  -insecure
     Disable TLS verification.
  -json
     Output as JSON.
  -proxy string
     Proxy URL. E.g. -proxy http://127.0.0.1:8080
  -s Show the source of URL based on where it was found. E.g. href, form, script, etc.
  -size int
     Page size limit, in KB. (default -1)
  -subs
     Include subdomains for crawling.
  -t int
     Number of threads to utilise. (default 8)
  -timeout int
     Maximum time to crawl each URL from stdin, in seconds. (default -1)
  -u Show only unique urls.