Обучение взлому и защите веб-приложений. Часть 1

В первой части разберем очень распространенный метод сокрытия данных от пользователей.

Robots.txt - протокол, предотвращающий индексацию и категоризацию роботами поисковых систем тех данных, которые мы бы хотели чтобы они игнорировали. На практике это директория, к которой нет доступа у обычных поисковиков, то есть она не может быть выдана как результат поиска в гугле. Таким образом найти ее можно только в ручную перебирая различные URL, содержащие "Robots.txt". Файл должен находиться в корне сайта (то есть иметь путь относительно имени сайта /robots.txt). При наличии нескольких поддоменов файл должен располагаться в корневом каталоге каждого из них. Данный файл дополняет стандарт Sitemaps.

Метод сокрытия данных не дает никакойбезопасности, его суть заключается в том,чтобы скрыть некоторые вещи отпосторонних глаз, но не более, и любой пользователь, нашедший даннуюдиректорию получит к ней доступ.

Как это выглядит? - допустим вбиваем адрес www.нашсайт.com/robots.txt 

И в результате видим строки:

User-agent: *

Disallow: /admin

Disallow: /data

Disallow: /... 

и т.д. 

Это означает, что поисковики не будут выдавать как результат поиска директории admin,data, и т.д. 

User-agent отвечает за то, от какого поисковика мы скрываем данные (Все - *,

Гугл - GoogleBot, Mail.ru - Mail.Ru, Рамблер - StackRambler, Яху - Slurp, Яндекс - Yandex)

Операторы: 

Disallow

Запрещает индексировать указанные разделы

Allow

Оператор, обратный Disallow, разрешающий индексировать указанные разделы сайта. Allow необязателен, поисковик и так проиндексирует все что вы не запретили оператором Disallow.

Host

Указывает главный домен сайта (главное зеркало).

Sitemap

Указывает адрес карты сайта.

Пустая строка будет означать, что блок правил для данного поисковика закончен, поэтому не разделяйте операторы пустой строкой.

Структура:

User-agent:(пробел)название поисковика, от которого мы скрываем директории (см. примеры выше)

Оператор(Allow/disallow и т.д.):(пробел)директория (далее,если надо добавить еще директории для данного поисковика - повторяем операцию с новой строки)

Чтобы указать новые правила уже для другого поисковика - отступаем одну строку и повторяем структуру с указанием желаемого поисковика.

Такой способ довольно часто используют для сокрытия расположения конфиденциальных данных сайта, что идет на руку хакерам. 

Все, что надо хакеру, чтобы получить доступ к скрытым дерикториям - это "нащупать" Robots.txt, а затем, найдя там (например) data, просто прописать вместо robots.txt в адресной строке data. 

Сокрытие данных является крайне ненадежным способом защиты данных от атак. Для доступа к каждой скрытой директории необходимо запрашивать авторизацию.

На этом с Robots.txt у меня все. Пусть первая статья станет небольшой, но будет вами легко усвоена!