Deep Web

Deep Web

NOVUM

Глубокая паутина (также известна как «Невидимая сеть», «Глубокая сеть»; англ. Deep Web;) — множество веб-страниц Всемирной паутины, не индексируемых поисковыми системами. Термин произошёл от англ. invisible web. Наиболее значительной частью глубокой паутины является Глубинный веб (от англ. deep web, hidden web), состоящий из веб-страниц, динамически генерируемых по запросам к онлайн-базам данных.


Не следует смешивать понятие Глубокая паутина с понятием Тёмная паутина (от англ. Dark web), под которым имеются в виду сетевые сегменты, хотя и подключённые к общей сети Интернет, но требующие для доступа определённые программные средства.

В глубокой паутине находятся веб-страницы, не связанные с другими гиперссылками (например, тупиковые веб-страницы, динамически создаваемые скриптами на самих сайтах, по запросу на которые не ведут прямые ссылки), а также сайты, доступ к которым открыт только для зарегистрированных пользователей и интернет-страницы, доступные только по паролю.


Поисковые системы используют специальных поисковых роботов (англ. web crawler), которые переходят по гиперссылкам и индексируют содержимое веб-страниц, на которых они оказываются, занося их содержимое и гиперссылки на них в свои базы данных. Найдя на проиндексированной веб-странице ссылки на другие страницы, поисковый бот переходит по ним и индексирует содержимое каждой из найденных страниц, находит новые гиперссылки и переходит по ним для индексации; в результате переходов по ссылкам, ведущим за пределы индексируемых страниц, количество проиндексированных веб-страниц постоянно увеличивается. Попасть на веб-страницы, на которые нет ссылок с других страниц, поисковый бот не может, в силу чего содержимое этих страниц не индексируется. Как следствие, не зная URL сайта или веб-страницы «Глубокой сети», обычный пользователь попасть на них не сможет.

Также в «Глубокую сеть» попадают сайты, владельцы которых добровольно отказались от индексации поисковыми системами (например, с помощью файла «robots.txt»), а также сайты и веб-страницы, защищённые авторизацией от просмотра информации третьими лицами. В таком случае, не зная логин и (или) пароль к веб-странице, невозможно в полной мере просмотреть её содержимое или пользоваться веб-сайтом.

Размер глубокой паутины неизвестен. Существуют относительно достоверные оценки общего числа сайтов, ведущих к онлайн-базам данных: около 300 тысяч таких сайтов во всём Вебе в 2004 году и около 14 тысяч в Рунете в 2006 году.

Поиск по глубокой паутине

В 2005 году компания «Yahoo!» сделала серьёзный шаг к решению этой проблемы. Компания выпустила поисковый движок «Yahoo! Subscriptions», который производит поиск по сайтам (пока немногочисленным), доступ к которым открыт только зарегистрированным участникам этих сайтов. Это, однако, полностью не решило имеющейся проблемы. Эксперты поисковых систем по-прежнему пытаются найти технические возможности для индексации содержимого баз данных и доступа к закрытым веб-сайтам.

Одним из популярных сервисов, работающих с данными глубокой паутины, является UFOseek, изначально предназначенный для систематизации данных о паранормальных явлениях.

В нетсталкинге глубокая паутина является одним из предметов изучения, для поиска по ней существуют отдельные методы и инструменты.

Специальные поисковые машины:

·        Yahoo! Subscriptions

·        QProber: Классификация и поиск по «скрытым» базам данных

·        MetaQuerier: Обследуя и интегрируя глубокую паутину

 

Dark Net

Даркнет (англ. DarkNet) — частная сеть, соединения которой устанавливаются только между доверенными пирами, иногда именующимися как «друзья», с использованием нестандартных протоколов и портов.

Даркнет отличается от других распределённых одноранговых сетей, так как файлообмен происходит анонимно (поскольку IP-адреса недоступны публично), и, следовательно, пользователи могут общаться без особых опасений и государственного вмешательства.


Именно поэтому даркнет часто воспринимается как инструмент для осуществления коммуникации в различного рода подпольях и незаконной деятельности. В более общем смысле термин «даркнет» может быть использован для описания некоммерческих «узлов» Интернета или относиться ко всем «подпольным» Интернет-коммуникациям и технологиям, которые в большинстве своём связаны с незаконной деятельностью или инакомыслием.

Даркнет не следует путать с глубокой паутиной — множеством веб-страниц Всемирной паутины, не индексируемых поисковыми системами.

Термин «даркнет» появился в 1970-х годах и в целях безопасности использовался для обозначения сетей, изолированных от ARPANET, которая впоследствии эволюционировала в Интернет. Даркнеты могли получать данные от ARPANET, но имели такие адреса, которые не появлялись в списках сетей и не отвечали на запросы извне.

Термин получил широкое распространение благодаря публикации «The Darknet and the Future of Content Distribution», работе 2002 года, за авторством Питера Биддла, Пола Инглэнда, Маркуса Пейнаду и Брайана Уиллмана, сотрудников компании Microsoft.

По их мнению, идея даркнета основана на трёх предположениях:

1.    Любой объект, предназначенный для широкого распространения, будет доступен определённой части пользователей с разрешением на копирование.

2.    Пользователи будут копировать объекты, если это возможно и если они этого захотят.

3.    Пользователи соединены каналами с высокой пропускной способностью.

DarkNet — это файлообменная сеть, которая возникает при появлении общедоступных данных, согласно предположению 1, и при распространении этих данных, согласно предположениям 2 и 3.

Исследователи Microsoft утверждают, что существование даркнета было основной помехой для разработки работоспособных DRM технологий.

С тех пор этот термин часто заимствовался и в том числе использовался в таких крупных СМИ как Rolling Stone и Wired.

Даркнет может быть использован в определённых случаях, таких как:

·        Неприкосновенность частной жизни и страх политических репрессий

·        Преступления в сфере информационных технологий

·        Распространение файлов, защищённых авторскими правами.

В настоящее время даркнет также является предметом изучения нетсталкинга.

Когда этот термин используется для описания файлообменной сети, DarkNet часто употребляется в качестве синонима фразы «friend-to-friend» («от друга к другу») — эти два понятия описывают сети, в которых прямые соединения устанавливаются только между двумя пирами, которые друг другу доверяют. Такие сети по-другому называются закрытый p2p (Private peer-to-peer).

Наиболее распространённые файлообменники, например, BitTorrent, на самом деле не являются даркнетами, поскольку пользователи могут связываться с кем угодно в сети.

Почти все известные даркнеты децентрализованы и, следовательно, считаются одноранговыми.

Многие даркнеты требуют установки специального программного обеспечения для получения доступа к сети.

Существуют такие популярные даркнеты как:

·        I2P

·        RetroShare

·        Freenet

·        GNUnet (при использовании опции «топология F2F»)

Устаревшие даркнеты:

·        Turtle F2F

·        WASTE

·        anoNet

·        AllPeers