Всемирную паутину иногда называют айсбергом. Только 2% Интернета, который индексируется поисковыми системами, является частью так называемой наземной сети (surface web). Это и есть вершина айсберга.
Surface web vs. Deep web vs. Dark web
Остальная часть интернета называется «глубокая сеть», а также «глубокая паутина» (deep web), и его страницы не индексируются. Есть также область Интернета, названная темной сетью (dark web).
Глубокая сеть и темная сеть — не одно и то же.
Существует неправильное представление о том, что глубокая сеть — это место, где производятся незаконные действия.
КАК РАБОТАЮТ ПОИСКОВЫЕ МАШИНЫ?
Прежде всего надо пояснить, что когда вы вводите что-то в строке поиска, поисковые системы не выполняют поиск в Интернете в режиме реального времени. Если бы мы полагались на живой поиск, поиск даже самых простых терминов занял бы вечность, потому что в Интернете миллиарды страниц. Вместо этого поисковые системы используют программы, которые называются поисковыми роботами. Эти программы, или так называемые веб-пауки или краулери, постоянно просматривают страницы в Интернете и собирают информацию по каждой гиперссылке, которую они посещают. Затем гиперссылки и информация о них добавляются в базы данных. Когда вы вводите поисковый запрос, поисковая система не выполняет поиск в Интернете в режиме реального времени, а вместо этого выполняет поиск в своих собственных базах данных. Результаты, которые вы видите, упорядочены наиболее соответствующим образом в соответствии с алгоритмами поисковой системы.
ЧТО ТАКОЕ ГЛУБОКАЯ СЕТЬ?
Как мы уже говорили, мы можем получить доступ только к 2% Интернета через поисковые системы. Но мы также используем остальные 98% ежедневно. Глубокая сеть — это просто термин, описывающий веб-страницы, которые скрыты за формами регистрации и входа в систему и даже за paywall. Все закрытие профили в социальных сетях, наша электронная почта, онлайн-банкинг и частные форумы — все это примеры глубокой сети.
Здесь следует отметить одну важную вещь. Все перечисленные выше страницы имеют какую-то систему авторизации пользователей. С помощью авторизации мы получаем доступ к нашему профилю на Facebook. Использование вашего имени пользователя и пароля для доступа к частной сети является законным. Однако разработчики баз данных тоже люди, ошибки случаются. В каждом программном продукте есть уязвимые места, и иногда вы можете наткнуться на них. Когда вы случайно получаете доступ к контенту, который не предназначен для публичного использования, вам следует сообщить об этом в компанию, предоставляющую этот контент. Было много случаев с большими и маленькими компаниями, где такие уязвимые места были обнаружены, и они были исправлены своевременно или не так своевременно.
Существует также другой вид веб-страниц, которые не индексируются поисковыми системами, но легально доступны общественности. Эти части Интернета являются страницами, которые больше не обновляются. По той или иной причине веб-сайты перестают существовать и с этого момента считаются частью глубокой сети. Единственный способ получить доступ к таким заархивированным страницам — через Wayback Machine Интернет-архива.
Понимание того, как поисковые системы работают в совокупности со страницами глубокой сети, может помочь улучшить поисковую оптимизацию блога или веб-сайта. Поскольку краулеры просматривают Интернет и следуют по каждой гиперссылке, которую они находят, поисковые системы с меньшей вероятностью обнаружат страницы, на которые не ссылаются другие страницы, иными словами страницы без обратных ссылок.
ЧТО ТАКОЕ ТЕМНАЯ СЕТЬ?
Чтобы использовать поверхностную сеть и большую часть глубокой сети, вам понадобится только браузер и подключение к Интернету. Темная сеть, которая является частью глубокой сети, также не индексируется поисковыми системами. Для доступа к его страницам вам понадобится специальный веб-браузер под названием Tor.
Стоит отметить, что вопреки распространенному мнению, доступ к темной сети сам по себе не считается незаконным. Темная сеть построена таким образом, что позволяет ее пользователям оставаться анонимными, и эта анонимность дает злонамеренным людям возможность совершать незаконные действия.
Еще одна любопытная информация заключается в том, что браузер Tor был изобретен ВМС США для защиты разведывательных сообщений США в Интернете.
Сегодня большая часть финансирования проекта Tor поступает от правительства США. Причина, по которой использование Tor само по себе не считается незаконным, заключается в том, что такие инструменты используются и с хорошим намерением. Информаторы, правозащитники и жертвы насилия могут высказаться благодаря браузеру Tor.