深度网络如何运作

与表层网络相比，深度网络是巨大的。今天的网络拥有超过 5.55 亿个注册域名。每个域名都可以有数十、数百甚至数千个子页面，其中许多未被编目，因此属于深度网络的范畴。

尽管没有人真正确定，但深度网络可能比表层网络大 400 到 500 倍 [来源：BrightPlanet]。而且表层网络和深度网络每天都在变得越来越大。

要理解为什么这么多信息不在搜索引擎的视线范围内，了解一点搜索技术的背景会有所帮助。您可以通过阅读互联网搜索引擎如何运作，了解所有这些内容，但我们在这里为您快速概述一下。

搜索引擎通常通过查找存储在网站和其他在线资源上的信息来创建数据索引。这个过程意味着使用自动化的蜘蛛或爬虫，它们定位域名，然后像蜘蛛沿着网络丝线一样追踪超链接到其他域名，从某种意义上创建了一张庞大的网络地图。

这个索引或地图是您找到与您的需求相关的特定数据的关键。每次您输入关键词搜索时，结果都会由于该索引而几乎立即出现。没有它，搜索引擎每次有人需要信息时都必须从头开始搜索数十亿页面，这个过程将既笨重又令人恼火。

但搜索引擎无法看到存储在深度网络中的数据。存在数据不兼容和技术障碍，使索引工作复杂化。有些私人网站需要登录密码才能访问内容。爬虫无法穿透需要在一个特定网站上进行关键词搜索的数据。有些限时访问的网站，一旦超过特定时间限制就不再允许公开查看。

所有这些以及许多其他挑战，使得搜索引擎更难找到和索引数据。继续阅读，了解更多关于表层网络和深度网络之间的区别。

正如我们已经指出的，数百万个域名中散布着数百万个子页面。有些内部页面没有外部链接，例如 internal.十万个为什么.com，它们用于网站维护目的。还有未发布或未列出的博客文章、图片库、文件目录以及搜索引擎无法看到的无数内容。

举一个例子。有许多独立的报纸网站在线，有时搜索引擎会索引这些网站上的一些文章。对于受到大量媒体关注的重大新闻尤其如此。快速谷歌搜索无疑会揭示许多关于，例如，世界杯足球球队的文章。

但如果您正在寻找一个更不为人知的故事，您可能需要直接访问特定的报纸网站，然后浏览或搜索内容以找到您要找的。新闻报道越陈旧，情况尤其如此。故事越旧，它越可能只存储在报纸的档案中，而这些档案在表层网络上是不可见的。因此，该故事可能不会轻易出现在搜索引擎中——所以它被视为深度网络的一部分。

深度网络中的数据很难被搜索引擎看到，但看不见并不意味着不重要。正如您从我们的报纸例子中看到的，隐藏在深度网络中的信息具有巨大的价值。

深度网络是海量信息的无尽存储库。有工程数据库、各种金融信息、医学论文、图片、插图……这个列表基本上可以一直列下去。

深度网络只会越来越深，越来越复杂。为了让搜索引擎增加其用途，它们的程序员必须弄清楚如何深入深度网络并将数据带到表层。无论如何，他们不仅要找到有效信息，还必须找到一种方式来呈现它，而不会让最终用户感到不堪重负。

就像所有商业事物一样，搜索引擎正在处理比你我是否能找到世界上最好的苹果酥食谱更重要的问题。他们希望帮助企业势力以新颖和有价值的方式发现和利用深度网络。

例如，建筑工程师可以潜在地在多所大学搜索研究论文，以找到桥梁建造材料的最新和最优秀成果。医生可以迅速找到关于特定疾病的最新研究。

潜力是无限的。技术挑战是艰巨的。这就是深度网络的魅力所在。然而，深度网络也有其阴暗的一面——这一面因诸多原因令许多人感到不安。

深度网络可能是一个充满未开发潜力的阴影之地，但只要掌握一些技巧和一些运气，您就可以发现许多人们努力存档的宝贵信息。在暗网中，人们有意隐藏信息，他们更希望您把灯关掉。

暗网有点像网络的“本我”。它是私密的。它是匿名的。它功能强大。它释放了人类本性的一切形式，无论是好是坏。

坏事，一如既往地，占据了大部分头条新闻。您可以通过暗网找到各种非法商品和活动。这包括非法毒品、儿童色情、被盗信用卡号、人口贩运、武器、珍稀动物、受版权保护的媒体以及您能想到的任何其他东西。理论上，您甚至可以雇佣一名杀手去杀死您不喜欢的人。

但您无法通过谷歌搜索找到这些信息。这类网站要求您使用特殊软件，例如洋葱路由器，更广为人知的名称是Tor。

Tor 是一种可以安装到您浏览器中的软件，它设置了访问暗网网站所需的特定连接。至关重要的是，Tor 是一种加密技术，帮助人们在网上保持匿名。它通过将连接路由到世界各地的服务器来做到这一点，从而使其更难被追踪。

Tor 还允许人们访问所谓的隐藏服务——暗网因之臭名昭著的地下网站。这些隐藏网站不以 .com 或 .org 结尾，而是以 .onion 结尾。在下一页，我们将揭开其中一些“洋葱”的层层伪装。

这些洋葱网站中最臭名昭著的是现已关闭的 Silk Road（丝绸之路），一个用户可以在上面购买毒品、枪支和各种其他非法物品的在线市场。联邦调查局最终逮捕了 Silk Road 的运营者 Ross Ulbricht，但像 Black Market Reloaded 这样的仿冒网站仍然随处可见。

奇怪的是，Tor 是美国海军研究实验室的研究成果，该实验室创建 Tor 是为了让政治异见者和举报人能够无所畏惧地进行交流。

Tor 在为这些群体提供匿名性方面非常有效，因此犯罪分子也很快开始使用它。

这使得美国执法部门处于一个讽刺的境地：他们试图追踪那些使用政府资助的软件来隐藏行踪的罪犯。Tor 似乎是一把双刃剑。

匿名性是暗网的固有特征，但您可能想知道当买卖双方无法识别彼此时，任何与金钱相关的交易是如何发生的。这就是比特币发挥作用的地方。

如果您没有听说过比特币，它基本上是一种加密数字货币。您可以通过阅读比特币如何运作了解所有这些内容。与常规现金一样，比特币适用于各种交易，值得注意的是，它也允许匿名；没有人可以追踪一笔购买，无论是合法的还是非法的。

比特币可能是未来的货币——一种不受任何政府控制的去中心化和非监管货币。但由于比特币不受任何政府支持，其价值波动剧烈，通常是剧烈波动。它绝不是一个安全存放您毕生积蓄的地方。但如果与 Tor 恰当搭配使用，它或许是网络上买卖最接近万无一失的方式。

暗网带有不祥的色彩。但黑暗面并非一切都是坏的。有各种不一定触犯法律的服务。

暗网是替代搜索引擎、电子邮件服务、文件存储、文件共享、社交媒体、聊天网站、新闻媒体和举报网站的所在地，以及为政治异见者和任何可能处于社会边缘的人提供更安全会面场所的网站。

在国家安全局式监控无处不在、隐私似乎已成为过去式的时代，暗网为那些珍视匿名性的人提供了一些慰藉。暗网搜索引擎可能不会提供个性化搜索结果，但它们也不会追踪您的在线行为或提供无休止的广告流。比特币可能不完全稳定，但它提供了隐私，而这正是您的信用卡公司肯定无法提供的。

对于生活在拥有暴力或压迫性领导人的国家的公民来说，暗网提供了一种更安全的与志同道合者交流的方式。与 Facebook 或 Twitter 不同，后者很容易被有决心的当局监控，而暗网为那些会诽谤或密谋颠覆政客或企业霸主的人提供了更深层次的掩护和一定程度的安全。

卢森堡大学研究人员撰写的一篇论文试图对暗网上最常访问的材料进行排名。他们发现，虽然从事非法活动和成人内容的网站非常受欢迎，但关注人权和信息自由的网站也同样受欢迎 [来源：ArXiv]。

因此，尽管暗网确实有其丑陋的一面，但它也具有巨大的潜力。

深度网络只会越来越深。它存储的人类知识和琐事每天都在变得更加庞大，使我们理解这一切的努力变得复杂。最终，这或许是我们所创建的互联网背后最大的挑战。

程序员将继续改进搜索引擎算法，使其更好地深入网络的更深层。通过这样做，他们将帮助研究人员和企业以前所未有的方式连接和交叉引用信息。

同时，智能搜索引擎的主要工作不仅仅是查找信息。您真正希望它做的是找到最相关的信息。否则，您将淹没在杂乱无章的数据海洋中，让您希望自己从未点击过那个搜索按钮。

这就是所谓的大数据问题。大数据是指规模庞大到难以管理和理解的数据集。由于互联网发展如此迅速，我们整个世界都被数据淹没，任何人——甚至包括 Bing 和 Google 总部那些强大、无所不知的计算机——都很难理解所有这些数据。

随着互联网的发展，每家大公司都在数据管理和分析上投入越来越多的资金，这既是为了维持自身组织的正常运转，也是为了获得相对于他人的竞争优势。挖掘和组织深度网络是这些战略的重要组成部分。那些学会利用这些数据为己所用的公司将生存下来，甚至可能用新技术改变世界。而那些只依赖表层网络的公司将无法竞争。

同时，深度网络将继续困扰并吸引所有互联网用户。它包含了引人入胜的大量知识，当与其它信息片段连接时，这些知识可以帮助我们技术进化，并作为物种进化。当然，它的阴暗面也将永远潜伏着，就像它在人性中总是存在一样。深度网络不仅揭示了互联网，也揭示了人类深不可测、分散的潜力。