揭秘Helios项目：谷歌FB数据传输有望跃至光速

传统网络设备已无法处理庞大数据流量

在2011年的一个清晨，全球最受欢迎的社交网络Facebook的一名工程师按下了一个按钮，结果让该公司的整个业务陷入瘫痪。

这个不知姓甚名谁的工程师本不该犯错的。他原本只是想运行这个社交网络巨头一直在运行的某项软件任务。他运行了分布式数据分析平台Hadoop。结果，Facebook开始分析数亿个用户产生的数据。这些数据储存在该公司多个数据中心的上万台服务器上。当你分析这些数据时，所有那些服务器之间就必须开始相互对话。

据Facebook员工多恩-李（Donn Lee）在去年春季的一次会议上回忆该事故时称，一次Hadoop任务就让该公司的电脑网络感到不堪重负，并导致其他的业务几乎处于停滞状态。“我清楚地记得那个早晨。”李说，“它让Facebook陷入了瘫痪，非常严重的瘫痪。”

李当时是Facebook的网络工程师，他试图说明电脑网络在近些年的变化。在过去，大多数网络数据流量在服务器和试图访问网页的互联网用户之间来回传输。但是现在，随着像Facebook、谷歌和亚马逊这样越来越庞大和复杂的业务出现，数据中心内部和服务器之间的数据流量增加了，这些网络巨头使用的传统网络设备已无法处理这么多的流量。

因此，网络正在发生与时俱进的变化。像Facebook和谷歌这样的公司正在打造更高速的网络硬件，他们正在重新修改其网络的拓扑，以适应服务器之间传输的超大流量。但是，这样的改进措施作用并不明显。像多恩-李这样的网络专家也开始考虑在数据中心配置全新的网络设备——可用光束传播数据的设备。

电子和光纤网络并驾齐驱

是的，某些互联网数据已开始以光的形式来进行传输了。这就是光纤网络。标准的电子信号被转换成了光子，并沿着玻璃光纤电缆进行传输。但是，在通常情况下，这种数据传输方式通常发生在数据中心之间，而很少发生在数据中心内部。下一步就是紧盯着光纤来重新打造数据中心网络，让传统的电子网络交换机与可极大加快服务器之间数据传输速度的光纤交换机并驾齐驱。

“如果我们能够做到这一点，这种混合型的网络——可适应更多数据流量的大规模网络——就非常具有吸引力。”美国加利福尼亚大学神迭戈分校的光线网络研究员乔治-帕彭（George Papen）说，“我们现在还没有达到这一步，但是我们比以前更接近了。”

帕彭所在的该校区的研发团队已开发出了这样的混合型网络，该网络目前尚处于测试阶段，可演示光纤交换机的工作原理。他们的这个研究项目，通常被称为 Helios，是由谷歌和其他技术巨头资助的。该项目的主要研究员之一亚敏-法达特（Amin Vahdat）目前在谷歌任职，他在谷歌也在积极地探索类似的研究课题；该团队的另一名成员内森-法灵顿（Nathan Farrington），已加入了Facebook的团队。

据帕彭称，Helios项目要完全得以实现还有很长的路要走。但是，在美国马萨诸塞州剑桥，一家名为Plexxi的创业公司最近推出了一款光纤网络交换机，旨在重新打造数据中心。虽然这项技术完全不同于Helios，但是它们具有相同的基本目标。

“光子交换的功能非常强大。一旦你的业务涉足光纤交换领域，而不是电子交换领域，你就会拥有内在的性能上的优势。”Plexxi公司CEO大卫-胡萨克（Dave Husak）说，“我们都致力于达到那样的效果。”

未来的Helios项目

如果谷歌让亚敏-法达特来重新打造它的数据中心，那么这将是一件很有意义的事情。法达特以前就做过类似的事情。

从传统上来说，网络是分层级的。如果你将服务器归为一个层级，那么在这个层级之上的就是网络交换机，你需要将这些服务器与网络交换机连接。然后，你将这些 “高一层级的交换机”与更高层次的高速网络设备连接；再接下来，你将这二层次的网络设备与第三个更高层次的网络设备连接。当你到达网络核心时，你运行的非常昂贵的网络硬件速度远远超过了服务器层级上的交换机。

你需要这种更快的速度来适应所有来自于网络的流量——这或许是我们以前的看法。法达特及其同事证明，这种层级结构是错误的。如果你使用速度一般的、更廉价的网络设备，你就可能更高效地运行你的网络。

“这是一个革命。”帕彭说，“在此之前，人们就像建造电信网络那样来打造他们的数据中心。但是，法达特的研究团队意识到这样做难以节省成本，他们证明了你可以用完全不同的方式来打造数据中心。”

这种统一的网络架构被称为“胖树”（fat tree）架构设计。它现在已成为大型网络业务的普遍形式。这就是为什么像谷歌这样的公司已开始放弃思科等公司的昂贵设备，转而从亚洲制造公司那里购买低成本的硬件。但是，Helios项目（法达特也有份参与），致力于创造更大的变化。

基本的思想就是建造一半电子一半光纤的混合型网络。这种网络既能够像现有的电子网络一样运行，以电子的形式通过铜线和硅来传输数据，也能够通过光纤交换机在不同服务器之间传输某些数据。

今天，一些网络已开始使用光纤缆线在不同交换机之间或服务器与交换机之间传输数据。但是，一旦光子到达交换机，它们就会被转换成电子。在Helios项目中，基本的想法是打造一个真正的光纤网络，从而消除传统电子网络的负担。

从某种意义上来说，这个项目将会回到未来。今天的网络使用所谓的“封包交换”（packet-switching）来回传输数据，在输出数据前先将它们分解成更小的信息流。这就是互联网的运行方式。但是，Helios项目的光纤部分使用的是“电路交换”（circuit-switching），可在两个端点之间建立专门的联系。这就是老式手机网络的运行方式。

“只要看看数据中心的每个封包，你就会发现它并没有高效地使用你的资源。”帕彭说，“如果你能够明白，哪怕是部分明白，数据流量的传输方向，你就不必查看每个封包的每个集管，你就能够创造一个专门的电路来传输大量数据，而不必让其通过封包交换的网络。”

帕彭将此比喻为一个可解决洛杉矶交通拥堵的系统——只要在该城市拥堵的地方临时搭建几座桥梁即可。“你会根据需要放下这座桥梁，疏通堵塞地方的车流；然后，在未来某个时候，将这个桥梁移到交通堵塞的其他地方。”他说。

这种构造非常具有吸引力，因为光纤电路交换网络比传统的设计更加灵活。传统网络交换机是为特定的数据传输速度设定的：每秒10G，40G，等等。但是，光纤交换机则不同。“电路是一个管道，它不在乎数据传输速度是多少。它是速度不可知论者。”他说，“你几乎能够在上面传输任何速度的数据。这一点是非常具有吸引力的。”

虽然这种架构要变成现实的数据中心还有很长的路要走，但是帕彭相信它最终将会实现。“真正的技巧是弄明白黄金分割点。”他说，“哪些流量需要在现有的网络上传输，哪些数据需要转到电路交换网络上？”于是，这就出现了成本的问题。光学硬件比电子设备的成本更高，尽管它的成本正在下降。

法达特和谷歌的研究很可能已接近现实，但是帕彭强调说，就连他自己也不知道谷歌将会怎么做。“我在大型数据中心有很多搞光纤的朋友，尽管如此，我仍然不知道他们准备做什么。”他说。

就谷歌而言，它最重要的竞争优势就是其内部架构的设计。谷歌甚至对它资助的外部研究者也不愿透露这种设计。法达特并没有对记者要求采访的请求作出回应，谷歌的公关部门也拒绝讨论该公司的光纤网络研究。

但是，谷歌并不是唯一探索光纤交换未来的公司。这样做的公司还有Facebook、思科、IBM和现在的Plexxi公司。

光纤网络的前景

Helios 项目将整个网络一分为二——其中的一半由电子交换机驱动，而另一半则是靠光学硬件来驱动；而Plexxi公司则将电子和光纤网络整合到了一个交换机中。这一装置在去年的晚些时候才正式地向世人公布，而且至少有一家公司（云服务公司Cloud Sigma）正在其实时数据中心使用这种交换机。

你将这些交换机串在一起，尽管他们可以继续通过电子网络传输其中的某些数据，但是你也可以在特定的端点之间直接创建光纤连接——在这些端点之间，你可以用光纤连接来传输非常庞大的数据。一根光纤电缆将这些交换机连接起来。但是在这根电缆上，你可以使用不同波长的光在两个特定的交换机之间建立连接，这些连接可以免受来自网络其他部分的数据流的干扰。

与帕彭类似，Plexxi公司的首席执行官胡萨克用高速公路来比喻这一技术。“在传统的网络上，电缆往哪走你就得跟着往哪发送数据。这就是所谓的高速公路网。沥青铺到哪你就跟到哪。”他说，“而对于 Plexxi公司，从某种程度上讲，你可以随意自己铺路。如果证明是两个地方彼此之间想要进行大量的数据传输，那么我们可以直接在它们之间创建光纤通道。”

但是，Plexxi公司并不使用电路交换技术。在进军光纤领域时，它坚持使用封包交换。而且它也不会通过搭建桥梁来疏导流量。它只是提供一个软件控制器，让你根据你自己正在运行的应用程序来搭建这些光纤路径。

Plexxi 公司的交换机的价格比一个普通的网络开关大约要贵上一倍：前者的价格大约在7万美元，而后者则只有3.5万美元。但是根据CloudSigma公司网络负责人亚历山大-伊万诺夫（Alexander Ivanov）的说法，你可以在其他方面来弥补多出的这一部分成本。该公司能够用更少的网络交换机来运行自己的网络，而且该网络更擅长于该公司数据中心内的来回传输的庞大数据流量——数据中心内部的数据传输叫做“东西流量”，数据中心之间的数据传输叫做“南北流量”。

你可以看出，东西流量的增加不仅对于谷歌、Facebook和其他许多依赖于分布式数据软件的公司来说是一个问题，而且对于CloudSigma、亚马逊和其他“云端”服务来说也是如此——这些服务为外部客户提供计算能力。云服务同样需要各个服务器之间进行大量的数据交流。

随着所有这些业务的持续发展，电子网络的局限性将只会带来更多的问题。数据中心越大，服务器之间的距离就越远，而它们之间的距离越远，电子网络连接就会变得越不稳定，会变得更麻烦。光纤网络毫无疑问就是问题的解决办法。问题在于它最快要何时才会出现。