互联网时代又一波数据处理技术浪潮

技术浪潮

这里究竟是硅谷还是霍格沃茨魔法学校(Hogwarts School of Witchcraft and Wizardry)？

过去18个月间，随着Voldemort、Hadoop和Cassandra等产品名称的出现，这个问题变得越来越难以回答。

它们是一个新的专业技术浪潮的一部分。这个技术浪潮包括一系列软件和硬件，它们是专门为Facebook、雅虎和谷歌这样的网站霸主创立的，目的是帮助这些网站将数据分割成小块，并且以尽可能迅速和廉价的方式来展示网页，尽管数据处理量还在继续增大。例如，Facebook发明了一种名为Cassandra的技术，用于存储并搜索用户收件箱内的所有信息。

这些产品多数都由创业企业开发的，但它们却表明，由于年轻的企业试图利用新旧企业运营方式的巨大转变获利，因此在硅谷这个全球科技行业的核心地带有望发生一场变革。

最近刚刚开业的硬件创业企业SeaMicro CEO安德鲁·菲尔德曼(Andrew Feldman)说：“业内的情绪很高涨，这是有关创意与技术的泡沫。”

化整为零

在最初的互联网泡沫形成之际，企业都在购买速度最快，价格最高的系统，以便处理不断增大且日趋集中的数据库。但事实证明，对于谷歌和雅虎这类公司目前所从事的业务而言，这种方法的成本过高，而且过于笨重。

现在的重点变成了分批处理信息，将数据分成许多批次，然后将其分配到数以千计的电脑和存储设备中。这种化整为零(ivide-and-conquer)的方法可以有效管理海量的网络数据。

为了适应软件设计的变化，部分硬件厂商也推出了一些全新的电脑系统。例如，SeaMicro就推出了一系列搭配英特尔凌动(Atom)处理器的电脑服务器。这类芯片通常被用于手持设备或智能手机。菲尔德曼表示，这些芯片足以显示网页并处理其他一些基本的上网任务，但能耗却远低于那些功能强大的服务器芯片。

由于同时进行了其他一些改进，SeaMicro可以在一个大小跟冰箱相仿的机箱内放入十倍于传统服务器的芯片，同时还能够帮助用户节约电力和空间成本。

“互联网带来了这种特殊的流量浪潮，”菲尔德曼说，“你必须要创建一种独特的产品来处理这些流量。”