天下网吧 >> 网吧天地 >> 网吧行业 >> 网络追踪 >> 正文

谷歌开发实时索引系统:数秒内抓取内容更新

2010-3-4新浪科技鼎宏
     北京时间3月4日消息,据国外媒体今日报道,谷歌正在开发一套系统,使得任何规模的网站发布者都能够向谷歌自动提交内容,从而使其内容在发布后几秒钟内被谷歌索引。

  新的篇章

  美国搜索引擎技术网站SearchEngineLand主编丹尼·苏利文(Danny Sullivan)认为,这将为谷歌掀开新的篇章。

  谷歌PubSubHubbub(以下简称“PuSH”)实时同步协议开发主管布伦特·斯拉特金(Brett Slatkin)去年秋天曾表示,他希望谷歌有朝一日能够用PuSH协议来索引网络内容,而不再借助已经使用多年的爬虫技术。谷歌高级产品经理狄伦·凯西(Dylan Casey)周二在加州圣克拉拉举行的搜索营销大会(Search Marketing Expo)上表示,该公司很快就将为网站所有者提供一种标准的方式,使之可以获得与PuSH类似的效果。

  运作方式

  PuSH是一种基于ATOM格式的同步系统。使用该系统时,网站首先要公布一个Hub,每当有内容更新时,该网站便会通过这个Hub发出通知。而用户注册后就相当于告诉该Hub:“当该网站有内容更新时,请将立刻将其发送给我。”这样一来,注册用户就无需不停地访问原始网站来查看是否有内容更新,只需要等待Hub的通知即可。当网站发布了新的内容后,便会自动告知Hub,而Hub则会将这些内容发送给所有的注册用户。整个过程只需几秒钟。

  如果谷歌借助PuSH来部署一套索引程序,便可以要求所有网站部署这一技术,并申报各自所使用的Hub,这就像在传统RSS服务中提供RSS feed一样。之后,谷歌便可以借助这些Hub来获知网站是否有内容更新。

  但业内人士认为,PuSH协议不太可能代替现有的爬虫程序。事实上,必须要通过爬虫技术来获取网站的PuSH feed,但这种实时协议却能够对谷歌现有的索引技术起到极大的促进作用。

  苏利文认为,谷歌必须要部署一种垃圾信息控制机制,而不能不加审查地收录所有实时信息。他表示,这种情况曾在搜索引擎发展初期出现过,而且造成了极大的问题。

  优势所在

  从运算角度来讲,PuSH将为谷歌带来更高的效率。但斯拉特金认为,更重要的在于此举对于小型网站的影响。目前,谷歌爬虫对许多小型网站的抓取频率仅为一周一次。而有了PuSH系统,这些网站便可以将新内容实时提交给谷歌。

  内容更为丰富、速度更快、效率更高的互联网将对所有人有益,而从中获益的搜索引擎也不止谷歌一家。PuSH是一种开放协议,雅虎和必应也可以访问。斯拉特金说:“我的主管一直在告诉我,要对这一协议采取开放的推广方式,即使对竞争对手也要如此。”

本文来源:新浪科技 作者:鼎宏

声明
声明:本站所发表的文章、评论及图片仅代表作者本人观点,与本站立场无关。文章是出于传递更多信息之目的。若有来源标注错误或侵犯了您的合法权益,请作者持权属证明与本网联系,我们将及时更正、删除,谢谢。 Email:support@txwb.com,系统开号,技术支持,服务联系微信:_WX_1_本站所有有注明来源为天下网吧或天下网吧论坛的原创作品,各位转载时请注明来源链接!
天下网吧·网吧天下
  • 本周热门
  • 本月热门
  • 阅读排行