前生今世——搜索引擎发展史

1990年早年，没有任何人能搜刮互联网。

　　全部搜刮引擎的祖先，是1990年由Montreal的McGill University门生Alan Emtage、Peter Deutsch、Bill Wheelan发现的Archie(Archie FAQ)。其时World Wide Web还未呈现。Archie是第一个自动索引互联网上匿名FTP网站文件的措施，但它还不是真正的搜刮引擎。Archie是一个可搜刮的FTP文件名列表，用户必需输入准确的文件名搜刮，然后Archie会汇报用户哪一个FTP地点可以下载该文件。

　　因为Archie深受接待，受其开导，Nevada System Computing Services大学于1993年开拓了一个Gopher（Gopher FAQ）搜刮器材Veronica（Veronica FAQ）。Jughead是其后另一个Gopher搜刮器材。

　　因为专门用于检索信息的Robot措施象蜘蛛(spider)一样在收集间爬来爬去，因此，搜刮引擎的Robot措施被称为spider(Spider FAQ)措施。天下上第一个Spider措施，是MIT Matthew Gray的World wide Web Wanderer，用于追踪互联网成长局限。刚开始它只用来统计互联网上的处事器数目，其后则成长为也可以或许捕捉网址（URL）。

　　与Wanderer相对应，1993年10月Martijn Koster建设了ALIWEB（Martijn Koster Annouces the Availability of Aliweb），它相等于Archie的HTTP版本。ALIWEB不行使收集征采Robot，假如网站主管们但愿本身的网页被ALIWEB收录，必要本身提交每一个网页的简介索引信息，相同于其后各人熟知的Yahoo。

　　1993年底，一些基于此道理的搜刮引擎开始纷纷涌现，个中最负盛名的三个是：Scotland的JumpStation、Colorado 大学Oliver McBryan的The World Wide Web Worm（First Mention of McBryan’s World Wide Web Worm）、NASA的Repository-Based Software Engineering (RBSE) spider。

　　1993年2月，6个Stanford（斯坦福）大门生的设法是说明字词相关，以对互联网上的大量信息作更有用的检索。这就是Excite。其后曾以观念搜刮有名，2002年5月，被Infospace收购的Excite遏制本身的搜刮引擎，改用元搜刮引擎Dogpile

　　1994年1月，第一个既可搜刮又可赏识的分类目次EINet Galaxy（Tradewave Galaxy）上线。除了网站搜刮，它还支持Gopher和Telnet搜刮。　

　　1994年4月，Stanford两名博士生，美籍华人Jerry Yang（杨致远）和David Filo配合开办了Yahoo。跟着会见量和收录链接数的增添，Yahoo目次开始支持简朴的数据库搜刮。由于Yahoo!的数据是手工输入的，以是不能真正被归为搜刮引擎，究竟上只是一个可搜刮的目次。搜刮服从明明进步。（Yahoo往后延续行使Altavista、Inktomi、Google提供搜刮引擎处事）

　　1994年头，Washington大学CS门生Brian Pinkerton开始了他的小项目WebCrawler（Brian Pinkerton Announces the Availability of Webcrawler）。1994年4月20日，WebCrawler正式表态时仅包括来自6000个处事器的内容。WebCrawler是互联网上第一个支持搜刮文件所有笔墨的全文搜刮引擎，在它之前，用户只能通过URL和择要搜刮，择要一样平常来自人工评述或措施自动取正文的前100个字。（其后webcrawler延续被AOL和Excite收购，此刻和excite一样改用元搜刮引擎Dogpile）

　　Lycos（Carnegie Mellon University Center for Machine Translation Announces Lycos ）是搜刮引擎史上又一个重要的前进。Carnegie Mellon University的Michael Mauldin将John Leavitt的spider措施接入到其索引措施中，建设了Lycos。1994年7月20日，数据量为54,000的Lycos正式宣布。除了相干性排序外，Lycos还提供了前缀匹配和字符临近限定，Lycos第一个在搜刮功效中行使了网页自动择要，而最大的上风照旧它远赛过其余搜刮引擎的数据量：1994年8月－－394,000 documents；1995年1月－－1.5 million documents；1996年11月－－over 60 million documents。（注：1999年4月，Lycos遏制本身的Spider，改由Fast提供搜刮引擎处事）

　　Infoseek（Steve Kirsch Announces Free Demos Of the Infoseek Search Engine）是另一个重要的搜刮引擎，固然公司声称1994年1月已创建，但直到年底它的搜刮引擎才与公家晤面。早先，Infoseek只是一个不起眼的搜刮引擎，它沿用Yahoo!和Lycos的观念，并没有什么奇异的刷新。可是它的成长史和其后受到的众口传颂证明，早先第一个登台并不老是很重要。Infoseek和睦的用户界面、大量附加处事（such as UPS tracking, News, a directory, and the like) 使它声望日隆。而1995年12月与Netscape的计谋性协议，使它成为一个强势搜刮引擎：当用户点击Netscape赏识器上的搜刮按钮时，弹出Infoseek的搜刮处事，而此前由Yahoo!提供该处事。（注：Infoseek其后曾以相干性有名，2001年2月，Infoseek遏制了本身的搜刮引擎，开始改用Overture的搜刮功效）

　　1995年，一种新的搜刮引擎情势呈现了——元搜刮引擎（A Meta Search Engine Roundup）。用户只需提交一次搜刮哀求，由元搜刮引擎认真转换处理赏罚后提交给多个预先选定的独立搜刮引擎，并将从各独立搜刮引擎返回的全部查询功效，齐集起来处理赏罚后再返回给用户。第一个元搜刮引擎，是Washington大学硕士生 Eric Selberg 和 Oren Etzioni 的 Metacrawler。元搜刮引擎观念上好听，但搜刮结果始终不抱负，以是没有哪个元搜刮引擎有过强势职位。　

　　DEC的AltaVista(2001年夏日起部门网友需通过p-roxy会见，无p-roxy可用qbseach单选altavista搜刮，只能表现第一页搜刮功效)是一个迟到者，1995年12月才登场表态（AltaVista Public Beta Press Release ）。可是，大量的创新成果使它敏捷达到其时搜刮引擎的巅峰。Altavista最突出的上风是它的速率（搜刮引擎9238：较量搞笑，计划altavista的目标，听说只是为了展示DEC Alpha芯片的强盛运算手段）。　　而Altavista的另一些新成果，则永久改变了搜刮引擎的界说。AltaVista是第一个支持天然说话搜刮的搜刮引擎，AltaVista是第一个实现高级搜刮语法的搜刮引擎（如AND, OR, NOT等)。用户可以用AltaVista搜刮Newsgroups（消息组）的内容并从互联网上得到文章，还可以搜刮图片名称中的笔墨、搜刮Titles、搜刮Java applets、搜刮ActiveX objects。AltaVista也声称是第一个支持用户本身向网页索引库提交或删除URL的搜刮引擎，并能在24小时内上线。AltaVista最风趣的新成果之一，是搜刮有链接指向某个URL的全部网站。在面向用户的界面上，AltaVista也作了大量刷新。它在搜刮框地区下放了“tips”以辅佐用户更好的表达搜刮式，这些小tip常常更新，这样，在搜刮过屡次往后，用户会看到许多他们也许从来不知道的的风趣成果。这系列成果，逐渐被其余搜刮引擎普及回收。1997年，AltaVista宣布了一个图形演示体系LiveTopics，辅佐用户从成千上万的搜刮功效中找到想要的。

　　然后到来的是HotBot。1995年9月26日，加州伯克利分校CS助教Eric Brewer、博士生Paul Gauthier创建了Inktomi（UC Berkeley Announces Inktomi），1996年5月20日，Inktomi公司创立，强盛的HotBot呈此刻众人眼前。声称天天能抓取索引1万万页以上，以是有远高出其余搜刮引擎的新内容。HotBot也大量运用cookie储存用户的小我私人搜刮兴趣配置。（Hotbot曾是随后几年最受接待的搜刮引擎之一，后被Lycos收购）

　　Northernlight 公司于1995年9月创立于马萨诸塞州剑桥，1997年8月，Northernlight搜刮引擎正式现身。它曾是拥有最大数据库的搜刮引擎之一，它没有Stop Words，它有精彩的Current News、7,100多出书物构成的Special Collection、精采的高级搜刮语法，第一个支持对搜刮功效举办简朴的自动分类。（2002年1月16日，Northernlight民众搜刮引擎封锁，随后被divine收购，但在Nlresearch，选中"World Wide Web only"，仍可行使Northernlight搜刮引擎）

　　1998年10月之前，Google只是Stanford大学的一个小项目BackRub。1995年博士生Larry Page开始进修搜刮引擎计划，于1997年9月15日注册了google.com的域名，1997年底，在Sergey Brin和Scott Hassan、Alan Steremberg的配合参加下，BachRub开始提供Demo。1999年2月，Google完成了从Alpha版到Beta版的蜕变。Google公司则把1998年9月27日认作本身的生日。

　　Google在Pagerank、动态择要、网页快照、DailyRefresh、多文档名目支持、舆图股票辞书寻人等集成搜刮、多说话支持、用户界面等成果上的刷新，象Altavista一样，再一次永久改变了搜刮引擎的界说。

　　在2000年中早年，Google固然以搜刮精确性备受赞誉，但由于数据库不如其余搜刮引擎大，缺乏高级搜刮语法，以是行使代价不是很高，推广并不快。直到2000年中数据库进级后，又借被Yahoo选作搜刮引擎的春风，才一飞冲天。

　　Fast（Alltheweb）公司创建于1997年，是挪威科技大学(NTNU)学术研究的副产物。1999年5月，宣布了本身的搜刮引擎AllTheWeb。Fast创建的方针是做天下上最大和最快的搜刮引擎，几年来庶几近之。Fast（Alltheweb）的网页搜刮可操作ODP自动分类，支持Flash和pdf搜刮，支持多说话搜刮，还提供消息搜刮、图像搜刮、视频、MP3、和FTP搜刮，拥有极其强盛的高级搜刮成果。

　　Teoma 发源于1998年Rutgers大学的一个项目。Apostolos Gerasoulis传授教育华裔Tao Yang传授等人创建Teoma于新泽西Piscataway，2001年春首次登场，2001年9月被提问式搜刮引擎Ask Jeeves收购，2002年4月再次宣布。Teoma的数据库今朝仍偏小，但有两个出彩的成果：支持相同自动分类的Refine；同时提供专业链接目次的Resources。

　　Wisenut 由韩裔Yeogirl Yun创建。2001年春季宣布Beta版，2001年9月5日宣布正式版，2002年4月被分类目次提供商looksmart收购。wisenut也有两个出彩的成果：包括相同自动分类和相干检索词的WiseGuide；预览搜刮功效的Sneak-a-Peek。

　　Gigablast 由前Infoseek工程师Matt Wells创建，2002年3月展示pre-beta版，2002年7月21日宣布Beta版。Gigablast的数据库今朝仍偏小，但也提供网页快照，一个特色成果是即时索引网页，你的网页刚提交它就能搜刮（注：这个spammers的肉包子成果暂已封锁）。

　　Openfind 创建于1998年1月，其技能源自台湾中正大学吴升传授所率领的GAIS尝试室。Openfind起先只做中文搜刮引擎，曾经是最好的中文搜刮引擎，壮盛时期同时为三大闻名士派新浪、奇摩、雅虎提供中文搜刮引擎，但2000年后市场逐渐被Baidu和Google朋分。2002年6月，Openfind从头宣布基于GAIS30 Project的Openfind搜刮引擎Beta版，推出多元排序(PolyRankTM)，公布累计抓取网页35亿，开始进入英文搜刮规模，从此技能进级明明加速。

　　北大天网 是国度"九五"重点科技攻关项目"中文编码和漫衍式中英文信息发明"的研究成就，由北大计较机系收集与漫衍式体系研究室开拓，于1997年10月29日正式在CERNET上提供处事。2000年头创立天网搜刮引擎新课题组，由国度973重点基本研究成长筹划项目基金扶助开拓，收录网页约6000万，操作教诲网上风，有强盛的ftp搜刮成果。

Baidu 2000年1月，超链说明专利发现人、前Infoseek资深工程师李彦宏与挚友徐勇（加州伯克利分校博士）在北京中关村创建了百度（Baidu）公司。2001年8月宣布Baidu.com搜刮引擎Beta版（此前Baidu只为其余派别网站搜狐新浪Tom等提供搜刮引擎），2001年10月22日正式宣布Baidu搜刮引擎。Baidu固然只提供中文搜刮，但今朝收录中文网页高出9000万，大噶?鲱大的的中文数据库。Baidu搜刮引擎的其余特色包罗：网页快照、网页预览/预览所有网页、相干搜刮词、错别字更正提醒、消息搜刮、Flash搜刮、信息快递搜刮。2002年3月闪电打算（Blitzen Project（编辑：河北网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!