搜索引擎产生背景

互联网发展早期，以雅虎为代表的网站分类目录查询非常流行。网站分类目录由人工整理维护，精选互联网上的优秀网站，并简要描述，分类放置到不同目录下。用户查询时，通过一层层的点击来查找自己想找的网站。也有人把这种基于目录的检索服务网站称为搜索引擎，但从严格意义上讲，它并不是搜索引擎。　　1990年，加拿大麦吉尔大学（university of mcgill）计算机学院的师生开发出archie。当时，万维网（world wide web）还没有出现，人们通过ftp来共享交流资源。archie能定期搜集并分析ftp服务器上的文件名信息，提供查找分别在各个ftp主机中的文件。用户必须输入精确的文件名进行搜索，archie告诉用户哪个ftp服务器能下载该文件。虽然archie搜集的信息资源不是网页（html文件），但和搜索引擎的基本工作方式是一样的：自动搜集信息资源、建立索引、提供检索服务。所以，archie被公认为现代搜索引擎的鼻祖。起源　　所有搜索引擎的祖先，是1990年由montreal的mcgill university三名学生（alan emtage、peter deutsch、bill wheelan）发明的archie（archie faq）。alan emtage等想到了开发一个可以用文件名查找文件的系统，于是便有了archie。archie是第一个自动索引互联网上匿名ftp网站文件的程序，但它还不是真正的搜索引擎。archie是一个可搜索的ftp文件名列表，用户必须输入精确的文件名搜索，然后archie会告诉用户哪一个ftp地址可以下载该文件。 由于archie深受欢迎，受其启发，nevada system computing services大学于1993年开发了一个gopher（gopher faq）搜索工具veronica（veronica faq）。jughead是后来另一个gopher搜索工具。发 展（1）　　excite 的历史可以上溯到1993年2月，6个stanford university（斯坦福大学）大学生的想法是分析字词关系，以对互联网上的大量信息作更有效的检索。到1993年中，这已是一个完全投资项目，他们还发布了一个供webmasters在自己网站上使用的搜索软件版本，后来被叫做excite for web servers。　　注：excite后来曾以概念搜索闻名，2002年5月，被**space收购的excite停止自己的搜索引擎，改用元搜索引擎 dogpile发 展（2）　　1994年4月，斯坦福大学的两名博士生，美籍华人杨致远和d**id filo共同创办了yahoo！。随着访问量和收录链接数的增长，yahoo目录开始支持简单的数据库搜索。因为yahoo!的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。yahoo!中收录的网站，因为都附有简介信息，所以搜索效率明显提高。　　注：yahoo以后陆续有 alt****ta、inktomi、google提供搜索引擎服务　　yahoo!－－几乎成为20世纪90年代的因特网的代名词。发 展（3）　　1995年，一种新的搜索引擎形式出现了——元搜索引擎（meta search engine）。用户只需提交一次搜索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。　　第一个元搜索引擎，是washington大学硕士生 eric selberg 和 oren etzioni 的 metacrawler。元搜索引擎概念上非常好听，但搜索效果始终不理想，所以没有哪个元搜索引擎有过强势地位。发 展（4）　　智能检索的产生：它利用分词词典、同义词典，同音词典改善检索效果，进一步还可在知识层面或者说概念层面上辅助查询，通过主题词典、上下位词典、相关同级词典检索处理形成一个知识体系或概念网络，给予用户智能知识提示，最终帮助用户获得最佳的检索效果。　　例：　　（1）查询“计算机”，与“电脑”相关的信息也能检索出来；　　（2）可以进一步缩小查询范围至“微机”、“服务器”或扩大查询至“信息技术”或查询相关的“电子技术”、“软件”、“计算机应用”等范畴；　　（3）还包括歧义信息和检索处理，如“苹果”，究竟是指水果还是电脑品牌，“华人”与“中华人民共和国”的区分，将通过歧义知识描述库、全文索引、用户检索上下文分析以及用户相关性反馈等技术结合处理，高效、准确地反馈给用户最需要的信息。发 展（5）　　个性化趋势是搜索引擎的一个未来发展的重要特征和必然趋势之一。一种方式通过搜索引擎的社区化产品（即对注册用户提供服务）的方式来组织个人信息，然后在搜索引擎基础信息库的检索中引入个人因素进行分析，获得针对个人不同的搜索结果。自2004年10月yahoo推出myweb测试版，到11月a9推出个性化功能，到2005年googlesearchh**tory基本上都沿着一条路子走，分析特定用户的搜索需求限定的范围，然后按照用户需求范围扩展到互联网上其他的同类网站给出最相关的结果。另外一种是针对大众化的，google个性化搜索引擎，或者yahoomindset，或者我们都知道的前台聚类的viv**imo。但是无论其中的哪一种实现方式，即google的主动选择搜索范围，还是yahoo，viv**imo的在结果中重新组织自己需要的信息，都是一种实验或者创想，短期内无法成为主流的搜索引擎应用产品。发 展（6）　　网格技术（great global grid)：由于没有统一的信息组织标准对网络信息资源进行加工处理，难以对无序的网络信息资源进行检索、交接和共享乃至深层次的开发利用，形成信息孤岛。网格技术就是要消除信息孤岛实现互联网上所有资源的全面连通。　　国全球信息网格（global **rmation grid)　　robot（机器人）一词对编程者有特殊的意义。computer robot是指某个能以人类无法达到的速度不断重复执行某项任务的自动程序。由于专门用于检索信息的robot程序像蜘蛛(spider)一样在网络间爬来爬去，因此，搜索引擎的robot程序被称为spider程序。　　1993年matthew gray开发了 world wide web wanderer，这是第一个利用html网页之间的链接关系来检测万维网规模的“机器人（robot）”程序。开始，它仅仅用来统计互联网上的服务器数量，后来也能够捕获网址（url）。　　1994年4月，斯坦福大学（stanford university）的两名博士生，美籍华人jerry yang（杨致远）和d**id filo共同创办了yahoo。随着访问量和收录链接数的增长，yahoo目录开始支持简单的数据库搜索。因为yahoo！的数据是手工输入的，所以不能真正被归为搜索引擎，事实上只是一个可搜索的目录。雅虎于2002年12月23日收购inktomi，2003年7月14日收购包括fast和alt****ta在内的overture，2003年11月，yahoo全资收购3721公司。　　1994年初，华盛顿大学（university of washington ）的学生brian pinkerton开始了他的小项目webcrawler。1994年4月20日，webcrawler正式亮相时仅包含来自6000个服务器的内容。webcrawler是互联网上第一个支持搜索文件全部文字的全文搜索引擎，在它之前，用户只能通过url和摘要搜索，摘要一般来自人工评论或程序自动取正文的前100个字。　　1994年7月，卡内基·梅隆大学（carnegie mellon university） 的michael mauldin将john le**itt的spider程序接入到其索引程序中，创建了lycos。除了相关性排序外，lycos还提供了前缀匹配和字符相近限制，lycos第一个在搜索结果中使用了网页自动摘要，而最大的优势还是它远胜过其它搜索引擎的数据量。　　1994年底，**seek正式亮相。其友善的界面，大量的附加功能，使之和lycos一样成为搜索引擎的重要代表。　　1995年，一种新的搜索引擎形式出现了——元搜索引擎（a meta search engine roundup）。用户只需提交一次搜索请求，由元搜索引擎负责转换处理，提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。第一个元搜索引擎，是washington大学硕士生 eric selberg 和 oren etzioni 的 metacrawler。　　1995年12月，dec的正式发布alt****ta。alt****ta是第一个支持自然语言搜索的搜索引擎，第一个实现高级搜索语法的搜索引擎（如and、 or、 not等)。用户可以用alt****ta搜索新闻组（newsgroups）的内容并从互联网上获得文章，还可以搜索图片名称中的文字、搜索titles、搜索j**a applets、搜索activex objects。alt****ta也声称是第一个支持用户自己向网页索引库提交或删除url的搜索引擎，并能在24小时内上线。alt****ta最有趣的新功能之一，是搜索有链接指向某个url的所有网站。在面向用户的界面上，alt****ta也作了大量革新。它在搜索框区域下放了“tips”以帮助用户更好的表达搜索式，这些小tip经常更新，这样，在搜索过几次以后，用户会看到很多他们可能从来不知道的的有趣功能。这系列功能，逐渐被其它搜索引擎广泛采用。1997年，alt****ta发布了一个图形演示系统livetopics，帮助用户从成千上万的搜索结果中找到想要的。　　1995年9月26日，加州伯克利分校助教eric brewer、博士生paul gauthier创立了inktomi，1996年5月20日，inktomi公司成立，强大的hotbot出现在世人面前。声称每天能抓取索引1千万页以上，所以有远超过其它搜索引擎的新内容。hotbot也大量运用cookie储存用户的个人搜索喜好设置。　　1997年8月，northernlight搜索引擎正式现身。它曾是拥有最大数据库的搜索引擎之一，它没有stop words，它有出色的current news、7100多出版物组成的special collection、良好的高级搜索语法，第一个支持对搜索结果进行简单的自动分类。　　1998年10月之前，google只是斯坦福大学（stanford university）的一个小项目backrub。1995年博士生larry page开始学习搜索引擎设计，于1997年9月15日注册了域名，1997年底，在sergey brin和scott hassan、alan steremberg的共同参与下，bachrub开始提供demo。1999年2月，google完成了从alpha版到beta版的蜕变。google公司则把1998年9月27日认作自己的生日。google以网页级别（pagerank）为基础，判断网页的重要性，使得搜索结果的相关性大大增强。google公司的奇客（geek）文化氛围、不作恶（don’t be evil）的理念，为google赢得了极高的口碑和品牌美誉。2006年4月，google宣布其中文名称“谷歌”，这是google第一个在非英语**起的名字。　　fast（alltheweb）公司创立于1997年，是挪威科技大学(ntnu)学术研究的副产品。1999年5月，发布了自己的搜索引擎alltheweb。fast创立的目标是做世界上最大和最快的搜索引擎，几年来庶几近之。fast（alltheweb）的网页搜索可利用odp自动分类，支持flash和pdf搜索，支持多语言搜索，还提供新闻搜索、图像搜索、视频、mp3、和ftp搜索，拥有极其强大的高级搜索功能。（2003年2月25日，fast的互联网搜索部门被overture收购）。　　1996年8月，sohu公司成立，制作中文网站分类目录，曾有“出门找地图，上网找搜狐”的美誉。随着互联网网站的急剧增加，这种人工编辑的分类目录已经不适应。sohu于2004年8月创建独立域名的搜索网站“搜狗”，自称“第三代搜索引擎”。　　openfind 创立于1998年1月，其技术源自**中正大学吴升教授所领导的ga**实验室。openfind起先只做中文搜索引擎，鼎盛时期同时为三大著名门户新浪、奇摩、雅虎提供中文搜索引擎，但2000年后市场逐渐被baidu和google瓜分。2002年6月，openfind重新发布基于ga**30 project的openfind搜索引擎beta版，推出多元排序（polyranktm），宣布累计抓取网页35亿，开始进入英文搜索领域。　　2000年1月，两位北大校友，超链分析专利发明人、前**seek资深工程师李彦宏与好友徐勇（加州伯克利分校博士后）在北京中关村创立了百度（baidu）公司。2001年8月发布百度搜索引擎beta版（此前baidu只为其它门户网站搜狐新浪tom等提供搜索引擎），2001年10月22日正式发布baidu搜索引擎，专注于中文搜索。　　baidu搜索引擎的其它特色包括：百度快照、网页预览/预览全部网页、相关搜索词、**纠正提示、mp3搜索、flash搜索。2002年3月闪电计划（blitzen project）开始后，技术升级明显加快。后推出贴吧、知道、地图、国学、百科、文档、视频、博客等一系列产品，深受网民欢迎。2005年8月5日在纳斯达克上市，发行价为usd 27.00，代号为bidu。开盘价usd 66.00，以usd 122.54收盘，涨幅353.85%，创下了5年以来美国股市上市新股当日涨幅最高纪录。　　2003年12月23日，原慧聪搜索正式独立运做，成立了**搜索。2004年2月，**搜索发布桌面搜索引擎网络猪1.0，2006年3月中搜将网络猪更名为ig（internet gateway） 。　　2005年6月，新浪正式推出自主研发的搜索引擎“爱问”。2007年起，新浪爱问使用google搜索引擎。　　2007年7月1日 全面采用网易自主研发的有道搜索技术，并且合并了原来的综合搜索和网页搜索。有道网页搜索、图片搜索和博客搜索为网易搜索提供服务。其中网页搜索使用了其自主研发的自然语言处理、分布式存储及计算技术；图片搜索首创根据拍摄相机品牌、型号，甚至季节等高级搜索功能；博客搜索相比同类产品具有抓取全面、更新及时的优势，提供“文章预览”，“博客档案”等创新功能。 20210311