|
作者：黃果 使用搜索引擎是網(wǎng)民上網(wǎng)最重要的一件事。根據(jù)CNNIC的統(tǒng)計(jì)，搜索是互聯(lián)網(wǎng)上僅次于電子郵件的應(yīng)用，因此這篇文章對(duì)各個(gè)搜索引擎進(jìn)行客觀介紹，希望能夠給網(wǎng)民搜索帶來(lái)方便。需要澄清的是，網(wǎng)站目錄并不是搜索引擎，搜索引擎指的是對(duì)整個(gè)互聯(lián)網(wǎng)成億個(gè)的網(wǎng)頁(yè)進(jìn)行檢索，此搜索服務(wù)系統(tǒng)是基于網(wǎng)頁(yè)的全文檢索系統(tǒng)。而網(wǎng)站目錄通常是人工分類的有系統(tǒng)的網(wǎng)站列表，通常附有搜索功能，從這個(gè)意義上說(shuō)網(wǎng)站目錄更像Internet上的黃頁(yè)?，F(xiàn)在的大型網(wǎng)站通常是購(gòu)買別的廠商的搜索引擎技術(shù)，像Yahoo!就使用了Inktomi的技術(shù)而自己并不開(kāi)發(fā)搜索引擎，楊志遠(yuǎn)在創(chuàng)業(yè)的時(shí)候所搜集的網(wǎng)址就是網(wǎng)站目錄。搜索引擎是全自動(dòng)的軟件服務(wù)，并且非常容易在搜索結(jié)果網(wǎng)頁(yè)中插入具有很高針對(duì)性的廣告，CPM最高可達(dá)70美元。所以搜索引擎一旦投入運(yùn)轉(zhuǎn)，其收益與成本的比率遠(yuǎn)高于一般的網(wǎng)站內(nèi)容服務(wù)。這也是為什么大型網(wǎng)站特別是門戶網(wǎng)站將其列為“兵家必爭(zhēng)之地”的原因。 第一代搜索引擎 門戶成為第一代搜索引擎的終點(diǎn) Altavista(www.altavista.com) Altavista是搜索引擎的元老，誕生于DEC研發(fā)中心。它也是Yahoo!最早的搜索引擎技術(shù)的提供者。Altavista的特點(diǎn)是速度快，這一點(diǎn)國(guó)內(nèi)用戶可能感覺(jué)不到，這是因?yàn)槠浞?wù)器位于國(guó)外。DEC當(dāng)時(shí)的想法是希望通過(guò)搜索引擎告訴大家Alpha芯片的威力， Altavista還可以提供許多不同格式內(nèi)容，像音頻、視頻與多國(guó)語(yǔ)言的檢索，有不少國(guó)內(nèi)搜索引擎找不到網(wǎng)頁(yè)都可以通過(guò)它找到。但 Altavista在更新頻率上不是很快，其中文搜索的技術(shù)已經(jīng)有兩三年沒(méi)有改進(jìn)過(guò)，檢索內(nèi)容更新頻率大約是一個(gè)月一次。音頻、視頻與圖像占用空間很大，要做好這方面的服務(wù)，需要占用相當(dāng)大的存儲(chǔ)空間，而Altavista在這方面做得相當(dāng)不錯(cuò)，可以說(shuō)處于世界領(lǐng)先的地位。 Infoseek（www.infoseek.com） Infoseek不是以數(shù)據(jù)庫(kù)大而見(jiàn)長(zhǎng)的，而是以檢索的相關(guān)程度高而知名。Infoseek購(gòu)買了馬薩諸塞大學(xué)的搜索軟件產(chǎn)品，而馬薩諸塞大學(xué)的信息檢索是全美高校數(shù)一數(shù)二的，所以Infoseek一開(kāi)始的起點(diǎn)就很高。但他們很快就發(fā)現(xiàn)，互聯(lián)網(wǎng)數(shù)據(jù)量太大了，當(dāng)初設(shè)計(jì)的規(guī)模太小，只好重新編寫(xiě)程序。于是Infoseek請(qǐng)了一位華人工程師 Excite（www.excite.com） Excite是斯坦福大學(xué)的六位計(jì)算機(jī)系的本科生創(chuàng)辦的。“免費(fèi)讓人搜索，用廣告收入來(lái)補(bǔ)貼"，這是Excite率先提出來(lái)的，也是當(dāng)時(shí)比較新的概念。Excite搜索技術(shù)研發(fā)人員的計(jì)算機(jī)功底扎實(shí)，但對(duì)信息檢索的認(rèn)識(shí)不是很深，所以一開(kāi)始提出的概念搜索（Concept Search），即用同義詞推斷來(lái)增加搜索的結(jié)果很快就宣告失敗。因?yàn)榛ヂ?lián)網(wǎng)的信息不是太少了而是太多了，搜索的目的是在茫茫的信息海洋中找到所需要的精確的信息。后來(lái)Excite與@home 合并，開(kāi)始主攻寬帶市場(chǎng)，也就沒(méi)有更新的技術(shù)出現(xiàn)。 Lycos（www.lycos.com） Lycos是早期搜索引擎中唯一誕生于美國(guó)東部的，其余的搜索引擎都在硅谷。它脫胎于卡耐基·梅隆大學(xué)的一位博士生的一套互聯(lián)網(wǎng)搜索程序，此后被風(fēng)險(xiǎn)投資集團(tuán)CMGI看中，并且在波士頓成立了公司。其搜索技術(shù)一直比較落后，但在商業(yè)上比較成功，Lycos很早就投資做社區(qū)網(wǎng)站，網(wǎng)絡(luò)廣告也賣得不錯(cuò)，在商業(yè)操作上的成功掩飾了其技術(shù)的落后。Lycos后來(lái)購(gòu)買了一家廣受好評(píng)的搜索網(wǎng)站Hotbot，但實(shí)際Hotbot 在后臺(tái)用的也是Inktomi的技術(shù)。所以Lycos在很長(zhǎng)的一段時(shí)間里同時(shí)維持著兩個(gè)搜索平臺(tái)，但在今年年初他們?nèi)娓挠昧薎nktomi的搜索引擎。 第二代搜索引擎 只做后臺(tái)技術(shù)提供者與大量應(yīng)用人工智能是第二代搜索引擎的標(biāo)志 從1995年Web商業(yè)化開(kāi)始，搜索技術(shù)的地位就一直很重要。最早的幾個(gè)互聯(lián)網(wǎng)商業(yè)公司就是靠搜索技術(shù)起家的，但搜索技術(shù)本身的革新一直就沒(méi)有停止過(guò)，而且在商業(yè)模式上也不斷地推陳出新。 第一代的搜索引擎公司都變成了門戶網(wǎng)站，而第二代的搜索引擎廠商則是像Inktomi、Google那樣給網(wǎng)站提供技術(shù)與服務(wù)的ASP或是在技術(shù)上采用了人工智能技術(shù)的廠商,像Askjeeves，Direct hit等。它們?cè)谏虡I(yè)模式上也在不斷創(chuàng)新，像Goto.com允許網(wǎng)站的擁有者實(shí)時(shí)進(jìn)行檢索結(jié)果的排序，客戶可以花錢購(gòu)買排序的位置，通過(guò)拍賣的形式將相關(guān)網(wǎng)站放在前面，但同時(shí)明確標(biāo)出這個(gè)搜索結(jié)果是付費(fèi)的。此外，垂直化的搜索引擎也應(yīng)運(yùn)而生，像專門做圖形圖像或MP3文件的搜索引擎。而最新的技術(shù)是動(dòng)態(tài)的網(wǎng)頁(yè)搜索和實(shí)時(shí)內(nèi)容的檢索，網(wǎng)絡(luò)上越來(lái)越多的網(wǎng)頁(yè)是根據(jù)程序生成的，而不是靜態(tài)地存在。這些頁(yè)面都是根據(jù)時(shí)間變化而變化的，比如查詢股票的價(jià)格等。而實(shí)時(shí)的內(nèi)容多是新聞與金融信息，這也是廣大網(wǎng)民迫切需要的。 第二代搜索引擎廠商的特點(diǎn)是只做后臺(tái)技術(shù)的提供者，這是美國(guó)互聯(lián)網(wǎng)發(fā)展的教訓(xùn)。因?yàn)榫W(wǎng)絡(luò)最初發(fā)展時(shí)最迫切需要的是搜索，于是同時(shí)出現(xiàn)了許多搜索引擎，但是后來(lái)各廠商認(rèn)識(shí)到作為獨(dú)立公司單獨(dú)開(kāi)發(fā)搜索引擎不能維持長(zhǎng)期發(fā)展，于是又都發(fā)展成門戶，提供了許多別的內(nèi)容，但它們很快發(fā)現(xiàn)搜索不像新聞一樣沒(méi)有什么技術(shù)含量。而作為一個(gè)公司，則要同時(shí)肩負(fù)兩個(gè)任務(wù)，一是創(chuàng)建門戶類的平臺(tái)，這是打市場(chǎng)、創(chuàng)品牌的過(guò)程，二是開(kāi)發(fā)搜索引擎，而這則是扎扎實(shí)實(shí)的技術(shù)工作，這兩方面沒(méi)有什么共同點(diǎn)。既做搜索引擎又做門戶使得網(wǎng)站精力分散，不能全力投入搜索引擎技術(shù)的改進(jìn)，而且兩者合一意味著自己的產(chǎn)品不能賣給別人，因?yàn)楫?dāng)時(shí)搜索引擎的用戶大多是做門戶的，全是自己的競(jìng)爭(zhēng)對(duì)手。搜索引擎的開(kāi)發(fā)的成本又相當(dāng)高，而制作的東西又只能少數(shù)幾家使用，這就不符合軟件通用化的潮流與模式。第一代網(wǎng)站中，只有Yahoo!不自己開(kāi)發(fā)搜索引擎，所以它成功了。 Inktomi（www.inktomi.com） Inktomi是加州大學(xué)伯克利分校Eric Brewer的教授最先開(kāi)始研究的，這位教授是并行處理研究的專家。Eric Brewer希望用這個(gè)搜索引擎產(chǎn)品來(lái)證明他的并行算法是十分出色的，后來(lái)他將自己的技術(shù)賣給了Hotbot，作為后臺(tái)技術(shù)的提供商。 Eric Brewer完成Inktomi的時(shí)候，這個(gè)市場(chǎng)競(jìng)爭(zhēng)已經(jīng)相當(dāng)激烈，再想做門戶已經(jīng)不可能了。所以他決定只做背后技術(shù)的提供商，而這卻正中 Yahoo！的下懷，Yahoo！以前使用的是Altavista的技術(shù)，但Altavista本身也是門戶，與 Yahoo!處于競(jìng)爭(zhēng)關(guān)系，而Inktomi與Yahoo!沒(méi)有利益沖突關(guān)系，便很快成了其后臺(tái)技術(shù)的提供商。 Askjeeves(www.ask.com) 從技術(shù)上講，Askjeeves是一個(gè)比較簡(jiǎn)單的系統(tǒng)，但從創(chuàng)意來(lái)說(shuō)是相當(dāng)出色的，它維護(hù)了問(wèn)題與答案相聯(lián)系的數(shù)據(jù)庫(kù)。從結(jié)構(gòu)上說(shuō)它比較簡(jiǎn)單，因?yàn)樘釂?wèn)后并不是立即返回問(wèn)題的答案，而是用逼近式的方法讓你選擇他知道的所有問(wèn)題，再由用戶分類來(lái)選擇答案。這一點(diǎn)從技術(shù)上講非常容易解決，但從實(shí)踐來(lái)說(shuō)需要大量的人力來(lái)干預(yù)，即問(wèn)題與結(jié)果的數(shù)據(jù)庫(kù)規(guī)則基本是靠人工來(lái)建立的。但由于它建立了一套可以讓人以自然語(yǔ)言提問(wèn)的系統(tǒng)，很多網(wǎng)民喜歡這樣的形式。但由于其規(guī)則庫(kù)太小，真正使用的人不是很多。 Goto(www.goto.com) 從本身技術(shù)來(lái)說(shuō)，Goto.com使用了超鏈分析與根據(jù)用戶的點(diǎn)擊行為來(lái)分析與重排序，搜索得到的結(jié)果相關(guān)性程度較高，而且比較符合用戶的點(diǎn)擊習(xí)慣。 Google(www.google.com) Google由Larry Page和Sergey Brin設(shè)計(jì)， 于 1998年9月發(fā)布測(cè)試版，一年后正式開(kāi)始商業(yè)運(yùn)營(yíng)。Google由于對(duì)搜索引擎技術(shù)的創(chuàng)新而獲獎(jiǎng)無(wú)數(shù)，如美國(guó)《時(shí)代》雜志評(píng)選的“1999年度十大網(wǎng)絡(luò)技術(shù)"之一、《個(gè)人電腦》雜志授予的“最佳技術(shù)獎(jiǎng)"、The Net授予的“最佳搜索引擎獎(jiǎng)"等。Google現(xiàn)為全球80多家門戶和終點(diǎn)網(wǎng)站提供支持，客戶遍及20多個(gè)國(guó)家。 在國(guó)內(nèi)，大家對(duì)于這家搜索引擎技術(shù)提供商還比較陌生，但今年年初，Yahoo!宣布將不再采用Inktomi的搜索服務(wù)，而轉(zhuǎn)而將Google作為其搜索引擎技術(shù)提供商，此舉使Google 聲名大噪。 Google所擅長(zhǎng)的是易用性和高相關(guān)性。 Google提供一系列革命性的新技術(shù)，包括完善的文本對(duì)應(yīng)技術(shù)和先進(jìn)的PageRank排序技術(shù)，后者可以保證重要的搜索結(jié)果排列在結(jié)果列表的前面。Google還提供一項(xiàng)很有用的服務(wù)— —“網(wǎng)頁(yè)快照”功能，即當(dāng)搜索內(nèi)容站點(diǎn)或網(wǎng)頁(yè)不存在時(shí)，用戶可以調(diào) 用Google事先為用戶儲(chǔ)存的大量應(yīng)急網(wǎng)頁(yè)，經(jīng)Google處理后，搜索項(xiàng)均用不同顏色標(biāo)明，另外還有標(biāo)題信息說(shuō)明其存檔時(shí)間日期，并提醒用戶這只是存檔資料。實(shí)際上Google將檢索的網(wǎng)頁(yè)都做了一番“快照”然后放在自己的服務(wù)器上，這樣做的好處是不僅下載速度極快，而且可以獲得互聯(lián)網(wǎng)上已經(jīng)刪除的網(wǎng)頁(yè)。 目前Google已與網(wǎng)易公司(163.com)達(dá)成協(xié)議，自9月15日起，網(wǎng)易采用Google的技術(shù)向用戶提供新一代的中文搜索引擎，Google的中文搜索引擎是收集亞洲網(wǎng)站最多的搜索引擎之一，這也是Google拓展全球信息市場(chǎng)的重要基礎(chǔ)。根據(jù)雙方協(xié)議，網(wǎng)易的用戶不僅能夠通過(guò)Google訪問(wèn)2400萬(wàn)個(gè)中文頁(yè)面，還可以訪問(wèn)其全部目錄中超過(guò)10億的Web文件。目前，Google.com的用戶已經(jīng)可以使用包括中文、法語(yǔ)、德語(yǔ)、意大利語(yǔ)和西班牙語(yǔ)在內(nèi)的14種語(yǔ)言進(jìn)行搜索。Google公司正在雄心勃勃地籌備更豐富的服務(wù)內(nèi)容，如日語(yǔ)、朝鮮語(yǔ)和其他客戶化定制的搜索引擎服務(wù)。 國(guó)內(nèi)搜索引擎 中文語(yǔ)言文化呼喚中國(guó)本土的搜索引擎 ----中文的語(yǔ)言文化對(duì)國(guó)外搜索引擎產(chǎn)品是一個(gè)天然的屏障，這使得國(guó)外的產(chǎn)品不能簡(jiǎn)單漢化就拿給國(guó)內(nèi)的ICP使用，這一點(diǎn)與翻譯軟件非常類似，因此國(guó)內(nèi)廠商在這個(gè)領(lǐng)域的機(jī)會(huì)是很大的。 但國(guó)內(nèi)的搜索引擎技術(shù)與國(guó)外相比依然差距較大，從技術(shù)角度說(shuō)搜索引擎基本由三部分組成，第一部分是蜘蛛軟件(Spider)，即自動(dòng)的收集程序，它的作用是負(fù)責(zé)收集網(wǎng)頁(yè)的內(nèi)容；第二部分是索引器(Indexer)，其作用是將收集回來(lái)的內(nèi)容進(jìn)行分析，然后做一個(gè)索引；第三部分是搜索器（Searcher），即響應(yīng)用戶的檢索請(qǐng)示，用戶輸入關(guān)鍵字后，搜索器要用這個(gè)檢索詞與建立的索引器匹配，匹配后做相關(guān)性排序，再將排序結(jié)果送給用戶。目前國(guó)內(nèi)搜索引擎能夠檢索2000萬(wàn)個(gè)網(wǎng)頁(yè)，而國(guó)外能做到上億個(gè)，其差距主要是在蜘蛛軟件與搜索器上，因?yàn)槟軌蜓邪l(fā)大容量與大訪問(wèn)量的系統(tǒng)與軟件的人才是相當(dāng)稀少的。國(guó)內(nèi)有些中文網(wǎng)站的網(wǎng)頁(yè)搜索服務(wù)外包給一些服務(wù)器在境外的ASP，這也是查詢速度緩慢的原因之一。 搜索引擎服務(wù)在國(guó)內(nèi)大有市場(chǎng)，高盛公司的資料表明，到2001年中文互聯(lián)網(wǎng)的網(wǎng)絡(luò)廣告收入將達(dá)到3.5億美元，而從美國(guó)的經(jīng)驗(yàn)來(lái)看，在網(wǎng)絡(luò)發(fā)展的早期，搜索可以占到50％以上的廣告收入。 百度（www.baidu.com） 百度是海外留學(xué)的學(xué)子們回國(guó)創(chuàng)辦的，總裁李彥宏就是Infoseek第二代搜索引擎的開(kāi)發(fā)者，他發(fā)明的超鏈技術(shù)現(xiàn)在在搜索引擎技術(shù)開(kāi)發(fā)中廣泛地被使用。 百度搜索引擎已經(jīng)被多家網(wǎng)站使用，包括三大門戶中的新浪與搜狐，此外還有人氣極旺的ChinaRen、南方的21cn與廣州視窗等。百度搜索引擎的特點(diǎn)是：1智能化的中文語(yǔ)言處理技術(shù)大大提高了搜索的準(zhǔn)確性與查全率；2可擴(kuò)展的搜索技術(shù)保證最快最多地收集網(wǎng)絡(luò)信息，構(gòu)建大規(guī)模索引庫(kù)；3高效的搜索算法和本地服務(wù)器保證最快的響應(yīng)速度，一個(gè)檢索的平均響應(yīng)時(shí)間小于0.18秒；4支持動(dòng)態(tài)網(wǎng)頁(yè)的檢索，而一些搜索引擎負(fù)責(zé)搜索網(wǎng)頁(yè)的Spider不檢索動(dòng)態(tài)網(wǎng)頁(yè)，因?yàn)榕卤蛔兓療o(wú)窮的動(dòng)態(tài)系統(tǒng)黑洞吸進(jìn)去后出不來(lái)了。然而，隨著應(yīng)用CGI、PHP等的網(wǎng)站日益增多，網(wǎng)站使用動(dòng)態(tài)網(wǎng)頁(yè)生成工具是大趨勢(shì)。 |
|
|
來(lái)自： accesine > 《我的圖書(shū)館》
