|
Tags: Google,SEO,點點網(wǎng),百度抓取.
問:為什么平時幾乎搜不到點點網(wǎng)個人空間的內(nèi)容? 答:site一下,你會發(fā)現(xiàn)有約345萬個收錄,但翻到76頁,看到的都是點點網(wǎng)用戶的子域名(也就是個人主頁),但你打開這些用戶的robots.txt文件,并沒有發(fā)現(xiàn)任何有屏蔽百度的跡象。如我的空間文件:http://xiaoo./robots.txt 打開后將會發(fā)現(xiàn),點點為了協(xié)助搜索引擎的收錄,還專門寫了一條語句:Sitemap: http://xiaoo./sitemap.xml(為用戶內(nèi)容自動生成的地圖) 我們再到/robots.txt這個文件下看,除了倒數(shù)第二行有條【Disallow: /dianlog/】的命令外,沒有任何屏蔽跡象。(這里面放得都是用戶的賬號ID和編輯頁面,可能是為了用戶的安全而考慮) 而最終用戶生成的頁面為這樣的結構形式【http://xiaoo./post/2012-03-29/17370771】,看到了沒,用戶的內(nèi)容都在post這個目錄下面放著,也就是說,跟上面那個dianlog目錄根本無關。 這也是好多以內(nèi)容為驅動的門戶類不愿意建立二級域名的主要原因,就是怕搜索引擎能力有限,抓不到那么深。最好的例子是Google一下。 由此證明,不是點點不想,而是百度不能。 |
|
|