[轉(zhuǎn)]總結(jié)一下Meta的用法及robot.txt的講解_【被射中の奶?！郡慰鞓诽焯?『虛擬...

素行 2007-04-25

展開全文

總結(jié)一下Meta的用法及robot.txt的講解

一些不受注意的東西的也不得不去了解一下了..
上網(wǎng)查找了一下robots.txt的用法,卻一個不留神查到了關于meta的一些用法，覺得挺有用的，把詳細的用法寫出來了關于Meta的用法

meta是用來在HTML文檔中模擬HTTP協(xié)議的響應頭報文。meta 標簽用于網(wǎng)頁的<head>與</head>中，meta 標簽的用處很多。meta 的屬性有兩種：name和http-equiv。name屬性主要用于描述網(wǎng)頁，對應于content（網(wǎng)頁內(nèi)容），以便于搜索引擎機器人查找、分類（目前幾乎所有的搜索引擎都使用網(wǎng)上機器人自動查找meta值來給網(wǎng)頁分類）。這其中最重要的是description（站點在搜索引擎上的描述）和keywords（分類關鍵詞），所以應該給每頁加一個meta值。比較常用的有以下幾個:

name 屬性

　　 1、<meta name="generator" contect="">用以說明生成工具（如Microsoft FrontPage 4.0）等；

　　 2、<meta name="keywords" contect="">向搜索引擎說明你的網(wǎng)頁的關鍵詞；

　　 3、<meta name="description" contect="">告訴搜索引擎你的站點的主要內(nèi)容；

　　 4、<meta name="author" contect="你的姓名">告訴搜索引擎你的站點的制作的作者；

　　其中的屬性說明如下：

　　設定為all：文件將被檢索，且頁面上的鏈接可以被查詢；

　　設定為none：文件將不被檢索，且頁面上的鏈接不可以被查詢；

　　設定為index：文件將被檢索；

　　設定為follow：頁面上的鏈接可以被查詢；

　　設定為noindex：文件將不被檢索，但頁面上的鏈接可以被查詢；

　　設定為nofollow：文件將不被檢索，頁面上的鏈接可以被查詢。

http-equiv屬性

　　 1、<meta http-equiv="Content-Type" contect="text/html";charset=gb_2312-80">

　　和 <meta http-equiv="Content-Language" contect="zh-CN">用以說明主頁制作所使用的文字以及語言；

　　又如英文是ISO-8859-1字符集，還有BIG5、utf-8、shift-Jis、Euc、Koi8-2等字符集；

　　 2、<meta http-equiv="Refresh" contect="n;url=http://yourlink">定時讓網(wǎng)頁在指定的時間n內(nèi)，跳轉(zhuǎn)到頁面http;//yourlink；

　　 3、<meta http-equiv="Expires" contect="Mon,12 May 2001 00:20:00 GMT">可以用于設定網(wǎng)頁的到期時間，一旦過期則必須到服務器上重新調(diào)用。需要注意的是必須使用GMT時間格式；

　　 4、<meta http-equiv="Pragma" contect="no-cache">是用于設定禁止瀏覽器從本地機的緩存中調(diào)閱頁面內(nèi)容，設定后一旦離開網(wǎng)頁就無法從Cache中再調(diào)出；

　　 5、<meta http-equiv="set-cookie" contect="Mon,12 May 2001 00:20:00 GMT">cookie設定，如果網(wǎng)頁過期，存盤的cookie將被刪除。需要注意的也是必須使用GMT時間格式；

　　 6、<meta http-equiv="Pics-label" contect="">網(wǎng)頁等級評定，在IE的internet選項中有一項內(nèi)容設置，可以防止瀏覽一些受限制的網(wǎng)站，而網(wǎng)站的限制級別就是通過meta屬性來設置的；

　　 7、<meta http-equiv="windows-Target" contect="_top">強制頁面在當前窗口中以獨立頁面顯示，可以防止自己的網(wǎng)頁被別人當作一個frame頁調(diào)用；

　　 8、<meta http-equiv="Page-Enter" contect="revealTrans(duration=10,transtion=50)">和<meta http-equiv="Page-Exit" contect="revealTrans(duration=20，transtion=6)">設定進入和離開頁面時的特殊效果，這個功能即FrontPage中的“格式/網(wǎng)頁過渡”，不過所加的頁面不能夠是一個frame頁面。

關于robots.txt的講解

1.什么是robots.txt文件?
搜索引擎通過一種程序robot（又稱spider），自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。
您可以在您的網(wǎng)站中創(chuàng)建一個純文本文件robots.txt，在這個文件中聲明該網(wǎng)站中不想被robot訪問的部分，這樣，該網(wǎng)站的部分或全部內(nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。

2.robots.txt文件放在哪里?
robots.txt文件應該放在網(wǎng)站根目錄下。舉例來說，當robots訪問一個網(wǎng)站（比如http://www.）時，首先會檢查該網(wǎng)站中是否存在http://www./robots.txt 這個文件，如果機器人找到這個文件，它就會根據(jù)這個文件的內(nèi)容，來確定它訪問權限的范圍。

見示例:

1.robots.txt文件的格式?

"robots.txt"文件包含一條或更多的記錄，這些記錄通過空行分開（以CR,CR/NL, or NL作為結(jié)束符），每一條記錄的格式如下所示：
"<field>:<optionalspace><value><optionalspace>"。

在該文件中可以使用#進行注解，具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始，后面加上若干Disallow行,詳細情況如下：

User-agent:
　　該項的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多條User-agent記錄說明有多個robot會受到該協(xié)議的限制，對該文件來說，至少要有一條User-agent記錄。如果該項的值設為*，則該協(xié)議對任何機器人均有效，在"robots.txt"文件中，"User-agent:*"這樣的記錄只能有一條。

Disallow:
　　該項的值用于描述不希望被訪問到的一個URL，這個URL可以是一條完整的路徑，也可以是部分的，任何以Disallow開頭的URL均不會被robot訪問到。例如"Disallow:/help"對/help.html 和/help/index.html都不允許搜索引擎訪問，而"Disallow:/help/"則允許robot訪問/help.html，而不能訪問/help/index.html。任何一條Disallow記錄為空，說明該網(wǎng)站的所有部分都允許被訪問，在"/robots.txt"文件中，至少要有一條Disallow記錄。如果"/robots.txt"是一個空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開放的。

4.robots.txt文件用法舉例