怎樣向百度提交站點地圖文件?robots.txt寫法詳解
搜索引擎都遵循一樣的 Sitemap 協議，baidu Sitemap 內容和形式可以和 Google Sitemap 完全一樣。但因為百度還沒開通類似 Google 網站管理員工具的提交后臺，所以，我們需要采用以下方式提交"baidu Sitemap" 。
我們可以通過在 robots.txt 文件中添加以下代碼行來告訴搜索引擎 Sitemap 的存放位置。包括 XML Sitemap 和 文本形式的 Sitemap。
Sitemap:<sitemap_location>
<sitemap_location> 填寫 Sitemap 的完整網址
如：Sitemap: http://www.bbsy0.cn/sitemap2010.xml
如果有很多個.xml 或 .txt 文件，則你可以先建立一個索引文件，把這些.xml 或 .txt 文件的完整網址列在其中。<sitemap_location> 中填寫完整的該索引文件的網址。
以下是思為網絡網站http://www.bbsy0.cn 的robots.txt 文件:
*****************************
允許所有搜索引擎收錄所有頁面
添加網站站點地圖文件
*****************************User-agent: *
Allow: /
Sitemap: http://www.bbsy0.cn/sitemap2010.xml
robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。Robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。
當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。 robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。 語法：最簡單的 robots.txt 文件使用兩條規則： ? User-Agent: 適用下列規則的漫游器
? Disallow: 要攔截的網頁
具體語法分析：其中#后面文字為說明信息；User-agent:后面為搜索機器人的名稱，后面如果是*，則泛指所有的搜索機器人；Disallow:后面為不允許訪問的文件目錄。
例如:
允許所有的搜索引擎蜘蛛robot訪問
User-agent: *
Allow:
或者也可以建一個空文件 “/robots.txt” file
禁止所有搜索引擎訪問網站的任何部分
User-agent: *
Disallow: /
禁止所有搜索引擎訪問網站的幾個部分（下例中的images/inc/目錄）
User-agent: *
Disallow: /images/
Disallow: /inc/
禁止某個搜索引擎的訪問（例如:禁止百度收錄）
User-agent: Baiduspider
Disallow: /
只允許某個搜索引擎的訪問（例如只允許百度收錄）
User-agent: Baiduspider
Disallow:User-agent: *
Disallow: /
常見搜索引擎蜘蛛
百度蜘蛛: Baiduspider
GOOGLE蜘蛛:Googlebot
GOOGLE ADWORDS右側推廣蜘蛛:adsbot-google
有道蜘蛛:youdaobot
微軟蜘蛛:msnbot
Yahoo雅虎蜘蛛:yahoo-mmcrawler
Alexa 蜘蛛:alexa robot
www.dotnetdotcom.org蜘蛛:dotbot
www.exabot.com蜘蛛:exabot
Survey蜘蛛:survey
openbot 蜘蛛:openbot
inktomi 蜘蛛:inktomi
網站管理員必須使蜘蛛程序遠離某些服務器上的目錄——保證服務器性能。比如：大多數網站服務器都有程序儲存在“cgi-bin”目錄下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是個好主意，這樣能夠避免將所有程序文件被蜘蛛索引，可以節省服務器資源。一般網站中不需要蜘蛛抓取的文件有：后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。
討論:通過robots.txt列出限制搜索引擎進行目錄抓取,這樣會將網站管理后臺及一些重要的文件目錄暴露出來,這將給網站攻擊者以入口,為了保證網站的安全,思為網絡認為這種寫法不是很可取,可以變更為:允許搜索引擎抓取指定的文件夾,如果有新的目錄生成,則需要修改robots.txt文件來完善.如果是企業網站,個人建議還是允許抓取所有目錄.
如果大家有更好的方法,歡迎與我們聯系,共同交流學習!本文原創,轉載請注明出處!