17、robots.txt：如何讓搜索引擎不要抓取沒(méi)用的頁(yè)面
robots文件是網(wǎng)站與搜索引擎蜘蛛之間的一個(gè)協(xié)議，通過(guò)robots文件告訴搜索引擎我們網(wǎng)站上的哪些頁(yè)面是允許抓取的，哪些頁(yè)面是不允許抓取的。
例如：
User-agent：* 的意思是面向所有搜索引擎。
Disallow：是不允許抓取的頁(yè)面。
Sitemap：是網(wǎng)站地圖，這個(gè)意思是說(shuō)把網(wǎng)站上的鏈接都放到網(wǎng)站地圖里展示給搜索引擎蜘蛛。
