18、sitemap：如何讓搜索引擎抓取到所有頁面
Sitemap的意思就是把網(wǎng)站上的所有鏈接都放到一個文件里，方便搜索引擎來抓取，促進網(wǎng)站收錄，有的網(wǎng)站鏈接層次太深了，不容易被收錄，所以就要設置sitemap把網(wǎng)站鏈接提交給搜索引擎。
1、sitemap的地址是http://www.czwr168.com/sitemap.txt，這個鏈接下面有這個網(wǎng)站的所有網(wǎng)址，如下圖：
2、網(wǎng)站地圖生成完了以后，怎么讓搜索引擎知道網(wǎng)站地圖在這個地方呢？這時我們就需要在網(wǎng)站的robots.txt里面添加一個網(wǎng)站地圖的地址，如下圖，搜索引擎來抓取我們網(wǎng)站的時候，第一時間是抓取robots文件，從robots文件里面可以獲取網(wǎng)站地圖地址，在網(wǎng)站地圖地址里面就可以抓取到我們網(wǎng)站的所有鏈接。
3、第二個添加網(wǎng)站地圖的地方是百度資源平臺里面，在這里面提交sitemap網(wǎng)站地圖。
