什么是robots.txt,robots.txt有什么作用
什么是robots.txt：
robots.txt 是網(wǎng)站里的一個文件，它告訴搜索引擎抓取工具（蜘蛛）禁止或允許抓取網(wǎng)站的哪些內(nèi)容。
在某種意義上說，它的一個任務(wù)就是指導(dǎo)蜘蛛爬行，減少搜索引擎蜘蛛的工作量。
當(dāng)搜索引擎蜘蛛訪問網(wǎng)站時，它會首先檢查該站點根目錄下是否存在robots.txt文件，如果該文件存在，搜索引擎蜘蛛就會按照該文件中的內(nèi)容來確定爬行的范圍；如果該文件不存在，則所有的搜索引擎蜘蛛將能夠訪問網(wǎng)站上所有沒有被口令保護(hù)的頁面。
robots.txt有什么作用：
從SEO的角度，robots.txt文件是一定要設(shè)置的，原因：
1、網(wǎng)站上經(jīng)常存在這種情況：不同的鏈接指向相似的網(wǎng)頁內(nèi)容。這不符合SEO上講的“網(wǎng)頁內(nèi)容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。
2、網(wǎng)站改版或URL重寫優(yōu)化時原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。
3、一些沒有關(guān)鍵詞的頁面，屏蔽掉更好。
4、一般情況下，站內(nèi)的搜索結(jié)果頁面屏蔽掉更好。
上一篇：
什么是404錯誤頁面
