17、robots.txt：如何讓搜索引擎不要抓取沒用的頁面
robots文件是網(wǎng)站與搜索引擎蜘蛛之間的一個協(xié)議，通過robots文件告訴搜索引擎我們網(wǎng)站上的哪些頁面是允許抓取的，哪些頁面是不允許抓取的。
例如：
User-agent：* 的意思是面向所有搜索引擎。
Disallow：是不允許抓取的頁面。
Sitemap：是網(wǎng)站地圖，這個意思是說把網(wǎng)站上的鏈接都放到網(wǎng)站地圖里展示給搜索引擎蜘蛛。
robots文件是網(wǎng)站與搜索引擎蜘蛛之間的一個協(xié)議，通過robots文件告訴搜索引擎我們網(wǎng)站上的哪些頁面是允許抓取的，哪些頁面是不允許抓取的。
例如：
User-agent：* 的意思是面向所有搜索引擎。
Disallow：是不允許抓取的頁面。
Sitemap：是網(wǎng)站地圖，這個意思是說把網(wǎng)站上的鏈接都放到網(wǎng)站地圖里展示給搜索引擎蜘蛛。
