如何設(shè)置網(wǎng)站的robots.txt文件？
1、在電腦桌面新建一個文本文檔，命名為robots.txt
2、robots.txt的寫法
User-agent: * （允許所有蜘蛛抓取）
Disallow: /so_artic*（屏蔽搜索結(jié)果頁面）
Disallow: /404*（屏蔽404頁面）
Disallow: /*?*（屏蔽動態(tài)鏈接）
Sitemap: https://www.steelpipepro.com/sitemap_index.xml（添加網(wǎng)站地圖）
3、登錄網(wǎng)站FTP，把我們寫好的robots.txt文件直接上傳到網(wǎng)站的根目錄下即可。（我這里是打開FTP就是根目錄，直接上傳）
4、最后通過你的域名/robots.txt 可以訪問到就可以。
案例如：https://steelpipepro.com/robots.txt
