什麼是robots.txt的？
robots.txt是一個文本文件，可用於限制網絡機器人訪問您的網站的方法只有在您批准。
這robots.txt文件是否阻止谷歌的Imagebot從整個網站：
用戶代理： Googlebot會圖像 不允許： /
欲了解更多信息關於robots.txt ，閱讀漫遊器排除標準 。
檢查的語法您的robots.txt
一些基於網絡的工具，可將擷取robots.txt文件從您的網站上，並檢查它的語法錯誤。
壞機器人
有些網絡機器人將使用了大量的帶寬和系統資源，而很少或根本沒有返回的實際利益的網站所有者。
為方便起見，我們在一個清單中列出了一些壞機器人 robots.txt中的格式。
 |
書籤什麼是robots.txt的？
