robots协议

robots协议是什么？Robots协议，全名为“网络爬虫排除标准”(Robots Exclusion Protocol),是一种用于告知搜索引擎蜘蛛(网络爬虫)哪些页面可以抓取，哪些页面不可以抓取的文本文件，它通常被命名为“user-agent.txt”或“robots.txt”，并放置在网站的根目录下，Robots协议的主要作用是……

相信很多朋友都对robots协议怎么设置,如何查看网站的robots协议不太了解吧，所以小编今天就进行详细解释，还有几点拓展内容，希望能给你一定的启发，让我们现在开始吧！