蜘蛛协议
-
robots协议的具体内容
robots协议是什么?Robots协议,全名为“网络爬虫排除标准”(Robots Exclusion Protocol),是一种用于告知搜索引擎蜘蛛(网络爬虫)哪些页面可以抓取,哪些页面不可以抓取的文本文件,它通常被命名为“user-agent.txt”或“robots.txt”,并放置在网站的根目录下,Robots协议的主要作用是……
robots协议是什么?Robots协议,全名为“网络爬虫排除标准”(Robots Exclusion Protocol),是一种用于告知搜索引擎蜘蛛(网络爬虫)哪些页面可以抓取,哪些页面不可以抓取的文本文件,它通常被命名为“user-agent.txt”或“robots.txt”,并放置在网站的根目录下,Robots协议的主要作用是……