robots.txt是搜索引擎访问网站时要查看的第一个文件，是用于规定搜索引擎对网站内容抓取范围的文本文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，则会按照文件中的内容来确定访问的范围。
技术文章 / 下载软件趣味内容 / 专业带飞
