作为一种“防君子，不妨小人”的网络协议，robots.txt文件可以很好的帮助我们引导搜索引擎蜘蛛对我们网站内…