robots.txt文件的写法User-agent: * 　　 这里的*代表的所有的搜索引擎种类，*是一个通配符Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录Disallow: /require/ 　 这里定义是禁止爬寻req...