查看搜索引擎蜘蛛的爬行记录有很多办法，有软件、插件、也可以查看网站日志等。但是比较麻烦有的朋友也不会，所以今天提供网站优化给大家介绍一下在网站添加代码，用代码来检测，即方便又易懂。
一、上传监测搜索引擎蜘蛛爬行的代码
上传robots.php文件到你的网站空间的模板目录下面，例如wordpress网站，那么就应该上传到/wp-content/themes/你启用的主题文件，这个目录里面。robots.php这个文件的名字可以自己定义，改成其他的都可以，如abc.php。
二、安装监测搜索引擎蜘蛛爬行的代码
1、 在WP后台，模板编辑的页面中，找到footer.php底部模板，在最后面插入代码：
<!--?php include('robots.php'); ?-->
2、 接下来就是等待搜索引擎蜘蛛到你的网站来爬行了，爬行的结果记录在网站根目录的robotslogs.txt中，你直接打开http://www.***.com/robotslogs.txt就能看到了。刚添加上不会产生robotslogs.txt文件，过一天才会有记录。当然你也可以修改robots.php文件的第37行，把robotslogs.txt换成任意你想要的名字。
这张图是我网站蜘蛛的一个爬行记录，大家可以看看：
