如何知道蜘蛛是否来过你的网站

做为站长,应该非常有必要和需要清楚的知道自己网站的一个综合信息,包括当天来了多少IP,有了多少转换率,用户是通过什么途径进入到你的网站的,这些站长都必须得非常清楚 的知道!通常IP,转换率,以及搜索关键词是站长更加重视的问题!但是一些新站长,在各大搜索引擎还没收录你的时候,你觉得你除了知道这些之外,还需要知道些什么呢?我觉得你在清楚的了解自己网站上来了多少IP,还有通过什么搜索词进来的同时,还有必要了解的就是蜘蛛,因为前期搜索殷勤还未收录网站的时候,来的IP和搜索词肯定很少,几乎是可以忽略的,那么在这种情况下,接下来要做的是什么呢?当然了就是要加快搜=搜索引擎的收录了!不管来了多少IP,通过什么关键词来网站的,首先你得先把蜘蛛引到你的网站,等你的网站被搜索引擎收录了之后这些才能去优化,才有可能去提高,不然网站都没被收录,这些信息如何提高呢!所以我们接下来要做的就是引蜘蛛!那么引蜘蛛就是把蜘蛛引到你的网站来,所以我们非常有必要知道网站每天有没有蜘蛛过来爬,还有来了多少,这些数据对我们来说是非常重要的!所以一定要知道蜘蛛来没来你的网站,来了多少只!那么如何知道蜘蛛是否来过网站呢,这就是今天要和大家交流的了!

每个网络蜘蛛都有自己的名字,在抓取网页的时候,都会向网站标明自己的身份。网络蜘蛛在抓取网页的时候会发送一个请求,这个请求中就有一个字段为User-agent,用于标识此网络蜘蛛的身份。例如Google网络蜘蛛的标识为GoogleBot,Baidu网络蜘蛛的标识为BaiDuSpider,Yahoo网络蜘蛛的标识为Inktomi Slurp。如果在网站上有访问日志记录,网站管理员就能知道,哪些搜索引擎的网络蜘蛛过来过,什么时候过来的,以及读了多少数据等等。

  通过ftp,查看到后台有一个包含“log”的文件。这个文件就是日志。通过查看日志中是否有baiduspider的脚印。有baiduspider就说明bd蜘蛛来过网站。

评论

  • gdfg

    如果空间不支持日志文件怎么看

你必须 登录 才能发表评论.