在中国信息产业科技领域非常火热的一个技术交流网站Javaeye, 星期一突然遭到关停,直到星期二仍然无法访问。 记者前往该网站查看,发现主页和各个子站点都无法进入,均提示:“网站被关闭,网站因有违规内容而被关闭,具体事宜请联系您的接入商。”
有网友表示,JavaEye是被上海托管商“地面通”于下午1点10分左右关闭的。JavaEye站长范凯(Robbin Fan)则在推特上声称,被封原因是他写的“动态防火墙代码将电信负责内容监控的爬虫给封了。”爬虫系统是搜索引擎或者官方开发的舆情分析系统,用来在后台运行并定期到各个网站抓取网页分析的技术,因为长城防火墙(GFW)和舆情系统要对各个网站进行检测,而JavaEye网站虽然没有所谓敏感内容,却不配合这种监测,就被封站,又成了一条新的封站罪名。
范凯在推特上调侃说:“这年头,代码写的好也是悲剧,把监控爬虫加入白名单了。”
本台记者首先致电托管商"地面通"查询,"你好,想问一下JavaEye网站被关闭了,是怎么回事?"
工作人员:是Javaeye,对吗?我这边也打不开。
记者:你知道是什么原因吗?
工作人员:要么你留一个联系方式,我让网管随后联系你,这边看一下。
本台记者留下电子邮件信箱,但是直到发稿前,都尚未得到对方的回复。
著名博客作者龙威廉星期二向本台表示,“搜索引擎都通过爬虫抓取网页的方式,在服务器端可以根据来源的IP地址和它带的一些代理名,判断不是正常的用户访问而是某个程序的爬虫,这样爬虫抓不到信息,但是普通浏览器访问没有问题。”
网友Time 表示,“拒绝电信负责内容监控的爬虫也算网站有不良内容。可见国家是从代码的战略高度说的,是指这段代码内容无良,而不是仅限于关注网站的输出内容。眼光明显高于这个编代码的人,国家想问题确实在一个高度上。”
根据中国科技媒体介绍,JavaEye是一个软件开发人员的深度交流社区,创建于2003年9月9日,是一个涵盖整个软件开发领域的综合性网站,2005年被选为中国十佳技术网站之一,聚集了大量软件开发者。
对于这次网站被关停,网络技术专家东小兴表示,“对于谷歌、百度这种搜索引擎,是有一个的爬虫来取网站的数据,谷歌做的很好,他提供一个很严格的文件,按照这个网站的文件来看,网站什么是可以被抓取的,什么是不能被抓取的,谷歌在这一点做的很好。但是国内像百度这家搜索提供服务,就不遵守这个规范,把你这个网站上所有东西都抓下来,我作为一个站长,有时候不希望被你抓取到,(Javaeye)站长就专门写了小程序,如果类似于这种不听指挥的爬虫,我就采取屏蔽的操作,在执行操作中,可能会把过滤或监控系统爬虫也屏蔽了,这种情况就可能引起这个网站被封现象。”
以上是自由亚洲电台驻香港特约记者心语的采访报道。