本博客文章已转移到独立博客,查看本文请点击做最好的三三查看全文。
昨天卡院的Incapsula的周报来了,一看流量我吓了一跳:2.1G!作为一个小型论坛,这个数字是很不正常的。于是登录Incapsula来到控制面板,发现80%的流量都是搜索引擎蜘蛛产生的!
这个论坛是《龙族》主题论坛,因为书里面提到过,所以基本没有搜索引擎流量,而是手动输入/书签为多。所以我来到了Incapsula的控制面板,屏蔽了大部分蜘蛛:
目前的卡院服务器只有10G的流量,Incapsula也只有寥寥50个G而已,所以……蜘蛛啊,您就别爬了,行不?
本博客文章已转移到独立博客,发表评论请点击做最好的三三查看全文。
Jul 18, 2012 08:47:50 AM
加个 robots.txt 呗。
Jul 18, 2012 11:38:56 AM
要知道多少蜘蛛不理会robots.txt啊……robots.txt不是硬性设置而是软性设置的……所以我就留了几个常见的robots,其它的从根源上杜绝访问就OK了……
Jul 18, 2012 02:18:25 PM
你还有一个论坛?...
robots.txt可以拒绝蜘蛛的啊!
麻烦吧
米饭维谷 www.wg369.com
换成
米饭维谷 www.mf8.biz
Jul 18, 2012 02:24:01 PM
很多蜘蛛不理会robots.txt。
已经换了。论坛是小说《龙族》的主题论坛。
Jul 18, 2012 02:25:45 PM
为什么不用cloudflare 无限流量。而且对蜘蛛可以设置屏蔽
Jul 18, 2012 02:31:30 PM
原因很多
1.cloudflare节点在北美,对于我来说还没有直接访问服务器快,而Incapsula有日本节点。
2.Incapsula有周报,可以便捷的掌握站点信息。相比之下,cloudflare的统计略弱。
3.我的空间月流量不到50G,使用无限流量根本没有必要。
4.使用cloudflare需要将dns转移,会降低解析速度。我现在使用的dns.la解析生效很快,解析也很快。cloudflare起码一个小时(都是600TTL的情况下)
5.虽然cloudflare功能确实很齐全,但是cloudflare不能将访客IP写到X_FORWARD_TO里面。虽然我有能力修改代码,但是以后升级很麻烦,而且会被讨厌的DiscuzX报错很多次。
综合以上考虑,我没有理由不用Incapsula而采用cloudflare。
Jul 18, 2012 02:32:56 PM
另外,Incapsula也可以对蜘蛛设置屏蔽,上面的截图展示了这一功能。
还有,你没发现你网址填错了?评论的时候,冒号打成分号了……
Jul 18, 2012 02:36:13 PM
Cloudflare - 分布于全球14个地区:阿姆斯特丹、阿什本、芝加哥、达拉斯、法兰克福、香港、伦敦、洛杉矶、迈阿密、纽瓦克、巴黎、san jose、新加坡、东京。/
Incapsula - 分布于9个地区:东京、新加坡、阿姆斯特丹、伦敦、阿什本、san jose、洛杉矶、特拉维夫、阿什维尔。
CloudFlare - 电信:洛杉矶;联通:san jose
Incapsula - 电信:新加坡;联通;新加坡
CloudFlare - 电信、联通均为直连。1
Incapsula - 电信、联通,均需绕道美国西海岸的san jose或者洛杉矶后,转到新加坡
CloudFlare - 1个,使用的anycast技术,全球14个节点,只需一个ip。+
Incapsula - 每个节点一个ip,未使用anycast技术。-
我不用多说了吧,Incapsula 对国内环境支持并不好!毕竟Ping都是超时的
Jul 18, 2012 02:43:28 PM
看起来确实是的。
不过,……
cloudflare需要改DNS,还要改论坛代码获取IP,不是一般的头疼。
Jul 18, 2012 02:45:04 PM
无所谓他人的选择的,自己喜欢就好
Jul 18, 2012 02:48:27 PM
cloudflare……Incapsula……真是令人头疼的取舍。
我去换cloudflare试试看。我原以为cloudflare没有日本节点而Incapsula有所以就会快一些,但是,看起来incapsula并不像我想象中的那么快。
不过,你知道要怎么用a记录设置cloudflare么?
Jul 18, 2012 02:49:52 PM
cloudflare 你只要当DNS用就可以了,很简单的
Jul 18, 2012 02:52:43 PM
我想你误会我的意思了。
我用过cloudflare,本身也挺好用的。但是它的DNS功能不是很强大,所以我并不想换dns而是采用a记录的方式去使用它……
好吧我承认好像用不着。我现在去换换试试看。
Feb 05, 2013 06:54:57 PM
我很想让蜘蛛到我的博客爬啊,可就是不来...
Feb 05, 2013 07:02:43 PM
你的博客好像什么都没有……
Feb 05, 2013 08:10:29 PM
那当然,我刚刚才在这注册的嘛,不过看这里:blog.xiake.me
Feb 05, 2013 08:17:45 PM
我那个站现在收录正常了0.0后来我去升级了网站的套餐……之前差点被停站。
Feb 05, 2013 08:37:46 PM
发外链引呗,其实有些时候不正常的蜘蛛都是恶意的!
Feb 05, 2013 08:40:37 PM
咋发啊?在那发啊?不懂...
Feb 05, 2013 08:41:20 PM
其实我是不需要什么搜索引擎收录什么流量什么的。我不靠这个赚钱,没有广告也没有收入。我只希望给会员一个清静的地方,就这样就好了。
Feb 05, 2013 08:46:22 PM
我也想啊,不过咱俩状况不同...
Mar 13, 2013 02:59:28 PM
来爬我的吧蜘蛛猪