本博客文章已转移到独立博客,请点击做最好的三三查看全文。
7
17
2012
22

蜘蛛我求您了别来爬了……

本博客文章已转移到独立博客,查看本文请点击做最好的三三查看全文。

昨天卡院的Incapsula的周报来了,一看流量我吓了一跳:2.1G!作为一个小型论坛,这个数字是很不正常的。于是登录Incapsula来到控制面板,发现80%的流量都是搜索引擎蜘蛛产生的!

这个论坛是《龙族》主题论坛,因为书里面提到过,所以基本没有搜索引擎流量,而是手动输入/书签为多。所以我来到了Incapsula的控制面板,屏蔽了大部分蜘蛛:

屏蔽没用的蜘蛛流量

目前的卡院服务器只有10G的流量,Incapsula也只有寥寥50个G而已,所以……蜘蛛啊,您就别爬了,行不?

本博客内容除标明外均为原创;转载请保留原文地址或pingback;所有代码所有权归作者所有;在此公布的所有作者标明为本人的代码均可非商业自由使用。
本博客文章已转移到独立博客,发表评论请点击做最好的三三查看全文。
Category: WEB | Tags: php cdn SEO | Read Count: 1655
Avatar_small
依云 说:
Jul 18, 2012 08:47:50 AM

加个 robots.txt 呗。

Avatar_small
三三 说:
Jul 18, 2012 11:38:56 AM

要知道多少蜘蛛不理会robots.txt啊……robots.txt不是硬性设置而是软性设置的……所以我就留了几个常见的robots,其它的从根源上杜绝访问就OK了……

ivmm 说:
Jul 18, 2012 02:18:25 PM

你还有一个论坛?...
robots.txt可以拒绝蜘蛛的啊!

麻烦吧
米饭维谷 www.wg369.com
换成
米饭维谷 www.mf8.biz

Avatar_small
三三 说:
Jul 18, 2012 02:24:01 PM

很多蜘蛛不理会robots.txt。
已经换了。论坛是小说《龙族》的主题论坛。

ivmm 说:
Jul 18, 2012 02:25:45 PM

为什么不用cloudflare 无限流量。而且对蜘蛛可以设置屏蔽

Avatar_small
三三 说:
Jul 18, 2012 02:31:30 PM

原因很多
1.cloudflare节点在北美,对于我来说还没有直接访问服务器快,而Incapsula有日本节点。
2.Incapsula有周报,可以便捷的掌握站点信息。相比之下,cloudflare的统计略弱。
3.我的空间月流量不到50G,使用无限流量根本没有必要。
4.使用cloudflare需要将dns转移,会降低解析速度。我现在使用的dns.la解析生效很快,解析也很快。cloudflare起码一个小时(都是600TTL的情况下)
5.虽然cloudflare功能确实很齐全,但是cloudflare不能将访客IP写到X_FORWARD_TO里面。虽然我有能力修改代码,但是以后升级很麻烦,而且会被讨厌的DiscuzX报错很多次。
综合以上考虑,我没有理由不用Incapsula而采用cloudflare。

Avatar_small
三三 说:
Jul 18, 2012 02:32:56 PM

另外,Incapsula也可以对蜘蛛设置屏蔽,上面的截图展示了这一功能。
还有,你没发现你网址填错了?评论的时候,冒号打成分号了……

ivmm 说:
Jul 18, 2012 02:36:13 PM

Cloudflare - 分布于全球14个地区:阿姆斯特丹、阿什本、芝加哥、达拉斯、法兰克福、香港、伦敦、洛杉矶、迈阿密、纽瓦克、巴黎、san jose、新加坡、东京。/

Incapsula - 分布于9个地区:东京、新加坡、阿姆斯特丹、伦敦、阿什本、san jose、洛杉矶、特拉维夫、阿什维尔。

CloudFlare - 电信:洛杉矶;联通:san jose
Incapsula - 电信:新加坡;联通;新加坡

CloudFlare - 电信、联通均为直连。1
Incapsula - 电信、联通,均需绕道美国西海岸的san jose或者洛杉矶后,转到新加坡

CloudFlare - 1个,使用的anycast技术,全球14个节点,只需一个ip。+
Incapsula - 每个节点一个ip,未使用anycast技术。-

我不用多说了吧,Incapsula 对国内环境支持并不好!毕竟Ping都是超时的

Avatar_small
三三 说:
Jul 18, 2012 02:43:28 PM

看起来确实是的。
不过,……
cloudflare需要改DNS,还要改论坛代码获取IP,不是一般的头疼。

ivmm 说:
Jul 18, 2012 02:45:04 PM

无所谓他人的选择的,自己喜欢就好

Avatar_small
三三 说:
Jul 18, 2012 02:48:27 PM

cloudflare……Incapsula……真是令人头疼的取舍。
我去换cloudflare试试看。我原以为cloudflare没有日本节点而Incapsula有所以就会快一些,但是,看起来incapsula并不像我想象中的那么快。
不过,你知道要怎么用a记录设置cloudflare么?

ivmm 说:
Jul 18, 2012 02:49:52 PM

cloudflare 你只要当DNS用就可以了,很简单的

Avatar_small
三三 说:
Jul 18, 2012 02:52:43 PM

我想你误会我的意思了。
我用过cloudflare,本身也挺好用的。但是它的DNS功能不是很强大,所以我并不想换dns而是采用a记录的方式去使用它……
好吧我承认好像用不着。我现在去换换试试看。

Avatar_small
Aoyu 说:
Feb 05, 2013 06:54:57 PM

我很想让蜘蛛到我的博客爬啊,可就是不来...

Avatar_small
三三 说:
Feb 05, 2013 07:02:43 PM

你的博客好像什么都没有……

Aoyu 说:
Feb 05, 2013 08:10:29 PM

那当然,我刚刚才在这注册的嘛,不过看这里:blog.xiake.me

Avatar_small
三三 说:
Feb 05, 2013 08:17:45 PM

我那个站现在收录正常了0.0后来我去升级了网站的套餐……之前差点被停站。

ivmm 说:
Feb 05, 2013 08:37:46 PM

发外链引呗,其实有些时候不正常的蜘蛛都是恶意的!

Aoyu 说:
Feb 05, 2013 08:40:37 PM

咋发啊?在那发啊?不懂...

Avatar_small
三三 说:
Feb 05, 2013 08:41:20 PM

其实我是不需要什么搜索引擎收录什么流量什么的。我不靠这个赚钱,没有广告也没有收入。我只希望给会员一个清静的地方,就这样就好了。

Aoyu 说:
Feb 05, 2013 08:46:22 PM

我也想啊,不过咱俩状况不同...

Ha.Cker.In 说:
Mar 13, 2013 02:59:28 PM

来爬我的吧蜘蛛猪


登录 *


loading captcha image...
(输入验证码)
or Ctrl+Enter

Host by is-Programmer.com

Power by Chito 1.3.1 beta

| Theme: Aeros 2.0 by TheBuckmaker.com