UC官网设为首页收藏本站
[站长交流]

关于辨识神马蜘蛛的问题

[复制链接]
SolidBlack UC小班 发表于 2018年2月7日 16:13 最后回复 2018年2月24日 08:36
729 3
    最近写了一个waf,其中有个功能是当某个ip触发waf防御的时候,如果请求中的user-agent符合蜘蛛的特征,则waf在阻挡之前先通过dns反向查找获取IP的ptrd记录并且分析记录里面是否有对应的蜘蛛特征来确定是真蜘蛛还是假蜘蛛,而最近的测试发现只有yisouspider与360的蜘蛛ip没有ip的反向指向(360的蜘蛛其实是有指向,不过指向里面没有蜘蛛特征),不知道是我截取到的ip不是神马蜘蛛还是本来神马蜘蛛就没有指向,如果没有这层判定在遇到恶意采集的时候就无法判断蜘蛛的真假了。。。。。。而且最近发现了一些特殊的请求,本来一开始的请求是yisou的蜘蛛ua,但是后面的请求又不是yisou的ua,ip是阿里云的,这种情况正常吗?

ua转变

ua转变

dns反向查找

dns反向查找
上UC,有快感!
该帖共收到 3 条回复!
UC工作人员 | 发表于 2018年2月11日 16:33 | 显示全部楼层
@陈博小哥哥  麻烦帮忙看下,谢谢~
上UC,有快感!
回复 |

使用道具 举报

UC小班 | 发表于 2018年2月12日 11:23 | 显示全部楼层
后面请求的ua也是yisou的,只是被用户打上了ua;
该问题年后进行修复,感谢关注。
上UC,有快感!
回复 |

使用道具 举报

UC小班 | 发表于 2018年2月24日 08:36 | 显示全部楼层
那你到底说明下这个 106的阿里云 IP 段是不是神马的呀
上UC,有快感!
回复 |

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 允许回帖同步到新浪微博