频次限制防护策略通过限制特定请求对象对指定URL路径的访问频率实现对恶意爬虫流量的拦截。同时,支持在访问频率中叠加特定响应码的数量或比例来限制该请求对象的访问请求。

背景信息

频次限制规则

频次限制规则由以下设置参数构成:
参数 描述
规则名称 指定该规则的名称,为了便于快速理解规则内容,建议设置有意义的规则名称。
URL 指定应用该规则的URL地址,例如/login.com
说明 该字段不能为空。
URL地址设置支持以下匹配规则:
  • 精确匹配: 客户端所请求的URL地址必须与所设置的URL地址完全一致才会被该规则统计,所设置的URL地址必须以/开头。
  • 前缀匹配: 即左包含匹配,只要客户端所请求的URL地址是以规则中所设置的URL地址开头即会被该规则统计,所设置的URL地址必须以/开头。例如,设置URL为/login,则请求/login.html地址的访问被该规则统计。
  • 正则匹配: 以正则表达式进行匹配。在URL文本框中填写完整的正则表达式,客户端所请求的URL地址符合该正则表达式的访问将被该规则统计。
说明 支持填写包含参数的URL地址,例如/user?action=login
统计对象 被该规则统计的主体。支持设置IP、默认Cookie、或者其它自定义Header、参数、cookie中的某个字段作为统计对象。
说明
  • 其中,默认Cookie是指正常的用户请求到达引擎时,系统自动添加的标记cookie,通常以acw_tc开头。
  • 自定义字段的统计示例:例如,业务在HTTP Header中以token: 123456标记用户身份,则可以将该自定义Header/token设置为统计对象进行频率统计。
统计时间 指定该规则统计请求次数的周期。
请求次数 指定在所设置的统计时间内,单个请求对象累计的请求次数上限。
说明 支持在请求次数限制的基础上叠加响应码条件(例如,“响应码503累计次数达到300次”,“响应码503所占的比例达到70%”)。即在所统计的请求对象的请求次数超过上限时,需要满足所设置的响应码条件才会触发处置动作。
处置动作 指定满足规则条件后触发的操作:
  • 观察: 不会对请求触发任何动作,仅将该统计结果记录到匹配该规则的数据报表中,用于观察规则实际效果。
  • 阻断: 直接断开请求对象的连接。
  • JavaScript校验: 使用重定向的方式向客户端发送验证要求,通过验证后才可继续业务操作。
  • 滑块: 通过向客户端发送滑块验证进行二次人机验证。访问者需要滑动滑块完成验证,通过验证方可继续进行业务操作,无法通过(不操作或者验证为非人为操作)则业务操作将被中断。
说明
  • 选择阻断处置动作时,可对请求对象设置阻断持续时长(即拉黑时长)。例如,设置拉黑时长为30min,则符合规则条件的IP请求访问在30分钟内将全部被阻断。
  • 处置动作可选择对本域名全局请求生效或仅对符合当前规则URL的请求生效。
说明 由于需要将集群中的多台服务器的数据进行汇总来统计,统计过程中可能存在一定延时,因此频次限制规则的实际生效时间可能稍有滞后。
视频介绍

操作步骤

  1. 登录爬虫风险管理控制台,选择您的Anti-Bot实例所在的地区。
  2. 定位到防护配置 > 频次限制页面,选择已接入防护的网站域名。
  3. 单击是否生效开关,开启频次限制防护策略。
  4. 单击添加,设置频次限制规则,完成后单击确定。例如,您可以配置当单个源IP在5分钟(300秒)内访问1.test.com/login.html超过1000次,且响应码404的累计次数达到80%以上时进行阻断,持续封禁该IP 30分钟,仅对当前规则URL(1.test.com/login.html)生效。