功能介绍
即在页面里面嵌入不可见链接,正常浏览器不可见;当访问到达设定的拦截深度时,认为是爬虫行为并支持设置防护策略。
前提条件
操作步骤
- 登录边缘安全加速平台控制台。
- 在左侧导航栏中选择【安全能力】,进入【Bot防护】菜单,并在左侧域名列表选择您要防护的域名。
- 进入防护能力-客户端风险识别-【爬虫陷阱】详细设置页。
配置说明
支持配置多个防护条件,最多支持配置5条,多个条件为或关系。
注意爬虫陷阱是通过判断响应的content-type是否为text/html,如果是text/html,则会嵌入爬虫陷阱
基本信息
- 防护开关:支持拦截、告警、关闭。
- 统计粒度:IP/IP+UA/静态Cookie。
- 拦截深度:即陷阱深度,当访问到达设定的拦截深度时,认为是爬虫行为。深度越深越难触发规则,拦截深度支持配置1至5,相当于一级至五级页面链接。
- 处理时长:即触发规则后的惩罚时间。
防护范围
支持配置您要防护的请求范围,支持匹配字段为PATH、REQUEST_URI、URI。