功能介绍
支持针对搜索引擎IP放行、针对恶意Bot请求IP封禁，目前爬虫情报库已维护接近10万条数据
注意
目前控制台尚未开放爬虫情报规则功能，如有防护需求请通过提交工单给天翼云客服，由其人工操作开启。
前提条件
背景信息
边缘云WAF安全团队基于天翼云积累的海量威胁情报库，并经过离线分析技术，收集国内外公开的、已知的恶意爬虫IP；另外，通过反向解析技术，收录了众多SE类别的爬虫信息，两者结合形成爬虫情报库，内置近10万条友好爬虫与已知恶意爬虫IP信息，目前仍持续更新中。
针对已知爬虫，边缘云WAF为爬虫情报进行标识与分类，例如搜索引擎类的爬虫，分为谷歌爬虫、360爬虫、百度爬虫等各类标识，您可以仅针对其中的某类搜索引擎标识进行加白的动作，则后续此类爬虫IP将不经过边缘云WAF的Bot防护策略。对于恶意爬虫，您也可以对其进行一键封禁的操作，边缘云WAF将会对其进行拦截，避免网站业务遭受已知恶意爬虫的攻击。
相关配置项
| 配置项 | 说明 |
|---|---|
| Bot标识 | 即爬虫情报库中的IP标识，例如百度爬虫、谷歌爬虫等 |
| 情报类型 | 目前支持收录已知恶意Bot、搜索引擎、IDC机房三类情报 |
| 执行动作 | 支持对某一类的爬虫情报及爬虫标识一键加白、拦截、监控j 加白：加白后，访问将不经过Bot防护策略； 拦截：对IP访问请求进行拦截处理； 监控：不对请求拦截，但是会生成攻击日志 |
