1.Bot/爬虫安全威胁背景说明
在当今的线上票务市场,bot技术被一些不良分子滥用,严重扰乱了正常的购票秩序。这些自动化程序,或称作Bots,能够快速地模拟人类操作,短时间内高频次地访问售票网站,绕过常规的购买限制,大量抢购热门景点/演出或赛事的门票。这种行为不仅剥夺了普通用户的购票机会,还可能导致票价飙升,破坏市场的公平竞争,甚至滋生灰色产业链。更为关键的是,它挑战了我们的技术防护能力,迫使我们必须寻求更有效的对策来应对这一新兴威胁。
2.传统常见防护方案的现状说明
2.1.传统防火墙防护:
主要针对HTTP header和body特征进行自定义组合,实现访问控制和限速,但是在应对变异爬虫,营销作弊和“薅羊毛”等业务略显不足,且对性能消耗较大。
2.2.单一验证码:
单一验证码防御很容易被图片识别等AI技术直接绕过,多层验证码对于用户操作难度又会增加,前些年12306抢火车票的验证码一度成为社会热点,也是因为为了对抗黑客识别技术,才提升了验证识别难度,但同时也大大降低了用户的便捷性。
2.3.设备指纹:
需要对接SDK,开发成本较高,无法同时保证安全以及服务性能,叠加使用多厂商产品,无法有效联动,运维成本高。
3.天翼云AOne边缘安全加速平台防Bot方案解析
3.1.平台架构
3.2.Bot防护功能详情
3.2.1云端海量Bot情报匹配
基于天翼云上超大规模的信誉情报库,碰撞恶意爬虫、恶意IP的访问记录。平台情报库已生成大量已知恶意爬虫,并在不断攻防当中持续优化维情报库,做到事前防护。同时可针对低信誉IP进行标记,从威胁类型维度(IDC服务器、傀儡机、漏洞利用等十几类)进行IP封禁,降低攻击源数量。除此之外,还能够针对机房IP识别标记,精准识别IDC机房出口IP,防止攻击者利用IDC中心发起攻击。
3.2.2算法挑战
通过图片验证码、JS跳转的方式校验用户交互行为,并且能够通过302/307跳转来防护无法正常执行跳转的爬虫。
- 图片验证码:采用设备环境、行为特征、访问频率等多个风险判断要素,支持智能随机、滑动拼图、文字点选、图标点选、语序点选等13种验证方式。该功能特点就是需要用户互动操作,验证码的复杂性和安全性正相关。边缘安全加速平台为了提高用户体验,引入了用户风险分类控制策略,不同风险等级的用户推荐不同的验证码方式。
- 跳转验证:跳转挑战通过302、307跳转去防护无法正常执行跳转的爬虫,主要通过302、307跳转挑战检验用户交互行为,开启后会下发跳转CI。该功能特点是无需用户互动,后台自动实现无感交互验证,用户体验得到提升。
- Cookie验证:Set ws-cookie,客户端生成cookie发送给云端校验Cookie的合法性。该功能类似跳转验证机制,但动态生成cookie更安全,纯后台自动化能力,用户体验也无感。
- JS前端对抗验证:通过下发JS代码捕获用户操作行为,再通过内部请求的方式发到WAF节点进行校验。该功能也是后台自动校验,无需用户操作交互。
- 动态校验算法:首次访问RST重置,让客户端重连,以此判断终端可信度。该方式在首次访问时,RST重置,让客户端重连,以此判断终端可信度。
3.2.3基于用户行为的AI大数据分析
离线分析用户访问日志,利用爬虫特性建模,分析用户可疑行为(访问时长、地理位置、访问频率等等)。
3.2.4指纹水印防护
在客户端嵌入脚本,生产终端特有的唯一指纹信息,传到云端进行差异对比,识别过滤异常终端请求。
3.2.5爬虫陷阱
在网页中嵌入不可见的链接作为陷阱,当客户端多次访问陷阱链接,且访问深度达到指定层数时进行告警、拦截。
4.方案优势
优势1:多维度安全防护算法,具备L3-L7层全周期安全防护,实现多层防护联动与威胁综合判断。
优势2:流程自动化联动,一套API对接,可按需与自身安全体系自动化联动
优势3:自动化能力编排,构建安全、性能、算力三大能力矩阵,在统一管理平台下实现能力自由编排整合,更优、更灵活的价格,按需开通,可自助订购
优势4:SaaS化部署,按需开通,售后无忧,一个平台融合多种能力,一键开启业务接入,交付快,可远程运维。
5.总结:
随着生成式AI技术的发展,BOT伪装越来越隐蔽,单一的防护算法已经很难满足实际场景需求,被黑客突破的事件比比皆是,多样化算法组合防御优势越来越明显,天翼云AOne边缘安全加速平台的Bot防护能力提供5大防护能力,为文旅、金融等各个行业客户提高安全防护等级,提升用户体验,同时降低运维难度,助力行业客户实现业务快速创新发展。