searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

玩转AOne之Bot爬虫防护手段浅析

2024-11-28 09:53:15
3
0

1.Bot/爬虫安全威胁背景说明

在当今的线上票务市场,bot技术被一些不良分子滥用,严重扰乱了正常的购票秩序。这些自动化程序,或称作Bots,能够快速地模拟人类操作,短时间内高频次地访问售票网站,绕过常规的购买限制,大量抢购热门景点/演出或赛事的门票。这种行为不仅剥夺了普通用户的购票机会,还可能导致票价飙升,破坏市场的公平竞争,甚至滋生灰色产业链。更为关键的是,它挑战了我们的技术防护能力,迫使我们必须寻求更有效的对策来应对这一新兴威胁。

2.传统常见防护方案的现状说明

2.1.传统防火墙防护:

主要针对HTTP headerbody特征进行自定义组合,实现访问控制和限速,但是在应对变异爬虫,营销作弊和“薅羊毛”等业务略显不足,且对性能消耗较大。

2.2.单一验证码:

单一验证码防御很容易被图片识别等AI技术直接绕过,多层验证码对于用户操作难度又会增加,前些年12306抢火车票的验证码一度成为社会热点,也是因为为了对抗黑客识别技术,才提升了验证识别难度,但同时也大大降低了用户的便捷性。


2.3.设备指纹:

需要对接SDK,开发成本较高,无法同时保证安全以及服务性能,叠加使用多厂商产品,无法有效联动,运维成本高。

3.天翼云AOne边缘安全加速平台防Bot方案解析

3.1.平台架构

 

3.2.Bot防护功能详情

3.2.1云端海量Bot情报匹配

基于天翼云上超大规模的信誉情报库,碰撞恶意爬虫、恶意IP的访问记录。平台情报库已生成大量已知恶意爬虫,并在不断攻防当中持续优化维情报库,做到事前防护。同时可针对低信誉IP进行标记,从威胁类型维度(IDC服务器、傀儡机、漏洞利用等十几类)进行IP封禁,降低攻击源数量。除此之外,还能够针对机房IP识别标记,精准识别IDC机房出口IP,防止攻击者利用IDC中心发起攻击。

3.2.2算法挑战

通过图片验证码、JS跳转的方式校验用户交互行为,并且能够通过302/307跳转来防护无法正常执行跳转的爬虫。

  • 图片验证码:采用设备环境、行为特征、访问频率等多个风险判断要素,支持智能随机、滑动拼图、文字点选、图标点选、语序点选等13种验证方式。该功能特点就是需要用户互动操作,验证码的复杂性和安全性正相关。边缘安全加速平台为了提高用户体验,引入了用户风险分类控制策略,不同风险等级的用户推荐不同的验证码方式。
  • 跳转验证:跳转挑战通过302307跳转去防护无法正常执行跳转的爬虫,主要通过302307跳转挑战检验用户交互行为,开启后会下发跳转CI。该功能特点是无需用户互动,后台自动实现无感交互验证,用户体验得到提升。
  • Cookie验证:Set ws-cookie,客户端生成cookie发送给云端校验Cookie的合法性。该功能类似跳转验证机制,但动态生成cookie更安全,纯后台自动化能力,用户体验也无感。
  • JS前端对抗验证:通过下发JS代码捕获用户操作行为,再通过内部请求的方式发到WAF节点进行校验。该功能也是后台自动校验,无需用户操作交互。
  • 动态校验算法:首次访问RST重置,让客户端重连,以此判断终端可信度。该方式在首次访问时,RST重置,让客户端重连,以此判断终端可信度。

3.2.3基于用户行为的AI大数据分析

离线分析用户访问日志,利用爬虫特性建模,分析用户可疑行为(访问时长、地理位置、访问频率等等)。

3.2.4指纹水印防护

在客户端嵌入脚本,生产终端特有的唯一指纹信息,传到云端进行差异对比,识别过滤异常终端请求。

3.2.5爬虫陷阱

在网页中嵌入不可见的链接作为陷阱,当客户端多次访问陷阱链接,且访问深度达到指定层数时进行告警、拦截。

4.方案优势

优势1:多维度安全防护算法,具备L3-L7层全周期安全防护,实现多层防护联动与威胁综合判断。

优势2:流程自动化联动,一套API对接,可按需与自身安全体系自动化联动

优势3:自动化能力编排,构建安全、性能、算力三大能力矩阵,在统一管理平台下实现能力自由编排整合,更优、更灵活的价格,按需开通,可自助订购

优势4SaaS化部署,按需开通,售后无忧,一个平台融合多种能力,一键开启业务接入,交付快,可远程运维。

5.总结:

随着生成式AI技术的发展,BOT伪装越来越隐蔽,单一的防护算法已经很难满足实际场景需求,被黑客突破的事件比比皆是,多样化算法组合防御优势越来越明显,天翼云AOne边缘安全加速平台的Bot防护能力提供5大防护能力,为文旅、金融等各个行业客户提高安全防护等级,提升用户体验,同时降低运维难度,助力行业客户实现业务快速创新发展。

0条评论
0 / 1000
送水工人
2文章数
0粉丝数
送水工人
2 文章 | 0 粉丝
送水工人
2文章数
0粉丝数
送水工人
2 文章 | 0 粉丝
原创

玩转AOne之Bot爬虫防护手段浅析

2024-11-28 09:53:15
3
0

1.Bot/爬虫安全威胁背景说明

在当今的线上票务市场,bot技术被一些不良分子滥用,严重扰乱了正常的购票秩序。这些自动化程序,或称作Bots,能够快速地模拟人类操作,短时间内高频次地访问售票网站,绕过常规的购买限制,大量抢购热门景点/演出或赛事的门票。这种行为不仅剥夺了普通用户的购票机会,还可能导致票价飙升,破坏市场的公平竞争,甚至滋生灰色产业链。更为关键的是,它挑战了我们的技术防护能力,迫使我们必须寻求更有效的对策来应对这一新兴威胁。

2.传统常见防护方案的现状说明

2.1.传统防火墙防护:

主要针对HTTP headerbody特征进行自定义组合,实现访问控制和限速,但是在应对变异爬虫,营销作弊和“薅羊毛”等业务略显不足,且对性能消耗较大。

2.2.单一验证码:

单一验证码防御很容易被图片识别等AI技术直接绕过,多层验证码对于用户操作难度又会增加,前些年12306抢火车票的验证码一度成为社会热点,也是因为为了对抗黑客识别技术,才提升了验证识别难度,但同时也大大降低了用户的便捷性。


2.3.设备指纹:

需要对接SDK,开发成本较高,无法同时保证安全以及服务性能,叠加使用多厂商产品,无法有效联动,运维成本高。

3.天翼云AOne边缘安全加速平台防Bot方案解析

3.1.平台架构

 

3.2.Bot防护功能详情

3.2.1云端海量Bot情报匹配

基于天翼云上超大规模的信誉情报库,碰撞恶意爬虫、恶意IP的访问记录。平台情报库已生成大量已知恶意爬虫,并在不断攻防当中持续优化维情报库,做到事前防护。同时可针对低信誉IP进行标记,从威胁类型维度(IDC服务器、傀儡机、漏洞利用等十几类)进行IP封禁,降低攻击源数量。除此之外,还能够针对机房IP识别标记,精准识别IDC机房出口IP,防止攻击者利用IDC中心发起攻击。

3.2.2算法挑战

通过图片验证码、JS跳转的方式校验用户交互行为,并且能够通过302/307跳转来防护无法正常执行跳转的爬虫。

  • 图片验证码:采用设备环境、行为特征、访问频率等多个风险判断要素,支持智能随机、滑动拼图、文字点选、图标点选、语序点选等13种验证方式。该功能特点就是需要用户互动操作,验证码的复杂性和安全性正相关。边缘安全加速平台为了提高用户体验,引入了用户风险分类控制策略,不同风险等级的用户推荐不同的验证码方式。
  • 跳转验证:跳转挑战通过302307跳转去防护无法正常执行跳转的爬虫,主要通过302307跳转挑战检验用户交互行为,开启后会下发跳转CI。该功能特点是无需用户互动,后台自动实现无感交互验证,用户体验得到提升。
  • Cookie验证:Set ws-cookie,客户端生成cookie发送给云端校验Cookie的合法性。该功能类似跳转验证机制,但动态生成cookie更安全,纯后台自动化能力,用户体验也无感。
  • JS前端对抗验证:通过下发JS代码捕获用户操作行为,再通过内部请求的方式发到WAF节点进行校验。该功能也是后台自动校验,无需用户操作交互。
  • 动态校验算法:首次访问RST重置,让客户端重连,以此判断终端可信度。该方式在首次访问时,RST重置,让客户端重连,以此判断终端可信度。

3.2.3基于用户行为的AI大数据分析

离线分析用户访问日志,利用爬虫特性建模,分析用户可疑行为(访问时长、地理位置、访问频率等等)。

3.2.4指纹水印防护

在客户端嵌入脚本,生产终端特有的唯一指纹信息,传到云端进行差异对比,识别过滤异常终端请求。

3.2.5爬虫陷阱

在网页中嵌入不可见的链接作为陷阱,当客户端多次访问陷阱链接,且访问深度达到指定层数时进行告警、拦截。

4.方案优势

优势1:多维度安全防护算法,具备L3-L7层全周期安全防护,实现多层防护联动与威胁综合判断。

优势2:流程自动化联动,一套API对接,可按需与自身安全体系自动化联动

优势3:自动化能力编排,构建安全、性能、算力三大能力矩阵,在统一管理平台下实现能力自由编排整合,更优、更灵活的价格,按需开通,可自助订购

优势4SaaS化部署,按需开通,售后无忧,一个平台融合多种能力,一键开启业务接入,交付快,可远程运维。

5.总结:

随着生成式AI技术的发展,BOT伪装越来越隐蔽,单一的防护算法已经很难满足实际场景需求,被黑客突破的事件比比皆是,多样化算法组合防御优势越来越明显,天翼云AOne边缘安全加速平台的Bot防护能力提供5大防护能力,为文旅、金融等各个行业客户提高安全防护等级,提升用户体验,同时降低运维难度,助力行业客户实现业务快速创新发展。

文章来自个人专栏
安全技术分享
2 文章 | 1 订阅
0条评论
0 / 1000
请输入你的评论
0
0