BT

你的观点很重要! 快来参与InfoQ调研吧!

腾讯云11·11:千亿订单背后的安全“暗战”

| 作者 戴唯伟 关注 0 他的粉丝 , 江柳 关注 0 他的粉丝 , 蔡芳芳 关注 1 他的粉丝 发布于 2017年11月11日. 估计阅读时间: 12 分钟 | ArchSummit社交架构图谱:Facebook、Snapchat、Tumblr等背后的核心技术

每年的电商大促,就像是一次次的系统检阅仪式,接受着来自用户、同行以及老板的审视。而在一次次订单量记录刷新,成交额飙出新高的同时,平台架构也在面临巨大的挑战,如页面打不开、服务不可用、优惠券被薅、网络被攻击、支付延迟等都有可能发生。那么针对这些问题,腾讯云是如何助力其电商客户解决?本文将从海量并发、安全性、用户体验几个方面,深入讲解腾讯云电商平台最佳实践方案。

另外,由InfoQ举办的ArchSummit全球架构师峰会即将于12月8-11日北京举行,大会与阿里巴巴合作策划了双11架构专场,并邀请了顶级技术专家担任出品人,设置了“新一代DevOps”、“人工智能与业务应用”、“架构升级与优化”等17个热门话题,目前大会日程已出,欢迎前来讨论交流。

海量并发弹性扩容

回顾近年来的电商大促,最具特色的便是抢购、秒杀活动了,而这也使得Web 访问量可能瞬间陡增十倍甚至是数十倍,对接入层、逻辑层的按需、实时、快速平行扩展能力提出了较高的要求,如选用传统的硬件设备搭建集群,会遇到成本高昂,运维繁琐等问题。

对于这些问题,可以采用负载均衡配合云监控、弹性伸缩(Auto Scaling)、消息队列、分布式缓存、分布式数据库等服务来解决。

  • 负载均衡服务:CLB 单集群的最大并发连接数超过1.2亿,可处理峰值40Gbps的流量,每秒处理包量为600万,负载均衡服务曾在历年的春节微信“抢红包”历练;
  • 弹性伸缩可以根据需求和策略,比如CPU利用率达到阀值,就自动扩容指定数量的云服务器,也可根据定时、周期或监控策略,相应地增加或减少CVM实例,并完成配置,保证业务平稳健康运行。

对于自建IDC的客户,则可以采用混合云的模式,以专线将腾讯云与其自建IDC连接起来,这样仅在公有云上部署其接入、逻辑、cache层,就可充分复用公有云的BGP接入及弹性的能力。

腾讯云安全体系防御原理及过程分析

安全性对于电商平台来说,不仅仅在大促期间会一而再再而三地关注到,它更是一个日常话题,网站入口、支付等环节,都往往处于“高危”环境,来自于网络“黑客”及“黑产”团队的恶意攻击等,都有可能会导致网站核心业务不可用、运营投入的大量优惠券被“羊毛党”抢占,甚至给后台系统带来“致命”打击。

腾讯云今年推出了AI安全战略,以大数据和AI的算法为驱动,构建应用于安全领域的包括社交图谱分析、图像自动识别、自然语言处理、知识表达推理等AI通用能力,形成智能身份鉴定、威胁情报分析、异常流量检测、网络攻击溯源、人机行为识别、恶意图片识别、垃圾文本检测等7项技术应用。

这些能力通过多款产品,如业务安全(天御)、主机安全(云镜)、数据安全(数盾)、移动安全(乐固)、账号安全(祝融)、网站与流量安全、内容安全与风控安全,为客户提供安全保障。本次我们将重点放在电商客户最常遇到的网络安全和业务安全展开介绍。

网络安全检测系统及防御原理

BGP高防(大禹)产品是腾讯云针对电商网站遭受大流量 DDoS 攻击时服务不可用的情况推出的增值服务,提供300G 的防护服务并拥有35线的 BGP 线路,帮助客户全面应对DDoS 攻击的挑战,同时改善客户的访问体验。


图:腾讯云DDos防护体系架构

BGP高防攻击检测

对于BGP的高防攻击检测,腾讯云采用光棱镜物理分光来做1:1流量镜像,旁路Netflow检测镜像流量,不影响客户正常业务流向,检测后的镜像流量被丢弃。检测原理主要是基于流量建模分析客户IP的流量中是否存在攻击流量。

  • 对于清洗攻击,在检测到某个IP被攻击后,清洗集群向核心路由发布BGP牵引路由,将该IP的流量牵引至清洗集群防护。清洗后的干净流量,再通过BGP路由回注至核心路由,最终流至客户的云主机或通过转发集群流至客户在腾讯云外的机房。
  • 防护算法主要是基于IP/TCP/UDP协议的缺陷检测及HTTP、HTTPS报头的分析,不涉及、不查阅业务负载报文,防护系统对客户的业务数据完全无感知。
  • 云内客户通过高防包绑定需要防护的设备,来提升防护级别。
    • BGP高防专区除了提供高防服务,还同时对腾讯云客户的公网IP提供基础防护
    • 业务部署在腾讯云的客户,可以将绑定高防包绑定至需要防护的设备,提升防护级别。

  • 云外客户通过高防IP牵引攻击流量,保护后端业务
    • 客户在腾讯云高防IP上配置业务转发规则;
    • 客户将高防IP作为业务IP对外发布;
    • 所有流量都先经过腾讯高防IP,再转发到客户真实源站,攻击流量在高防机房被清洗。
    • 高防IP基于公网IP回源,在其他云或IDC机房的业务,都可以接入腾讯云高防IP的防护

网络安全防御实践

大禹是腾讯云AI安全战略的网站安全防御系统,大禹网站高防可抵御SYN Flood、ACK Flood、UDP Flood、NTP Flood、SSDP Flood、DNS Flood、HTTP Flood、ICMP Flood、CC等各类攻击。防护与腾讯安全大数据平台联动,实时更新防护策略库,有效防护新攻击手法。

  • DDos防护:大禹 BGP 高防基于先进特征识别算法进行精确清洗,抵御 Syn Flood、ICMP Flood 等各种大流量攻击。业务接入大禹 BGP 高防后,该功能自动开启,无论是 SYN Flood、UDP Flood 还是其他类型的大流量攻击,大禹 BGP 高防系统单节点能够防御300Gbps攻击。
  • CC防护:大禹 BGP 高防通过模式识别、身份识别等多种手段,来识别恶意访问者,同时采用重认证、验证码、访问控制等手段,抵御 http get 等各类应用层攻击。恶意竞争者和黑产从业者将无法通过应用层攻击威胁到客户的业务服务器。

腾讯目前通过自建骨干网的CAP平台,BGP链路对接了35家运营商,其中包括中国电信、中国联通、中国移动、中国教育和科研计算机网、中国科技网5家运营商。其余为中小运营商,包括:鹏博士、长宽以及各地广电等宽带接入服务商。

腾讯云业务安全防御框架深度解析

“羊毛党”双十一刷单流程

“羊毛党”其实早已经从个体行为、小作坊发展成了产业链,他们往往有着明确的分工,已形成几大团伙。下图为电商刷单团队的工作模式和任务分工。


图:电商刷单团队的工作流程

具体操作方式:

1.软件制作团伙:专门制作各种自动、半自动的黑产工具,比如注册自动机、刷单自动机等;他们主要靠出售各种黑产工具、提供升级服务等形式来获利。

2.短信代接平台:实现手机短信的自动收发。这其中,有一些短信平台是亦正亦邪,不但提供给正常的商家使用,一些黑产也会购买相关的服务。

3.账号出售团伙:他们主要是大量注册各种账号,通过转卖账号来获利;该团伙与刷单团伙往往属于同一团伙。

4.刷单团伙:到各种电商平台刷单,获取优惠,并且通过第三方的电商平台出售优惠,实现套现。

腾讯云天御系统安全监测方案

腾讯天御产品通过腾讯积累的安全大数据和防刷引擎,精准识别“薅羊毛”的恶意行为,避免企业被刷带来的巨大经济损失。其防御过程大概如下:

1.通过天御防刷,判定请求流量是否为恶意(API实时接口);

2.之后,天御结果200毫秒内返回,厂商可根据返回的风险值(level),共计5个档位做合适的处理:

3.若厂商需要做精细化运营,或者希望对某种异常标签做针对性的打击。可参考risktype返回的标签。通常根据风险值(level)做处理已足够。在风险值level不为0的情况下,risktype可任意组合(根据命中异常的标签实际情况)。

风险防御处理案例解析

以下为某厂商根据天御返回的风险值(level)进行处理的实际案例:

基于输入参数的实时分析系统,确保每次请求都实时评估判定:

  • 传统黑名单机制,极易造成用户投诉。比如手机重放号、账号被盗后找回等,因历史作恶判定为黑而永久黑;
  • 天御的实时判定服务,确保在不同的环境(如IP)下,实时关联数据亦不相同。所以每次请求,即使是同一个账号,亦会做出公允的评判
  • 天御实时模型,在大量业务中学习和训练。这是整个服务的核心引擎,确保高可用高覆盖

创新玩法,提升用户体验

除了基础稳定性、安全性的保障,越来越多的电商平台,也在寻找新的模式、新的玩法,来提升自身平台的用户体验,提升转化率。腾讯云就现金电商平台的业务需求,总结了以下三大创新应用:

  • 智能推荐,是最普适的一个诉求,面对不同的用户,根据客户的特征、喜好,展现不同的商品,一来可以提升用户好感度,另一方面也是提升转化率的良方。但这对于一般企业来说,是个漫长的周期,需要投入大量的人力和时间,不断地积累数据,不断地打磨算法,才能有所见效。腾讯云依托腾讯在电商、游戏、金融、泛娱乐、资讯及 3C 等多领域深厚的大数据技术积累,为客户提供基于海量用户画像 + 实时大数据机器学习的内容个性化推荐 PaaS 服务。
  • 电商+直播。说到新玩法,“电商+直播”绝对是一个绕不开的火热话题,然而自主研发,却是难熬的等待,腾讯云基于腾讯多年在视频领域的经验,推出一站式解决方案,从全平台的推流主播SDK,到海量云端处理系统,再到强大的CDN云端加速,最终到用户播放SDK,无缝链接,24小时即可完成接入。
  • 当然,如今备受关注的小程序,也是一个不得不提的话题,据统计,蘑菇街女装精选小程序7月4日正式上线,截至目前已经获取了6000万的新客户。到9月份,日均访问量增长较7月超过200%,GMV增长超过140%。而小程序现有的SDK/DEMO缺乏对云端的支持,依赖开发者逐个模块搭建云端服务,过程繁琐。腾讯云提供了一键构建具备云端能力的专属小程序,提高小程序开发的效率。此外,还提供PaaS级的WebSocket信道服务,降低了开发者使用WebSocket通信的门槛。同时,通过提供完整的鉴权会话管理服务,来保证用户的信息安全。

写在最后

本文通过云端海量并发弹性扩容、AI安全体系防御构建与实施、电商领域的创新应用三大板块介绍了腾讯云如何在双十一电商大促的情境下,为电商平台提供可用、高效、完善的安全护航方案。电商与黑产之间的较量从来不会结束,双十一来临之际,我们希望通过一些对抗黑产的新经验和技术的分享,给电商从业人员以及相关的开发者提供一些新的思路和借鉴。

作者介绍

戴唯伟,腾讯云解决方案资深架构师,5年传统SI技术工作经历,5年公有云上云架构咨询经历。上云架构“老司机”,曾就职于微软云、金山云,对国内外云厂商产品发展、各类用户上云历程有很多“切身体会”。深谙传统企业客户、游戏行业客户、互联网行业客户“上云”和“用云”的痛点、难点和机遇,职业理想是做云计算和AI殿堂里的“扫地僧”。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT