BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Airbnb支付平台如何进行异常检测

| 作者 侠天 关注 5 他的粉丝 发布于 2016年3月25日. 估计阅读时间: 6 分钟 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。

对于全球的房主和客人来说,Airbnb非常希望房客都可以通过他们自己熟悉的支付方式、本地币种来支付房费;房主也可以通过喜欢的货币、方便的途径收取房租。为了实现此目的,Airbnb支付团队构建了一个一流的支付平台来保证支付安全和易用性。

Airbnb为全球190个国家提供服务,支持多种货币类型。大部分情况下,支付系统会成功支付,但有时会出现暂歇性故障,比如,某些货币不能处理或者支付渠道不可访问。为了能够尽可能快的捕捉到这些故障信息,公司的数据团队开发了一个实时的异常检测系统来甄别这些问题。这个异常检测系统可以很好的帮助产品团队定位问题,也让数据分析师能腾出更多的时间来做其它工作,比如,新的付费方式或者产品上线的A/B 测试、定价或者价格预测和构建机器学习模型来做个性化推荐。
为了让大家看到这个异常检测工具的使用,这里通过一些模拟数据集来展示模型是如何工作的。假设一个运行在2020年夏天的电商网站,提供三件商品:监视器、键盘和鼠标,并且两个供应商:Lima和Hackberry。

动机

异常探测系统的主要功能是从时序数据中发现异常数据。简单的情况可以通过整体的直观图表一眼看出来,但大部分情况需要“解密”在这些图表趋势背后的数据。
拿下面这个监控器进货的数据举列,如图1

图1

从图1中看到监控器的总体进货量相当的正常。然后分别分析下两个供货商Lima和Hackberry的数据,见图2

图2

从图2可以看出,Lima是电商主要监控器的供应商,但是在2020年8月18号运输出现问题持续大概3天。Airbnb异常检测系统自动检测出此问题并反馈给二级供应商Hackberry。这里可以看出从整体层面数据根本发现不了此问题,但是从另外一个维度却能清晰的检测出问题。

模型

简单的回归模型
最直观的想法是把天数作为哑变量跑一遍普通的最小二乘回归。模型的公式如下:

其中y是跟踪的总量,t是时间变量,I_day_i 是指示变量,代表今天是这周的第i天,e是误差项。这个回归模型简单并能鉴别前面遇到的问题 ,但是也有其缺点:

  • 增长预测是线性的,一遇到指数式就失效了;
  • 模型有个极强的假设前提:适用于按周的季节性时序数据,不能处理其它模式的季节数据集;
  • 哑变量较多,模型需要更大的样本量才能得到好的结果。

即使能够观察到追踪指标的模式,但不易于扩展变化。Airbnb工程师采用自动的方法避免误差,并让这种技术运用到支付以外的场景。

快速傅里叶变换模型(FFT)
对时序数据集构建一个基于趋势和季节的模型。模型数学公式如下:

其中,Y是度量标准,S是季节变量,T代表趋势,e是误差项。例如,以前面的简单回归模型对比,这里的S代表所有指示变量的和,T等同于at + b。

在这部分,展示新模型如何检测趋势和季节性。基于上面的经验,这次采取两款产品:键盘和鼠标。下图3展示两种产品的销售数据:

图3

从上图3可以看出,键盘是在2016年9月开始售卖,并成为主打商品。2017年8开始引进鼠标。后面将对趋势和季节进行建模,试图发现偏离平均值的异常数据。

季节效应
为了解决季节性效应,这里采用快速傅立叶变换FFT。在简单的线性回归模型中,前提假设是时序数据是按周季节性变化的。从上面的趋势图可以看出鼠标的销售并不是按周季节性变化的,如果胡乱的假设会造成模型误判。而快速傅立叶变化FFT擅长基于历史时序数据总量来进行季节性检测。对时序数据集应用FFT之后,得到下面的图4

图4

图4中season_day周期性余弦值。在快速傅立叶变换中,一般只选择峰值的周期代表季节性,其它周期当作噪音(具体为什么这么选择可以看FFT原理资料)。在这个列子里,键盘的FFT结果有7和3.5两个采样点是大峰值,在45和60两个采样点有小峰值。而对于鼠标来讲,在采样点7时有个大峰值,35、60和80有相对小的峰值。把两种商品的FFT结果合并生成季节性图,如图5

图5

从图5上可看出,键盘的产品季节性增长,主要是按周季节性的。而鼠标有按周的季节性趋势和40天一个周期的季节性。

趋势分析
这里采用滚动中值(rolling median)来作为时序数据集的趋势。使用这种算法的前提假设是苏阿短时间内的增长变化不显著。比如,对某天来讲,采用其之前的7天的滚动中值作为当天的趋势水平。用中值代替平均值使得算法检测异常数据的结果更加稳定,举个列子,对于某一两天来说销量突然增长10% ,如果使用中值则看不出来有什么变化,而采取平均值的话就对趋势有很明显的变化。在这种情况下,采用14天的中值作为趋势,如图6

图6

误差项
在得到季节效应和趋势后,可以评估误差项了。通过误差项可以发现时序数据集里的异常点,这里用原始数据减去季节效应和趋势得到误差项,然后绘图如下:

图7

从图x发现,误差项里有一些毛刺,这就说明了时序数据集中出现异常点。根据实际情况定出所能容忍的负相关度,即选择偏离中心点0多少个标准方差(参考《概率论与数理统计教程》)。这里选择偏离4个标准方差来获得一个合理的阈值警报,结果如图8

图8

从上图可以看出,Airbnb的预警系统非常棒,检测出误差项的大部分毛刺。注意到,其实有些点在人肉眼看来是正常的,但实际是异常数据也被检测出来了。

经过Airbnb内部测试发现这个模型异常数据检测的功能准确。

查看英文原文:Anomaly Detection for Airbnb’s Payment Platform


感谢黄玲艳对本文的审校。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT