BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

基于 Hive / ES 金融大数据指标系统
录制于:

| 作者 沈百军 关注 0 他的粉丝 发布于 2017年2月21日 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!
39:37

概要
如何让业务线精准、个性化的服务于客户;技术得讲:如何在几亿条的数据,几万个字段中以毫秒级别筛选出有价值的数据,也就是同时要建几万个“索引”字段的数据库,是数据行业的一个难题;我们在开源和商业产品上面做了很多的对比,最后选定了 elasticsearch 作为数据引擎。 如果能让几百个维度几万个度量值组合查询,做一个超级 cube,一直是我们想解决的问题。当 ES 数据导入之后,我们进行了聚合查询测试,发现 elasticsearch 的多维聚合查询能力也是非常惊人,原本我们选择 kylin 的解决方案,做了相应的转变。 指标系统为精准客户经营,多维统计分析解决了难题。而后在千人千面项目中,需要提供在线的客户标签的 API 接口,我们加入了 redis 缓存层,让并发和请求时间又提升了一个数量级,给我们指标系统插上了翅膀。

个人简介

沈百军,2011 年,PPTV 负责 10PB 规模的大数据平台,搭建了 hadoop/hive/storm/spark 等开源组件,自主开发核心调度系统 & SQL Storm,每天处理万亿数据;2015 年加入平安证券,负责金融互联网大数据团队,使平安证券由传统的数据架构向互联网大数据架构转型,为平安证券的各个业务线提供敏捷和稳定的数据平台,其中大数据计算调度和客户指标系统在业界有很多创新点,以智能化和高性能为特点,是平安证券大数据业务发展的发动机。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT