BT

您是否属于早期采用者或者创新人士?InfoQ正在努力为您设计更多新功能。了解更多

《Storm技术内幕与大数据实践》作者陈敏敏谈大数据技术在电商领域的应用

| 作者 臧秀涛 关注 0 他的粉丝 发布于 2015年9月7日. 估计阅读时间: 不到一分钟 | 硅谷人工智能、机器学习、互联网金融、未来移动技术架构 ,尽在QCon上海2017

在10月15~17日的QCon上海2015上,1号店资深架构师、《Storm技术内幕与大数据实践》一书作者陈敏敏将分享《1号店通用精准化平台架构以及大数据营销实践》。在大会开始之前,InfoQ就Storm、Spark等技术在电商领域的应用等话题采访了他。以下为采访内容。

InfoQ:首先请向InfoQ的读者做一下自我介绍吧。

陈敏敏:我目前在1号店担任精准化部门的架构团队负责人。在此之前曾服务于微软和三星电子等公司,长期从事大数据、搜索和推荐平台相关工作,目前主要关注NoSQL、实时计算框架、推荐、大数据营销等相关技术。

InfoQ:您在演讲中将分享Storm、Spark等技术在电商部分领域中的实践。可以介绍一下为何会选择这类技术吗?

陈敏敏:我刚开始在1号店开发了Hadoop版用户画像系统,数据是一天更新一次,后来随着业务的发展,需要知道用户晚上到家了,推荐结果中需要加入用户白天在公司看的产品;下班路上,知道用户下午看了什么,画像系统一天更新一次慢慢需要变成一天更新两次,渐渐到2014年上半年需要一天三次。

要更新三次的时候,遇到了很大的瓶颈,整个画像的数据流比较长,又要和全量的数据关联,跑完一次都要4到5个小时,势必一天一半多的时间都在跑数据,而且各种job跑的时候,那部分时间的最新行为没法引入到画像系统中,迫使我们不得不考虑其他解决方案。

当时对比了几个实时计算框架,Storm已经流行一段时间,业内也慢慢有一些实践案例,其它当时成熟度还不够。如果业内应用场景不多,到时上线的时候,坑会比较多,后来决定用Storm开发实时画像。那个时候大家经验都不是很足,集群经常发生各种莫名其妙的问题,一个应用干扰了另一个应用、进程动不动内存溢出重启等等,大约到年中的时候才差不多开发完,后来实时集群又慢慢衍生出实时意图、实时广告投放、实时显示每个品类下各个群体的用户数等项目。

至于用Spark,做推荐的时候,开始用了Hadoop mahout版的基于内存的FPG和分布式的PFP挖掘频繁项集,遇到了一定的瓶颈,数据ETL的各个过程通过HIVE也比较慢,后来决定引入Spark,在调优上也慢慢积累了一些经验,后来基于Spark开发了促销排期等项目,这些技术的引入都是在各个时期遇到不同的瓶颈,自然而然的结果。

InfoQ:电商相关的业务有何特殊性,可以介绍一下这些技术的具体应用情况吗?

陈敏敏:国内各个电商运营的玩法越来越多,数据越来越复杂,促销活动也越来越多,大大小小的促销几乎每一两周都有,竞争一直比较火热。运营人员往往要拉历史数据,花不少时间人工去对比一张张Excel表格,决定每一个阶段选哪些品牌或主题做促销。

我们那个时候想通过大数据的方法辅助他们运营;其次,影响推荐系统的权重,算法其实可能只占10%,数据清洗的投入、业务理解各自占据着20%以上的权重,推荐技术从单纯的提升GMV也慢慢转向提升跨品类销售、提高用户粘性等,这些因素,也迫使电商做更加灵活、更加精细化的投放和营销,以更加精准的命中用户群的需求,给广告投放、推荐栏位、大数据营销等带来价值。

InfoQ:可以分享一下Spark的研究和使用经验吗?

陈敏敏: Spark的东西比较多,我们这边分头研究的,比如,有人专门看图计算、有人专门看内核等,然后定期互相分享,在实践中我们也只是用了一些常规的算法和数据处理,其它深度学习和LDA等大数据的算法,在数据量上来后,目前还不是很好在Spark上应用,它们的Model往往都非常大,如果用GPU集群,GPU对内存中的Model的修改可以一致,速度稍微快点;如果用分布式的内存,Model分散在分布式内存中,随着Model慢慢增大,对Model做修改,内存之间需要做大量Shuffle操作,速度会非常慢,而对于超大规模集群,GPU也不行,超大规模的情况目前还是基于分布式的内存,谷歌大脑就是基于分布式内存的。

InfoQ:可否介绍一下相关的技术栈?

陈敏敏:大数据技术的范畴还是比较大的,下面有索引、消息系统、NoSQL和NewSQL等分布式存储媒介。

目前一个大数据平台往往需要多种存储系统,每一个存储都有它的利弊,不同的业务场景往往需要不同的系统,我们用户维度的数据同时存在了Hive、HBase和Solr中,以满足不同的业务场景;往上,分布式计算目前比较流行有流式计算、迭代计算、MR等,Spark的MR和Hadoop的MR也是有不少差别的,Hadoop中Map-Merge-Shuffle-Merge-Combine-Sort-Reduce几个过程比较固定,事先排序好再做归并提高性能,而Spark因为是以内存作缓冲区,并且是Hash-Based,可以边Shuffle 边 Aggregate 数据,不用很在乎那部分性能,可以根据场景需要再做排序,更加灵活;前面这两块很多技术原理又是相通的,比如:Storm和Kafka都要涉及消息的可靠性和顺序性,不少系统都需要推举Master的Paxos算法等分布式技术。

再往上就是具体搜索、广告、推荐、图像\语音识别等产品了,这些技术有交集,但是差别也是不小,常用算法和关注点等都不一样,搜索的常用算法有PageRank、NLP等,广告的逻辑回归等,推荐的协同过滤、关联规则等,有些关注ROI、有些关注GMV、交叉销售提升等,基础是机器学习、数据挖掘、自然语言处理等算法。

最后是BI、大数据营销等产品,目前基于大数据的可视化以及相关OLAP的工具发展还不够成熟,上次Cloudera的人介绍了一个看起来不错的可视化产品,要收费不开源,交互式查询的Impala、Kylin、Pestro、Spark SQL这一块发展比较快,但是数据量上来,查询分析速度还是没有传统的BI工具用的舒服,需要预先通过编写UDF等计算好,而不是通过工具操作就可以预先生成一些纬度数据,降低分析人员的门槛。当然Hive本身也在优化,除了把存储文件转成ORC File、引入Tez引擎,本身的MR引擎也在优化,相信未来Hortonworks能把常规的查询等优化到1秒。

InfoQ:Twitter又开发了Heron,这方面对您有什么启发吗,可否分享一下您的认识?

陈敏敏: Heron还没开源,看论文里的描述应该算Storm的2.0, 我觉得至少比Hadoop 1.0和2.0之间的差异要小的,等它开源了,试用一段时间,再看看吧。个人觉得可能会和阿里的JStorm那样成为Storm的另外一个分支,会处于一个长期竞争关系,最终哪一个更好,看团队、公司投入等,现在还不好说。

一般新东西出来后,等业内使用过一些不同场景,更新了几个版本,再使用比较好,用的最早的那批坑也比较多,业务上线的那段时间会比较痛苦。

InfoQ:可以谈谈您编写《Storm技术内幕与大数据实践》一书的缘起吗?给我们分享一下写书的感受吧。

陈敏敏:当时做Storm项目,资料比较少,看到市面上的两本Storm的书,要么大部分内容来自英文官方文档,要么就是差不多的例子写了很多页。

回想起项亮的《推荐系统实践》、吴军的《数学之美》等书,都是比较精致,看起来比较舒服,在圈子里口碑也不错,遂想也搞一本不浪费大家时间的书。现在看京东上96%好评,只有两个中评,基本完成了当初的目标,不过里面实践部分不足,当时主要担心公司项目万一涉密,引起不必要的麻烦,后来最后找我们的CTO写序的时候发现没那么严格,现在正好把缺失的一些实践部分,在QCon上分享下。

对于写书,我觉得有一个宗旨,不能为了写书而写书,否则浪费读者时间;而应该尽可能给读者带来一些有用的东西,不用贴很多代码,或者把大家都能看到的东西都东拼西凑作为内容,如果一个人精力有限,可以找合伙人一起,做技术的大家都很忙,看一个书如果像看电影一样,有些看完了,才知道浪费时间了,显然不大好。对于写书比较痛苦的是初稿后的五个月的修改阶段,从前到后得看好多遍,审美疲劳,但是对读者要负责,尽量减少低级错误。

InfoQ:你们架构团队主要做什么?对架构师都有什么样的要求?可否介绍一下你们目前的数据量?

陈敏敏:每个公司对架构师的定义不一样,我们部门主要有推荐系统、精准化触达、大数据营销、PIS(智能比价系统)等产品,对于架构团队首先要保障大数据集群的优化、源码级Bug的解决、以及技术方案选型,目前HBase、Hadoop、Storm、Spark、Solr等都会使用到;其次,大数据的常见算法要知道,否则算法工程师倾向设计严谨的模型,系统不一定能承受得了,了解算法在有些实时场景是否需要简化?用Storm还是Spark?离线和实时怎么融合?最后,SOA、设计模式、微服务等等应用架构也要了解,没有好的模块化,推荐算法可能每个人从数据到栏位单独写一套代码,维护成本越来越高,架构如果设计出好的框架那是比较好的;最后,架构这边承担了新技术预研,大数据技术日新月异,需要能跟得上外界的发展,了解各种新技术的业务价值和成熟度,负责给部门引入新技术,目前部门还缺架构师,如果你感兴趣其中的任何一块,可以联系我们。

目前我们用户维度有1亿多注册用户数据,每个用户有91个属性,并且还在迅速增加中,我们挖掘出来的小区、公司、学校等数据也在不断补充进去;商品维度有1千多万SKU,上百个属性,通过用户评论、标题中挖掘出的标签也在不断的补充进去;另外,我们的订单平日峰值一分钟1000多单,大促时候一分钟8000单左右,目前准备和沃尔玛门店的共享和交换数据,后面线上线下融合的新场景、新玩法也越来越多了。

InfoQ:感谢您接受采访,期待您的演讲。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT