BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

高亮谈大数据存储、分析、产品化

| 作者 崔康 关注 0 他的粉丝 发布于 2014年9月11日. 估计阅读时间: 5 分钟 | 都知道硅谷人工智能做的好,你知道 硅谷的运维技术 也值得参考吗?QCon上海带你探索其中的奥义

在最近举行的百度世界2014大会大数据论坛上,百度大数据部研发副总监高亮分享了百度在大数据存储、处理和产品化方面的最新成果。

在今年4月份百度发布了开放大数据引擎战略,高亮指出,虽然大数据概念炒的非常火,但是大数据内部运作的逻辑和传统行业是比较类似的。

如果传统行业做实业的话,首先要有地基,你要有厂房,要有原材料,然后做加工,接下来设计成独立的产品,给客户带来独特的体验。开放云就是大数据的地基和厂房,原材料就是在线上和线下产生的海量数据。现在百度目前每天数据规模,2013年是25PB,这个数字在快速的变化,我们现在处理的能力已经提高一倍,数据上目前是50PB,增长了一倍,这个就是我们目前大数据库要处理的数据的原材料。

大数据处理能力分为几个层次,首先是数据存储,然后是智能分析,然后是做出产品。在几年之前,百度的数据存储在每个产品线都有自己的方式。后来用了两年的时间构建了现在的数据存储方式,首先解决了数据的传输,现在百度很多产品线要实时产生大量海量的数据,这些数据都需要被实时的储存一个地方。但是这些产品线的数据格式都是异构的。大数据部门做了非常多的标准化的工作,在基础上形成了第一个海量数据储存的产品,叫通用的数据仓库。总结起来,一是构建了实时的海量数据的传输平台,任何一个产品线产生的数据都能够实时的传送到这个数据仓库里面。二是做了实时的数据标准化的工作,无论你的数据是什么样的格式,到数据仓库里面都以同样的格式来储存。

有了这个物流,有了这个标准化,我们能够在这个基础上对数据进行更多的分析和加工。

高亮指出,整个数据的流程是全自动化的,从数据的生成、数据的传输、数据的标准化,到最后数据的归类、数据的分析,都是全自动化的。

这个产品(Query Engine)是一套标准的海量数据储存方案,无论你的数据是什么样的,经过处理会把它做成数据标准化,当数据实时生成,有非常好的数据传输框架,保证你的数据上传到百度的开放云,在上面进行建模,进行各种各样可视化分析和决策的过程。我们已经成功了上传分析一家合作企业将近10T的关于新能源方面的一些数据。

在数据被结构化存储以后,接下来是在这个基础上进行各种各样的智能化分析。就像传统行业有自己的产品设计中心一样,会对产品进行各种各样的分析、排列组合,做各种各样的实验。在这个实验的基础上能够产生出比较好的产品,能够满足用户的需求。大数据部门也有这样的需求,也需要有大数据产品的设计中心,在这个设计中心需要做很多实验,做出适用于百度,适用于客户的数据产品。

我们大数据新产品的设计中心,可以进行很多实时的智能分析,做很多的实验,对产品进行很多排列组合,看哪一种产品能够最适合行业,满足百度的需求。

对于大数据产品,高亮列举了几个上线的实例,包括百度司南、预测、推荐等。其中百度司南门专门针对发展到一定阶段、有了一定的品牌影响力的企业,能够让企业对自身的品牌有更客观的了解,主要体现在三个方面:

  • 品牌分析,了解你的品牌在同行业中的地位如何,周边的人如何看待你的品牌,口碑如何,这种分析几乎是实时的。
  • 用户关注点,比较忠实的用户除了关注你的品牌,他还关心什么别的,他还对什么样的东西感兴趣。
  • 渠道分析,用户通过什么渠道了解到你的品牌,这样以后做营销行为,就知道如何很快的影响到你的受众,什么样的渠道是最有效的。

那么百度司南有什么实际应用呢?高亮从代言人、舆情分析两个方面做了展示。

很多品牌到了后期推广的时候,都有找代言人的需求。什么样的代言人在你最想影响的受众是最有号召力的?之前可能是一些拍脑袋的决策,但是通过司南,通过海量的数据,通过海量的用户行为分析,可以帮助你做一个决策的科学。实际上我们已经通过大数据的分析,可以产生出超过一千家的企业,它们最合适的代言人到底是哪一位。

另外一个是舆情分析,实际是跟品牌的口碑最像。企业里有一系列的产品,每一个产品可能有轻微的差异化,就像我化妆品一样,每一款产品在用户中的口碑到底怎么样,用户喜欢这些产品什么样的功能,不喜欢这些产品什么样的功能。在之前,很多公司通过调研公司到各个城市,通过实时的访谈获得一些统计数据。整个过程要耗费一个月左右。通过舆情分析,几乎可以实时告诉你这个答案,到底有多少用户是喜欢这个功能,有多少用户不喜欢这个功能。一个月和实时的差距,就是百度大数据能给传统行业带来的竞争力。

最后,高亮表示,目前的产品只是揭开了冰山一角,在大数据这个方面,产品设计的想象力其实是很多很多的,后面会陆续推出一系列的大数据产品。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT