BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

近观Strata2014大会

| 作者 包研 关注 0 他的粉丝 发布于 2014年3月13日. 估计阅读时间: 5 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

Strata大会是O'Reilly出品的大数据为主题的会议,其口号是聚集领先的大数据思想,让数据工作(making data work)。目前国内大数据行业关注更多在基础架构方面,而国外已经将焦点转移到数据展示和数据挖掘。2014 Strata大会在美国加州圣克拉拉市举行,不仅有深度的技术实践(演讲PPT与视频),还能看到众多大数据巨头和创业公司很好的展示。

InfoQ采访了Intel大数据平台团队的开发工程师钟翔,他以一名工程师的角度亲临了2014 Strata大会。以下为采访内容:

InfoQ:钟翔你好,向InfoQ的读者介绍下自己吧。

钟翔:我在Intel上海做英特尔大数据分发版,研发工程师,现在近三年了。

InfoQ:说说参加Strata2014大会的整体感受吧。

钟翔:会议规模非常大,参展商特别多,有100多家,代表性特别广,从这些参展商基本可以看出美国大数据的行业脉络和兴趣热点。

InfoQ:印象最深刻的是什么?

钟翔:印象最深的是参展商非常活跃。Strata是行业大会,参会者彼此之间有点像是宣传与被宣传的关系。演讲中的技术干货有,但不是特别多,很多大小公司还是在宣传自己的产品,深度不够。

反观展台的参展商非常活跃,并且因为有Demo和一对一的介绍,可以问得比较深。总体感觉,国内大数据的兴趣主要还在基础架构平台这一层,数据保存、数据查询和数据处理等,普遍做的事情比较偏下层,而像相对上层的机器学习等只有少量的公司在做。美国很不一样,他们主要关心数据衍生的价值,很多大数据企业都在做两件事情:数据可视化和数据分析。这次参展商里估计有60% - 70%都是这类企业。数据可视化是指能够交互式的、探索性的展示数据,比如航班信息延时分析,会通过非常漂亮的交互式的图像展示。美国的公司非常在意数据可视化和数据分析,现在看起来已经成为一种风气。

比如上市公司Datameer善于做数据分析,和他们沟通中得知,他们有很多五百强客户。

一家有医疗服务业务的公司叫YarcData,辅助医生做出诊断。医生只要输入病人的症状的描述,有a症状,有b症状,没有c症状,系统就会自动分析给出相应诊断。

还有一家做可视化的公司Splunk,也是上市公司,他们的产品可以做日志数据的实时抓取和可视化展现,有了它,集群运维团队可以简单点几下鼠标就可以看到整个集群的状态。而且这个可视化是动态、实时、交互式的。

InfoQ:美国的这些大数据创业公司在哪些细分技术或领域做的更多?

钟翔:整体的分布刚才提到了,更关注数据分析和可视化。而在具体的技术点或细分领域,美国的创业公司并不像国内扎堆追某几个热点,它们涉猎更广,做的东西都比较独特。比如Skytree专注于提供优化的机器学习算法库,他们展示用这一算法库探测异常的天体。做基础架构平台的公司也有很多独特的地方,比如有的分布式数据库公司在数据节点层做热备份,从而实现高可用性。还有的公司在类HBase系统上建一层cache,大幅提升读写性能。还有的公司把大数据集群,数据分析和可视化通通搬到公有云上,在云上做BigData as a Service。所有这些公司的产品,可能技术不是太难,有些只需要对开源产品做少量改动,但他们确实解决了特定用户的特定需求。

InfoQ:的确,全方位的创新非常多。

钟翔:而且美国的公司非常强调用户体验,哪怕是几个人规模的创业公司,产品的用户体验都非常棒。还有一点很有意思,这些公司里面,很多都是学校的教授创办的,美国的学界和产业联系非常紧密,这点和国内不太一样。

InfoQ:哪些技术格外受关注?

钟翔:时间有限,只能参加一小部分。我比较感兴趣的首先是Spark,会议第一天有半天时间关于Spark的培训,还有很多比较有趣的演讲。然后需要提下第一天的“Hardcore Data Science”全天的Session,有很多实打实的技术和干货。比如Google分享了Deep Learning,信息量很大,有一些实际的例子,解决的都是实际的问题,演讲和问答环节都非常务实,这一天还有GraphLab的Alice分享了她理解的机器学习的挑战,懂机器学习的人往往不懂数据结构,而懂数据结构的又不懂机器学习,她抽象出了Flat Table和Graph两类基础数据结构,对Tool开发者有很大启发意义。还有一个Ben Hamner分享的“Machine Learning Gremlins”总结了机器学习的雷区,非常有趣。

KeyNotes里面引人注目的是Intel副总裁Boyd Davis宣布了新的产品Intel Data Platform,将在Hadoop之外引入更多的Apache项目如Spark、Shark、Kafka、Storm等,以及高级的分析工具包。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT