BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Hadoop Summit 2016欧洲峰会开幕Keynote回顾

| 作者 李扬 关注 0 他的粉丝 发布于 2016年4月15日. 估计阅读时间: 3 分钟 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!

2016年4月13日,都柏林的Liffey河畔,Hadoop Summit 2016在Convention会展中心盛大开幕。以下是Kyligence CTO李扬在现场为我们带来的开幕Keynote回顾。

在可容纳2000人的Auditorium大厅,爱尔兰风十足的打击乐和踢踏舞过后,Hortonworks总裁Herb Cunitz首先亮相。开场白很简单,除了强调与会人数和讲演场次的再攀新高,着重说明了为什么要在都柏林举办大会--因为大家最爱的Guinness黑啤酒的产地就在都柏林!

第一个Keynote来自Hortonworks CEO RobBearden,他的主题是“数据正在改变商业世界”。Hadoop技术走过了十年,大数据不再是象牙塔和实验室里的玩具,它已经能切实地创造商业价值,深切地改变商业世界。零售商通过大数据技术做精准市场预测,洞察物流效率,每年可以节省7000万美元系统开支,营收增长8%,利润增长3%。保险公司通过实时分析司机的驾驶模式,动态计算行驶风险并奖励安全驾驶,带来每年26亿美金的保险金增长,减少4%的理赔损失。

之后Hortonworks联合创始人Arun Murthy登台,从技术角度展望Hadoop平台。HDFS和YARN作为大数据的操作系统已经非常成熟,将来是中间件和上层应用百花齐放的年代。Apache Nifi是集群系统之间的胶水,能实时和可视化地操控数据的流转和对接。Apache Range和Apache Atlas一并可以实现基于标签的全局访问策略。最后YARN.NEXT技术可以根据应用的组装描述文件自动适配资源,部署集群应用,并自动伸缩,重新定义了Hadoop应用这一概念。原本的组件如Zookeeper,Solr,Search UI都弱化为应用的一个部分,不再是YARN.NEXT的一等公民。

此外EMC和微软也都做Keynote,展示各自公司的大数据解决方案。其中微软提出的Tiered HDFS可以根据数据的特性(比如活跃度)透明地在多种性价比不同存储介质之间移动数据,同时保证就近计算的原则。

最后Emer Coleman女士关于Technoethics(技术伦理学)的演讲将Keynote环节提升到了一个新的高度。大数据和人工智能技术一旦被滥用,将对整个人类社会造成及其可怕的后果,这不是科幻小说里的妄想,而很可能正在我们身边发生。我们应当立即行动,为技术伦理制定规范。

作者介绍:李扬,Kyligence联合创始人兼CTO,Apache Kylin联合创建者及项目管理委员会成员(PMC), 主创团队架构师和技术负责人,专注于大数据分析,并行计算,数据索引,关系数学,近似算法,压缩算法等前沿技术。曾任eBay全球分析基础架构部大数据资深架构师、IBM InfoSphere BigInsights的技术负责人,负责Hadoop开源产品架构,“杰出技术贡献奖”的获奖者、摩根士丹利副总裁,负责全球监管报表基础架构。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT