BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

腾讯开放TDinsight机器学习平台等政企大数据平台

| 作者 陈利鑫 关注 1 他的粉丝 发布于 2017年12月18日. 估计阅读时间: 5 分钟 | GMTC大前端的下一站,PWA、Web框架、Node等最新最热的大前端话题邀你一起共同探讨。

2017 年 6 月 16 日,腾讯新一代高性能计算平台 Angel 在 Github 上低调开源。时隔半年,12 月 13 日,腾讯在“2017互联网+大数据高峰论坛”发布“腾讯慧聚”品牌,其中就包括机器学习基础平台TDinsight。与Angel和其他机器学习平台相比,TDinsight有何优势?

TDinsight机器学习平台

“腾讯慧聚”包括五大数据平台,分别是大数据一站式平台Dmaster、大规模事务处理平台Tbase、大数据实时接入平台TDbank、大数据实时多维分析平台Hermes,以及机器学习基础平台TDinsight。

据腾讯互联网+大数据产品中心总经理刘煜宏介绍,TDinsight机器学习平台提供一站式的机器学习平台,通过可视化的拖曳布局,组合各种数据源、组件、算法、模型和评估模块,支持各种主流的开源机器学习框架,包括Spark、Python、R、XGBoost。覆盖特征工程、分类、聚类、回归、关联规则、时间序列等传统机器学习算法的同时,支持图算法、深度学习等更加丰富的算法库,让用户可以快速接入人工智能,释放数据潜力。

那么,TDinsight机器学习平台相比其他相似产品有何优势?这个平台是否开源?是否意味着腾讯以后将会开放自己的AI能力呢?

对此,腾讯互联网+大数据产品中心总经理刘煜宏说道:“腾讯有几个AI部门,包括提到的优图、医疗觅影,就是很好的AI跟行业结合很好的案例,所以腾讯AI能力一直体现在我们产品里,现在也单独拿出来开放了。TDinsight是机器学习基础平台,腾讯大数据去年发布的Angel在6月份开源了,Angel是一个面向机器学习的分布式高性能计算平台。那Angel跟TDinsight是什么关系呢?其实TDinsight你可以认为是一个机器学习的调度平台,但是又不仅仅是调度平台,TDinsight自身包含多种算法以及模型,并且支持多源的输入以及输出,TDinsight采用拖拽的方式能够根据不同的算法、模型调度对应不同的机器学习组件(框架),例如:Angel、Spark、TensorFlow、Torch等,完成机器学习整个流程。”

虽然TDinsight目前已经对政企开放,但开源似乎还是一件遥不可期的事情,刘煜宏表示,“我们也是跟各行各业的定制需求结合,目前要开源出来还不是很好的时机,现在腾讯公司开源的也越来越多,包括大数据是来源于开源。我们还是会回归到社区里,包括Tbase,已经与社区结合得非常紧密,是非常核心的开源,包括资源调度管理平台,调度是在全球计算能力领先的很重要的模块。所以大数据开源会越来越多,但不像安卓整体开源,我们也会结合社区化把很多东西反馈到里面。”

Angel机器学习平台

Angel平台是使用Java和Scala混合开发的机器学习框架,用户可以像用Spark, MapReduce一样,用它来完成机器学习的模型训练。2017 年 6 月 16 日,腾讯新一代高性能计算平台 Angel 在 Github 上低调开源。

Angel采用参数服务器架构,支持十亿级别维度的模型训练。采用了多种业界最新技术和腾讯自主研发技术,如SSP(Stale synchronous Parallel)、异步分布式SGD、多线程参数共享模式HogWild、网络带宽流量调度算法、计算和网络请求流水化、参数更新索引和训练数据预处理方案等。

这些技术使Angel性能大幅提高,达到常见开源系统Spark的数倍到数十倍,能在千万到十亿级的特征维度条件下运行。

自2016年初在腾讯内部上线以来,Angel已应用于腾讯视频、腾讯社交广告及用户画像挖掘等精准推荐业务。未来还将不断拓展应用场景,目标是支持腾讯等企业级大规模机器学习任务。

Angel相关链接:https://s.geekbang.org/search/c=0/k=Angel/t=


感谢徐川对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT