BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

在spark上构建硬件加速的、分布式神经网络框架
录制于:

| 作者 王奕恒 关注 0 他的粉丝 发布于 2016年3月30日 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。
25:28

概要
最近几年,神经网络算法得到业界越来越多的关注。基于神经网络的深度学习在计算机视觉、语音识别和自然语言处理等方面都取得了良好的效果。已有的神经网络框架(如Caffee,Torch等)往往是单节点的方案并使用昂贵的GPU卡进行加速。我们基于Spark构建了一个分布式的神经网络算法框架,使用户能够方便的在通用计算平台上,利用神经网络算法进行大数据的机器学习。在易用性方面,我们将神经网络算法模块化,并实现了常用的数据结构、层、代价函数和训练算法等模块,使用户可以根据自己的需求快速定义出复杂的神经网络,以及灵活的添加替换自定义模块。我们还在通用计算平台上针对神经网络中的关键操作进行了优化,使得用户可以充分享用到硬件加速(例如CPU和GPU)的计算能力。

个人简介

王奕恒, Intel软件工程师, 一个喜欢折腾技术,并在折腾中感到快乐的程序宅。硕士毕业于上海交通大学,毕业后在摩根士丹利从事开发工作。当时由于要解决业务上的实际问题,开始使用一些机器学习算法对大量的业务数据进行处理,从此开始对这一领域产生浓厚兴趣。之后进入Intel,担任大数据研发工程师,从事大数据处理方向的工作。目前主要致力于机器学习算法在分布式环境下的优化和硬件加速。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、上海、旧金山召开。自2007年3月份首次举办以来,已经有超万名高级技术人员参加过QCon大会。QCon内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上的技术团队负责人、架构师、工程总监、高级开发人员分享技术创新和最佳实践。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT