BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

  • 他的粉丝

    别用大批量mini-batch训练神经网络,用局部SGD!

    作者 马卓奇 关注 5 他的粉丝 发布于  2018年9月5日

    小批量随机梯度下降是目前最常用的训练大型神经网络和其它机器学习模型的方法。但它不能自适应的调整系统通信和计算之间的权衡。此外,梯度交换的通信带宽的固定要求严重限制了多节点训练的可扩展性。而局部随机梯度方法在与其他节点通信之前能够在局部的模型上进行迭代更新,提升了整体性能和通信效率,及对系统资源的自适应性。这篇论文对局部SGD进行了层次化扩展,使其可以在异质分布式系统中有效自适应不同级别的计算消耗。

  • 他的粉丝

    上交大提出支持并行计算的SRNN:比RNN快136倍!(代码已开源)

    作者 马卓奇 关注 5 他的粉丝 发布于  2018年8月30日

    本文介绍了切片循环神经网络,可以通过将序列分割成多个子序列来实现并行化计算。SRNN具有通过多层网络和极少的额外参数来获得高层次信息的能力。不需要改变循环单元,SRNN的速度便可以达到标准RNN的136倍,而且训练更长的序列时,SRNN的速度能够更快。作者在六个大规模情感分析数据集上进行了实验,实验结果表明SRNN比标准的RNN具有更好的性能。

  • 他的粉丝

    卷积神经网络的糟糕表现和CoordConv解决方案

    作者 Uber 关注 0 他的粉丝 ,译者 无明 关注 2 他的粉丝   发布于  2018年8月6日

    在本文中,我们证明了CNN在坐标转换任务方面的糟糕表现,并且引入了我们的CoordConv层解决方案。

他的粉丝

ECCV2018 | 美图云联合中科院提出基于交互感知注意力机制神经网络的行为分类技术

作者 美图云视觉技术部门 关注 0 他的粉丝 发布于  2018年8月3日

以往注意机制模型通过加权所有局部特征计算和提取关键特征,忽略了各局部特征间的强相关性,特征间存在较强的信息冗余。为解决此问题,来自美图云视觉技术部门和中科院自动化所的研发人员借鉴PCA(主成分分析)思想,提出了一种引入局部特征交互感知的自注意机制模型,并将模型嵌入到CNN网络中,提出一个端到端的网络结构。

他的粉丝

阿里巴巴推出DeepInsight平台:可视化理解深度神经网络CTR预估模型

作者 郭霖等 关注 0 他的粉丝 发布于  2018年7月11日

由于人类对于世界的认知和感受主要来自于视觉,良好的可视化可以有效的帮助人们理解深度神经网络,并进行有效的评估、优化和调节。而可视化的前提是对模型进行相关数据透出,从而进行可视化分析评估,最终使得神经网络从“黑盒”向“白盒”过渡。针对这些挑战,阿里巴巴团队搭建了一个面向工业级大规模深度学习应用的可视化分析平台—DeepInsight。

他的粉丝

阿里巴巴提出RNN多比特量化方法,推断提速3倍并减少10.5倍内存消耗

作者 许晨等 关注 0 他的粉丝 发布于  2018年5月8日

在这个工作中,我们主要考虑神经网络的多比特量化压缩加速问题。我们发现,如果编码的实系数固定,那么离散的二值编码{-1,+1}可以通过二叉搜索树高效的求解。基于这个发现,我们相应地提出交替方向法。

他的粉丝

ICASSP Poster论文:阿里提出深层前馈序列记忆神经网络,语音识别性能提升20%

作者 张仕良等 关注 0 他的粉丝 发布于  2018年3月16日

本研究提出了一种改进的前馈序列记忆神经网络结构,称之为深层前馈序列记忆神经网络(DFSMN)。进一步的我们将深层前馈序列记忆神经网络和低帧率(LFR)技术相结合构建了LFR-DFSMN语音识别声学模型。该模型在大词汇量的英文识别和中文识别任务上都可以取得相比于目前最流行的基于长短时记忆单元的双向循环神经网络(BLSTM)的识别系统显著的性能提升。

他的粉丝

deeplearn.js:在浏览器上训练神经网络

作者 Robin Wieruch 关注 2 他的粉丝 ,译者 薛命灯 关注 24 他的粉丝   发布于  2018年1月19日

来自德国的软件工程师Robin Wieruch将带我们一起体验如何使用deeplearn.js在浏览器上训练神经网络。

他的粉丝

阿里巴巴AAAI 2018录用论文:将句法信息加入实体表示模型

作者 阿里巴巴业务平台事业部 关注 1 他的粉丝 发布于  2018年1月10日

这篇论文的创新在于把句法信息加入到实体的表示模型里。首先,基于Tree-GRU,把实体上下文的依存树放入句子级别的表示。其次,利用句子间和句子内部的注意力,来获得含有目标实体的句子集合的表示。

他的粉丝

基于学习的计算机视觉 (二) :卷积神经网络

作者 董健 关注 1 他的粉丝 发布于  2017年12月15日

本文为系列的第二篇文章,将会介绍卷积神经网络。重点介绍经典的卷积神经网络,全卷积网络的基本概念和基本单元,以及卷积神经网络与神经网络的异同。最后通过实现一个在实际中有广泛应用的人脸关键点检测算法,介绍如何用TensorFlow构建卷积神经网络。

他的粉丝

基于学习的计算机视觉 (一):监督学习和神经网络

作者 董健 关注 1 他的粉丝 发布于  2017年11月8日

本文是整个系列的第一篇文章,将会简单介绍一下计算机视觉的发展,以及监督学习、神经网络的基本原理。最后的实践部分,会用TensorFlow给出之前介绍算法的一个简单实现。

他的粉丝

带你跨过神经网络训练常见的37个坑

作者 Slav Ivanov 关注 0 他的粉丝 ,译者 马卓奇 关注 5 他的粉丝   发布于  2017年9月18日

近日,Slav Ivanov发表了一篇题为《37 reasons why your neural network is not working》的文章,从数据集、数据归一化/增强、实现以及训练四个方面,总结了37条自己对神经网络的调试经验,希望能帮助读者解决神经网络训练中经常遇到的问题。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT