BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

TensorFlow Lite支持设备内置会话建模

| 作者 Srini Penchikala 关注 17 他的粉丝 ,译者 张健欣 关注 0 他的粉丝 发布于 2017年12月7日. 估计阅读时间: 4 分钟 | QCon北京2018全面起航:开启与Netflix、微软、ThoughtWorks等公司的技术创新之路!

亲爱的读者:我们最近添加了一些个人消息定制功能,您只需选择感兴趣的技术主题,即可获取重要资讯的邮件和网页通知

TensorFlow Lite是开源深度学习框架TensorFlow的轻量级方案,支持设备内置的会话建模,来将智能会话功能插入到聊天应用。TensorFlow团队最近发布了TensorFlow Lite的开发者预览版本,可以在移动和嵌入式设备中使用。

在过去的几年中,在移动和嵌入式设备上部署机器学习模型的需求持续增长。今年早些时候,谷歌团队发布了Android Wear 2.0技术,将谷歌助手带到了您的手腕上。这是第一个针对智能通讯的设备内置机器学习技术,也让基于云的类似Smart Reply(已经在GmailInboxAllo可用)的技术,能够不连接到云就直接在应用中使用。

TensorFlow已经应用在从服务器到物联网设备的许多平台上。现在,TensorFlow Lite可以用来,使得设备内置的机器学习模型,能够进行低延迟的推理。TensorFlow Lite被设计成轻量和跨平台的,使得可以运行在不同的平台上,首先是Android平台和iOS平台。它使用了各种低延迟的技术,例如优化移动应用的内核、预融合激活(pre-fused)以及允许更小和更快(定点数学)模型的量化内核。

重点要提的是,TensorFlow已经支持TensorFlow Mobile API,后者被移动和嵌入式设备中部署的机器学习模型使用。TensorFlow Lite是TensorFlow Mobile的演化版,随着它逐渐发展成熟,它会成为在设备上部署模型的推荐方案。

TensorFlow Lite的架构设计包括以下组件:

  • TensorFlow Model: 一个保存在硬盘上的训练过的TensorFlow模型。
  • Converter: 这个程序将模型转换成TensorFlow Lite文件格式。
  • Model File: 一份基于FlatBuffers格式的优化了速度和大小的模版文件。

TensorFlow Lite支持用Android Neural Networks API进行硬件加速。它还支持不同的模型,例如MobileNet、Inception v3和Smart Reply。

设备内置的会话建模

作为TensorFlow Lite库的一部分,TensorFlow团队还已经发布了一个设备内置的会话模型和一个使用自然语言应用例子的样本应用。开发者和研究人员可以通过这个应用来构建新的基于设备内置推理的机器智能功能。这个模型使用可以轻松插入到聊天应用的推理功能,生成回复建议,来输入会话聊天消息。这种推理需要会话智能功能。

这个会话模型使用了一种用来训练紧凑型神经网络的新的机器学习架构。这种架构基于一个联合的优化框架,这种框架在Sujith Ravi关于使用神经投射的设备内置深度网络的调研报告有所讨论。这种架构使用高效的“投射”操作,将输入转换成一个紧凑的位向量表示。相似的输入被投射到相近的向量,而向量的密集或稀疏取决于投射的类型。例如,像“嗨,现在怎么样了”和“伙计,现在怎么样了“的消息,可能会被投射到相同的向量表示。

这个设备内置模型被使用一个机器学习框架进行端到端的训练。这个机器学习框架,混合训练两种类型的模型:一种紧凑的投射模型和一种训练者模型。这个模型被训练之后,投射模型可以直接用来在设备上进行推理。

在未来的版本中,TensorFlow Lite会支持更多模型和内置操作,提高定点和浮点模型的性能。

TensorFlow Lite开发者预览版本的文档、代码示例、应用样本都可以在GitHub上查看。你还可以找到被这个会话模型使用的样本消息列表

查看英文原文:TensorFlow Lite Supports On-Device Conversational Modeling


感谢罗远航对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT