BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

百度技术沙龙第41期回顾:自然语言处理技术及互联网应用解析 (含资料下载)

| 作者 水羽哲 关注 0 他的粉丝 发布于 2013年8月21日. 估计阅读时间: 9 分钟 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。

在8月17日由@百度主办、@InfoQ负责策划组织和实施的第41期百度技术沙龙活动上,中国科学院自动化所博士、现任百度主任研究员、百度自然语言处理技术负责人吴华和出门问问CEO、自然语言处理专家李志飞分享了各自在自然语言处理技术方面的经验,话题涉及“互联网上NLP技术及其应用”和“自然语言处理如何落地互联网”等。本文将对他们各自的分享做下简单的回顾,同时提供相关资料的下载。

主题一:互联网上NLP技术及其应用 (下载讲稿

百度的吴华博士从搜索引擎的用户需求出发,她说道目前用户的搜索需求已经不限定在关键词的搜索,而是一些有语义的内容搜索,提到了目前互联网应用中的趋势:

  1. 基于知识网络的全面搜索需求,其中包括知识、语义搜索(精确的需求理解、直接答案满足)以及对话式搜索(智能交互)。
  2. 主动推荐,不搜即得
  3. 精准的个性化服务

面对这样的搜索需求时,给NLP带来了还大的挑战,主要表现在四个方面:

  1. 需求识别,输入复杂、需求多样
  2. 知识挖掘,来源自暗网,数据形式不单一,而且具有各种层次的知识
  3. 用户引导方面,如何建议、扩展以及交互
  4. 结果组织与展现方面,采用直接答案、聚类或是关系图都需要考虑

由于百度是以搜索作为主营的业务,所以在各个系统中都能看到NLP的身影,例如百度翻译等。NLP其实做的就是对于文本理解和用户理解的工作。

文本理解包括用户需求的蓝屏以及广义的理解,用户理解就是给用户建模知道他要做什么。基础的技术角度设计语法分析、句法分析、语义分析、ML模型,在应用中对应了知识图谱、Query分析、智能交互等。随后她从实际的案例来讲解这些方面的知识与关联:

  1. 实体挖掘,例如用户在搜索“中国合伙人”时,将会从Query Log挖掘、URL pattern挖掘以及从title中挖掘
  2. Ontology建设,主要是上下位知识挖掘、三元组知识挖掘、相关实体挖掘以及语义标签挖掘
  3. 语义计算

随后她提到了Query理解的内容,Query理解的一个展现就在框计算时理解用户的意图给出精确的答案,主要涉及三个方面的内容:

  1. Query改写
  2. 意图归一
  3. 复杂Query理解

当用户输入有误时,一般使用机器翻译模型来进行Query改写;对于一个Query的多种表达方式,使用Query Pair文本语义匹配计算,目前的准确率是90%,比基线高出绝对值高出10%;针对复杂的query,通过依存分析结果、查询逻辑表达式以及知识库推理进行处理。

语用分析用户智能交互部分,吴华博士以语音助手为例进行了实例的分析,在对话管理中,需要通过置信度、信息重要性以及历史信息来处理来自ASR和SLU结果的不确定性,然后根据用户提供的新信息来确定下一步行为。在对话管理中主要设计对话控制和对话环境建模两个模块。对话控制策略是基于框架的控制策略,即框架定义完成指定任务需要的信息、根据已知的信息确定之后要问的问题。而更加复杂的对话管理方法是基于AI或者统计学的方法来实现。

接下来她谈到了基于用户理解的个性化服务,即“主动推荐,不搜即得”,它需要根据特征选择和参数选择的用户消费判定模型,根据用户的搜索点击日志调整消费者意图特征空间,进而进行参数设定、数据抽取模型训练等,最后获取模型最优参数组。

最后,吴华博士谈到:

如果互联网是个金矿,那么NLP是炼金术!

主题二:自然语言处理如何落地互联网(下载讲稿

出门问问CEO、自然语言处理专家李志飞第二个为大家做分享,他首先谈到了目前NLP在互联网上最成功的应用:谷歌翻译,以谷歌翻译从理论到落地的过程来谈NLP的应用。

李志飞以“垫子上的猫”为例,逐步讲解了机器翻译的步骤,包括Word Alignment、Phrase Extraction、Decpdomg a Test Sentence和Translation Ambiguity等,虽然是一句很简单的话,在实际的应用中却需要几千万的语言对来进行训练,并且还需要亿级条目进行Phrase Dictionary,进而建立亿级ngrams的语言模型。

随后他说机器学习在分类器中的实现,它需要通过最大熵、SVM和神经网络等对输入特征进行处理进而实现类别的输出。随后他对Structured Prediction as Classification进行了介绍,他指出:

由于类别的个数随着输入的长度而指数级增长,而且类别内部、之间都有着联系导致SP的难度增大,尤其是算法上的难度。许多分类上特别简单的算法(如解码)在SP上变得很复杂。

在谈到机器翻译为何复杂时,李志飞谈到:

给定一个句子,解码过程中要考虑各种歧义,例如分割的歧义、翻译的歧义和排序的歧义,每一种歧义都会导致组合的爆炸,这时穷举是不可能的,需要非常复杂的动态规划。

李志飞指出一个成功的工业界翻译系统包含 :算法、数据和工具三个方面的内容,他认为一切都应该工具化、自动化,好的架构和工具能够大大加速迭代,例如谷歌翻译系统可以在一天之内重新训练所有语言。

为什么IBM Research是许多NLP核心算法的开创者、Microsoft Research拥有豪华的NLP科研团队,反倒是Google能第一个把翻译做成大规模互联网产品?李志飞指出:

  1. 团队基因:科学家+工程师
  2. 整个谷歌大环境是实用至上
  3. 大数据,中英系统用几千万对句子
  4. 云架构:GFS、Map-reduce、BigTable

由于现成的理论和模型,他认为一个10个人的开发团队+16个人的产品团队完全可以做一个谷歌翻译。

Open Space(开放式讨论环节)

为了促进参会者与我们每期的嘉宾以及讲师近距离交流,深入探讨在演讲过程中的疑问,本次活动依然设置了Open Space(开放式讨论)环节。

在Open Space的总结环节,几位话题小组长分别对讨论的内容进行了总结。

吴华,讨论NLP的实现细节,同时还讨论了目前NLP比较前沿的内容,然后还讨论了语音理解在百度具体实现,最后我们讨论了Deep Learning在刚才架构中的具体使用等。

李志飞,主要讨论语音技术、后台数据等,同时还对于出门问问的商业模式都进行了讨论和沟通,然后我们对于深度学习、神经网络的可行性做了简单的交流。

张全,主要讲解了DeepLearning,首先谈论了一些基础架构的构想,然后讨论了在汽车行业的运用等。

魏勇鹏,根据自己的经验与大家分享人机交互的模式,同时还交流了商业模式等的具体设计等。

会后,一些参会者也通过新浪微博分享了他们的参会感受:

张帆NLP:百度的自然语言处理吴华老师在分享搜索的新趋势,随着用户查询方式的变化,百度使用了知识图谱,对话式搜索,不搜即得等新技术来满足这部分需求。

静默风信子:张全博士说的很好,NLP关注的就是自然语言中的层次关系,难点就是要正确的获取语言所含有的深层含义。

rickjin:出门问问@李志飞 在教大家如何从一个nlp菜鸟开始搭建起google translate 类似地机器翻译系统,step-by-step 的讲解。学会了就NB了,机器翻译可是NLP塔顶的明珠。

Rinch :很多模型对于我们做垂直搜索也很有帮助,开拓了将NLP应用到实际场景中的思路,受益匪浅。

钱钤也是个好青年:数据结构与机器翻译:超图hyper graph,在这种数据结构的抽象编码的支持下,可以利用计算机做不同的事,比如将带权重的超图转化为概率超图等等。--李志飞说〜博士的讲解深入浅出哦〜

有关百度技术沙龙的更多信息,可以通过新浪微博关注@百度技术沙龙,或者关注InfoQ官方微信:infoqchina,InfoQ上也总结了过往40期所有百度技术沙龙的演讲视频和资料等,感兴趣的读者可以直接浏览内容

特别提示:第42期百度技术沙龙将在9月14日,在北京车库咖啡举行,欢迎关注@InfoQ@百度技术沙龙获取后续的活动信息。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT