BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

姜小凡:物理世界的数据越来越有价值

| 作者 包研 关注 0 他的粉丝 发布于 2014年3月4日. 估计阅读时间: 8 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

进入二月下旬,北京迎来一轮漫长的雾霾天气,京东上许多空气净化器脱销,淘宝上3M口罩涨价不少,微博、微信上也流传着各种应对PM2.5的偏方。在未来的日子,我们不得不继续PM2.5问题。2013年,姜小凡和他的团队开发了一款成本200多元的PM2.5检测设备——PAM(便携式个人空气质量监测仪)。PAM最大的特点是成本低。同时,PAM考虑了地理信息、气候因素,并且通过机器学习的方式处理这些数据,建立模型,模型进一步修正数据,保证数据精确性。

QCon北京2014大会上,姜小凡将就《PM2.5的大数据分析》为题分享,详解如何将廉价的传感器与云端数据结合实现PM2.5分析的。日前,InfoQ对姜小凡进行了专访,以下为采访内容:

InfoQ:姜小凡你好,向InfoQ的读者和QCon的参会者介绍下自己吧。

姜小凡:我是Intel物联技术研究院的首席构架师,也是Intel研究院的主任研究员。最早我在伯克利读本科和博士,期间开始接触物联网这个方向,做了一些无线传感器网络和楼宇能源监测及管理的项目。在博士期间我也做了一些能源控制的startup,并也在美国的Google做了一些MIMO通信的研究。毕业之后我加入了微软亚洲研究院,那时候我主要研究移动互联网、室内定位等。2012年底我再次加入了Intel,为什么说我再次加入呢,是因为我本科毕业的时候,在加州那边的英特尔也工作过一段时间。自2012年底到现在,我们对很多领域的技术进行了探讨,并对其中一些进行了深入研究。其中一个项目是利用物联网和大数据手段做空气质量检测,如PM2.5和雾霾。

InfoQ:目前你关注的重点是什么?

姜小凡:把物联网技术真正应用到生活中,把技术真正推向市场并解决一些问题,是我们研究院所有人共同的目标,也是我们关注的重点。对于我个人来说,刚刚说的PM2.5和雾霾问题是我目前一个很重要的关注点。现在有各种手段做PM2.5监测,但是这些方式要么非常昂贵,要么很不精确。而我们利用比较廉价的传感器网络能实时的把颗粒物的数据传到云端,同时收集了不同维度的其他数据,包括气象数据,人的位置数据等,将这些数据融合在一起。最后用机器学习的方式处理这些数据,找到他们之间的关系,学习出不同维度数据互相的影响。通过这种方式,在云端做了空气模型,再通过这个模型增加数据的精确性。我认为这是一个非常经典的物联网和大数据的结合的项目,也希望能够向QCon的听众介绍这个项目。

当然我们不仅仅有空气质量方向的研究,我们也做一些可以快速应用的项目,我可以列举几个。如手机验真。现在国内的手机是有很多是仿品,怎么用数据和众包的方式自动检测到手机的真伪?这就涉及到手机硬软件的“指纹”收集,我们在云端建立了一个比较大的数据库,能收集到很多款Android手机的指纹。不同的操作系统,不同的软件版本会生成不同的指纹,通过指纹的方式非常简单的告诉消费者,你买的手机是正品还是仿品。

在室内定位方面,我们和海龙大厦合作,通过无线信号指纹的手段定位。这样,我们知道某个消费者时时的精确位置。基于位置信息,可以给消费者提供一些帮助,比如说室内导航,广告的推送。

此外还有一些其他的项目,包括我们在公交车做了人流的监测和预测,希望解决交通拥堵的问题。基本上我们现在都是比较实际的问题,希望用大数据、云计算的手段去解决这些问题,而不是花更多的钱去买一个更精确的传感器。我认为这是一个正确的方向。

InfoQ:海龙大厦室内定位是通过WiFi信号实现的吗?

姜小凡:是通过WiFi,这个技术在学术界已经有不少论文,但我们还没有看到很多真正的商业应用。我们这里要做的,不是去发论文讨论如何实现,或是如何添加一个什么创意来改进,而是真正将WiFi室内定位推进到应用的层面,我们知道任何一个实验室技术和真正实用化相比还有很大差距的,面对的问题也有很大区别。实验室关注的是可行性,可以对很多条件进行限定;但实际上很多条件是不可预知的,实际应用有太多的细节和技术难关需要解决。

InfoQ:在过去一年当中,你观察到数据行业有哪些变化?

姜小凡:开始的时候,大家都觉得大数据要像亚马逊、沃尔玛、Google这些公司那样收集了很多信息,然后通过模型或分析找到可利用的信息。很多人把大数据和Hadoop之类的技术划上等号,拿数据量来标榜大数据。而我的看法却不同,我认为大家越来越关注小数据的集合,为什么呢?之前一般直接从互联网提取数据,但是近一两年,看到的是很多物理世界的数据,比如手机里的加速度传感器的数据,GPS数据,PM2.5数据。这些和物理世界相关的数据越来越多,而且越来越有价值。我认为我们会渐渐把大数据的概念扩展,把空间信息、地理位置信息等meta data都加入进去。而我们更关注的不是数据本身,而是数据之间的关系和它们的相互作用。建立数据之间的关系是有难度的,处理起来也更加复杂。如在实时系统中,留给数据分析和反馈至前端的时间也许只有10毫秒,如何利用流处理和系统优化来达到,这是我们需要深入研究的。

InfoQ:你怎么理解大数据处理与大数据应用?

姜小凡:大数据处理方面,大家都认为大数据应该在云端做,但我觉得数据的处理应该是分布式的,我指的不仅是数据中心分散计算能力,而是数据应该在最利于处理的地方处理。比如,如果需要把所有数据以原始的状态发送到云端处理,对网络的压力是非常大的。所以我认为大数据处理,可以在例如手表之类的地方处理再发送到云端,比如视频数据会在摄像头内做一些特征提取,然后再把特征发送到云端。

大数据应用有一些经典的例子,比如通过数据分析知道用户在某一时间点喜欢购买的商品,超市可以通过预测来提前订货。在移动应用方面,刚才提到了在海龙大厦的室内定位就是其中之一。

InfoQ:您曾经说过,希望把PAM传感器的价格降到两三百元人民币,这个目标还需要多久才能实现?

姜小凡:这个目标在有一定生产量的前提下已经实现了。具体生产量是多少,我们还在进行核算,不过这个量应该不是很大。

InfoQ:通过大量廉价的传感器搜集数据是未来实现大数据应用的有效手段吗?这其中的难点在哪儿?

姜小凡:这里的挑战包括数据的可用性,精确性,以及把数据提取到云端的过程耗费的系统资源。以WiFi定位为例,原理上大家都理解,通过收集某一点的3个AP的信号强度,用三角定位实现。但在真实环境,无线信号波动非常大,遮挡物会改变信号强度,信号可能被反射和散射 ,造成信号强度衰减或者增递。物理世界的传感器数据,并没有互联网数据那么干净,需要大量的处理把传感器数据变成可用的数据。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT