BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

李丽:高并发高用户量高存储量场景,建议非关系型数据服务方案
录制于:

| 受访者 李丽 关注 0 他的粉丝 作者 InfoQ 关注 7 他的粉丝 发布于 2017年2月13日 | QCon北京2018全面起航:开启与Netflix、微软、ThoughtWorks等公司的技术创新之路!
18:22

个人简介 李丽,IBM 大数据管理与分析技术顾问。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

   

1. 各位InfoQ的网友大家好,我们现在是在QCon上海2016的采访间,很荣幸邀请到IBM大数据管理与分析技术顾问李丽老师,首先请问您怎样解读大数据越来越受到重视的现象?是技术积累还是业务的需求?大数据的优势在哪里?

李丽:我认为既是技术积累也是业务的需求。如果是在以前的技术年代,很难去采集那么多的大数据,也没有那么多大数据的产生来源,在手机没有那么发达的时候不会想到从手机端采集那么多数据,物联网没有发展到现在的技术阶段时也不可能有技术手段给我们提供数据,同时也因为有了这么多数据,业务上才会考虑是不是能够从数据中挖掘出他们希望了解的信息,是不是能够带来一些新的模式。这些也是大数据的价值所在,如果你不用,它就只是一个数据,只有提供给业务使用,业务从数据里面发现规律、找到未来的一些趋势,才能够提供更多的大数据价值。

   

2. 您从事数据管理分析领域已经有十年了,您能够总结一下数据在IT历史上的演进吗?

李丽:我2000年加入IBM,那时大家谈数据管理时,更多的还在谈关系型数据库,比如IBM的DB2技术、informix技术,更多的话题是在考虑如何进行关系型数据库的选择。有了更多的数据积累之后,像前面所说的,业务人员需要了解这些数据,怎么更好的了解这些数据?需要一些数据仓库、数据管理分析软件,从这里面看到相应的规律,通过图表还有直观感受了解数据的规律。这是过去数据管理上面的IT技术的进展,关系型数据库、数据仓库、ETL工具包括商业智能等等。但是随着近期来讲,因为互联网、移动、物联网这些新的更多的数据产生来源还有数据访问方式,有更多的数据技术也需要纳入到整个数据管理的体系里面,比如非关系型数据库如何管理,如何结合云计算技术来提供更多的数据管理服务,如何结合开源技术更好的为业务提供数据挖掘等能力,这些都是这十几年来数据管理不断进步和发展的过程。

   

3. 现在NoSQL在生产领域的应用越来越广泛,您怎样看待NoSQL和关系型数据库的结合使用?

李丽:这个问题特别好,从我个人的经验和理解来看,我更愿意用“结合”这样一种定位来考虑关系型数据库和非系关系型数据库,本身他们当时设计的时候所要求处理的问题是不一样的,因为针对的问题不一样,所以解决方式也有一些不同,但是对于现在的用户来讲,很难让一个用户不考虑互联网的应用,不虑移动用户的接入,在这种互联网、移动、物联网、车联网的典型场景下,我认为NoSQL还是有很大的发挥价值的。

   

4. NoSQL类型众多,您怎么选择合适的NoSQL? 5

李丽:因为本身NoSQL有不同的种类,分别去解决不同种类的问题,比如有列式的、键值的、图形的,还有文档类的,对应到不同的业务场景里面,可能会选择不同的NoSQL的技术特点。对于客户来讲我觉得首先是了解自己解决什么样的问题,通常哪些NoSQL技术能比较方便、针对性地解决他所面临的问题,然后结合这个细分的技术来考虑它是不是能够提供一些相应的支持,有比较好的发展历程,不会突然就中断技术发展,另外他有没有完善的功能来支持我们对于NoSQL部分的业务需求,我觉得主要是这样几个点。

   

5. IBM也有自己的NoSQL数据库,其他的开源NoSQL数据库会给IBM带来灵感吗?能否对比评价一下IBM自己的NoSQL和MongoDB、Cassandra这些数据库相比各有什么优势和不足点?

李丽:IBM在2014年收购了Cloudant,它是一个业界非常领先的NoSQL数据库。我们有很多的用户在选择NoSQL数据库的时候,也关心这个数据库是不是有相应的技术支持,是不是能够得到相应的技术的素材,还有包括技术的持续性发展。我觉得对于IBM Cloudant来讲,在这一部分大家不用担心,因为Cloudant是IBM非常重要的NoSQL数据解决方案,而且他会结合我们云计算的战略,结合互联网、移动还有车联网这些物联网的场景,来满足我们在非关系型数据库的需求。

另外Cloudant有很多的用户,而且在用户的使用过程中积累了很多的使用场景,并且把这些使用场景不断的集成到它的解决方案里面,它会提供互联网用户、移动用户经常会用到的地理信息、空间位置这样一些能力,让用户快速的构建相关的应用,同时也会提供稳定的扩展基础,随着应用的需求、用户量的规模,它可以很方便的进行从几个节点到几百个节点甚至上千个节点的扩展,满足高数据量、高用户量扩展的需要,同时它也提供很丰富的索引功能,基本的索引,还有一些mapreduce的高级索引,以及像地理信息位置索引,全文索引这样一些索引技术,来满足客户在查询的时候多需求的功能。

   

6. 数据库一般在传统意义上被视为一个公司的核心资产,但是现在公有云上也推出了一些数据库服务,而且现在还有一个DBaaS服务,据报道,IBM准备推出2016年的DB as a Service 调查报告,您怎么看待DBaaS?

李丽:DBaaS是IBM非常重要的一个战略方向,通过技术发展来看确实没有必要让每个企业都去建立一个大型的数据管理的团队,而且从云计算的环境来讲,可以给用户提供一些更弹性、更方便的硬件环境,再加上我们如果能够为用户提供稳定可靠的数据应用环境,可以让客户更方便的获取相关数据服务,那肯定是很多客户所需要的。IBM在DBaaS方面提供很多相应的服务交付,比如刚才谈到的Cloundant云服务,还有DB2 on cloud、dashDB on cloud等,除了IBM自己的软件之外还会提供开源的数据服务,比如MongoDB云数据服务,redis云数据,为我们的客户提供更多的云数据服务选择。

   

7. 您能从安全角度能谈一下DBaaS吗。

李丽:很多用户都认为数据是非常关键、宝贵的重要资产,所以我们很多客户都非常紧张他的数据是不是能够稳定可靠的保存,于是数据运维专家也成为在企业里面非常重要的组成部分,他要保证数据备份可靠、高可用,这些在我们的云计算数据服务里面大家是不用担心的,因为本身云计算环境上面更可贵的资源在于后台的运维专家,这些专家都是非常有经验的,而且是对相关的产品具有很多技能的专家,可以保障数据在云环境的情况下安全可靠的得到保存和使用。另外可能也有一些用户担心本身在云计算环境下面的数据安全,对于云计算数据下面的安全来讲我们也可以给客户提供多种选择,比如可以选择这个环境是专供您独家享用的,也就是在这个环境下面,只有你自己可以存取相关的数据,其他的使用者不会跟你共用同样的环境,为你提供专有的环境。有些客户可能会考虑是不是可以把他的数据放在国内的云计算环境,IBM也已经在5月份的时候和世纪互联实现了云数据服务落地,可以选择国内的云计算数据中心,IBM提供云数据服务。

   

8. 下面从实际案例角度出发,一个有着高负载、高并发数据服务需求的企业,在数据服务方案选型时应该从哪些方面进行评估?

李丽:对于高并发、高用户量的使用场景,我想在关系型数据库这边,国内用户已经积累了很多的经验,因为国内客户的典型特征就是用户量大,国内本身人口就众多,数据量也会很大,这部分有很多的文章和话题来谈。关于非关系型数据库的部分,刚才谈到他的应用场景是互联网的应用场景,同时也有移动用户的接入,所以它的典型特征更是高数据量、高并发。对应到这样的用户场景,本身对于NoSQL数据库,像IBM的Cloudant,它已经预先考虑了对应这种数据如何去处理,所以在设计的时候就采用了分布式架构设计,可以随着使用的增加,进行方便、平滑的扩展。同时在分布式的架构里面,大家还会考虑到如何保障数据可用,数据可用上面,Cloudant会至少写三份,这样能保证当数据出现硬件故障或者其他故障的时候可以通过其他节点快速提供访问。还有高并发也可以利用分布式架构把请求灵活的分配到各个计算单元,快速的为用户提供服务。所以如果说用户在遇到高并发、高用户量、高存储量的使用场景的时候,建议可以考虑NoSQL的设计和实现。

   

9. 几年前NoSQL兴起的时候,背景是非结构数据的大量涌现,有人曾经说这就是数据库的未来,那您现在怎么评价结构数据和非结构数据这两者未来的趋势?

李丽:在前面一个话题里面,我们也谈到关系型数据库和NoSQL技术其实是面对不同的问题提供的解决方案。至少从现在的技术实现的功能和我们现在的面临问题来看,我认为这两个技术不是替代的关系,不是说NoSQL的产生就可以完全替代掉关系型数据库,应该更多的是结合关系。某些用户的典型使用场景,都是一些互联网的应用,还有一些移动端应用,没有太多的OLAP需求,实际上可以使用NoSQL技术。但并不是说这两个技术是替代的关系,只是说某些客户那里,可能会结合他的应用场景,选择某一种或者是两种技术的结合。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT