BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Apache Ignite(二):核心特性之事务和分析

| 作者 李玉珏 关注 3 他的粉丝 发布于 2015年11月24日. 估计阅读时间: 16 分钟 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。

从本篇开始,我们会陆续通过2-3篇文章介绍Apache Ignite的核心功能特性,有价值的功能点非常多,所以每个点写的并不详细,这几篇文章主要目的还是方便更多的人更全面的了解它,后续的话,可能会针对某个功能点做详细的说明。

一、数据网格

Ignite内存数据网格是一个内存内的键值存储,他可以在分布式集群的内存内缓存数据。

它通过强语义的数据位置和关系数据路由,来降低冗余数据的噪声,使其可以节点数的线性增长,直至上千个节点。

Ignite数据网格速度足够快,经过官方不断的测试,目前,他是分布式集群中支持事务性或原子性数据的最快的实现之一。

特性一览:

1.键值存储

Ignite数据网格是一个内存内的键值存储,可以视为分布式的分区后的哈希,集群中每个节点都持有所有数据的一部分,这意味着集群内节点越多,就可以缓存越多的数据。

重要通知:接下来InfoQ将会选择性地将部分优秀内容首发在微信公众号中,欢迎关注InfoQ微信公众号第一时间阅读精品内容。

和其他键值存储不同,Ignite通过可插拔的哈选算法来决定数据的位置,每个客户端都可以通过插入一个自定义的哈希函数来决定一个键属于那个节点,并不需要任何特殊的映射服务或者命名节点。

2.JCache(JSR107)

Ignite 100%兼容于JCache(JSR107)规范,JCache为数据缓存提供了非常简单,但是功能又非常强大的API。

JCache的一部分API包括:

  • 基本缓存操作
  • ConcurrentMap APIs
  • 并行处理(EntryProcessor)
  • 事件和度量
  • 可插拔的持久化

3.分区和复制

根据配置,Ignite可以对内存内的数据进行分区和复制,和REPLICATED模式不同,数据是在集群内的所有节点中全复制的,在PARTITIONED模式中,数据是在集群内的多个节点中平均拆分的,允许在内存内缓存TB级的数据。

Ignite也可以配置成具有多个副本,来保证故障时的数据弹性。

不管使用那种缓存模式,Ignite都保证任何故障模式下跨所有集群节点的数据一致性。

4.自修复集群

Ignite集群可以自我修复,故障时客户端会自动重连,慢的客户端会被自动踢出,故障节点的数据也会被自动传播到网格内的其他节点。

5.客户端近缓存

当数据被远程客户端访问时,Ignite也支持客户端侧的近缓存,在事务模式下,近缓存中的数据仍然是事务性的,要么是自动更新,要么是以一直的方式更新事务提交无效。

6.ACID事务

Ignite支持2种模式的缓存操作,事务性和原子性,事务模式下,可以事务性的将多个缓存操作作为一组,而原子模式下支持多个原子操作,一次一个。原子模式更轻量通常比事务模式缓存具有更好的性能。

事务模式下Ignite支持乐观事务和悲观事务,使用了尽可能经过一阶段提交优化后的2阶段提交协议。

7.查询和分布式关联

Ignite提供了非常优雅的查询API,支持:

  • 基于谓词的扫描查询
  • SQL查询(ANSI 99)
  • 文本查询

对于SQL和文本查询,Ignite提供了内存内的索引,因此所有的数据查询都是非常快的,如果在堆外内存缓存数据,查询索引也会在堆外内存中。

Ignite也允许用户使用可插拔的IndexingSpi来定制自己的索引。

8.持续查询

持续查询对于当执行一个查询后又想持续的获得之前的查询结果的数据更新通知时,是非常有用的。

9.堆内和堆外内存

Ignite支持2种模式缓存内存内的数据,堆内和堆外,堆外内存允许当堆太大时将数据存储在主Java堆空间之外,来避免JVM垃圾回收时导致的暂停,但是数据仍然在内存中。

只要配置了堆外内存,Ignite同时也会在堆外存储索引,这意味着索引不会占用任何堆内内存空间。

10.分层内存

当数据访问率下降时,ignite会有选择的将数据从堆内内存迁移至堆外内存,甚至从堆外内存迁移至交换(磁盘)存储。

当这部分数据又被访问时,他会立即被迁移到顶层,同时将其他的访问率低的数据迁移到更低的下一个内存层。

11.JDBC驱动

Ignite同时提供JDBC驱动,允许用户使用标准SQL查询和JDBC API获得缓存内的分布式数据。

Ignite允许用户使用任何标准SQL工具连接至Ignite然后在Ignite缓存的内存数据中开始执行SQL查询。

12.Web Session集群化

Ignite数据网格能够缓存任何支持Java Servlet3.0规范的的应用服务器的Web Session,包括Apache Tomcat,Eclipse Jetty,Oracle WebLogic以及其他。

当运行应用服务器集群时缓存Web Session对于提高Servlet容器的性能以及可扩展性是非常有用的。

13.Hibernate二级缓存

Ignite可以作为Hibernate的二级缓存,他可以显著的提高应用中持久化层的速度。

14.Spring缓存

Ignite支持基于Spring注解方式的Java方法缓存,这样的话,一个方法的执行结果就可以缓存在Ignite缓存中。以后如果同一个方法通过同样的参数集进行调用,结果会直接从缓存中获取而不是实际执行这个方法。

二、计算网格

分布式计算是通过并行处理的方式来获得更高的性能,更低的延迟以及线性可扩展性,Ignite计算网格提供了一组简单的API来允许用户在集群内的多台计算机中执行分布式计算和数据处理。

分布式计算是基于在集群内的节点中进行任何的计算然后将结果返回的能力。

特性一览:

1.分布式闭包执行

Ignite计算网格允许对集群内的任何闭包进行广播和负载平衡,包括Java8 lambda,还包括纯Java Runnables和Callables。

2.ForkJoin执行

ComputeTask是Ignite对内存内ForkJoin的抽象和范式,也是MapReduce的一个轻量级形式,纯MapReduce并不是为了性能而构建,只是善于进行离线数据的批量处理(比如Hadoop MapReduce)。

然而,对驻留在内存的数据进行计算时,实时性,低延迟和高吞吐量通常具有很高的优先级,同时,简化API也非常重要。基于这些考虑,Ignite提供了ComputeTask API,这个就是Ignite的ForkJoin实现(轻量级MapReduce)。

3.集群化ExecutorService

Ignite提供了一个标准JDK中ExecutorService的集群实现,他会自动地在集群内以负载平衡的模式执行所有的计算。计算也会容错并且只要有一个节点就能保证执行,你可以把他视为集群化的分布式的线程池。

4.计算和数据的搭配

计算和数据的搭配可以使网络中数据序列化最小化,并且可以显著的提高应用的性能和可扩展性。不管何时,都要尽量做好集群节点中缓存的待处理数据和计算的搭配。

Ignite根据需要,可以提供多种方式自动或者手动地进行计算和数据的搭配。

5.容错

Ignite支持自动作业故障切换。如果一个节点崩溃或其他错误,作业会自动转移到其他可用节点重新执行。可插拔的FailoverSpi负责进行执行一个故障任务时新节点的选择。

至少一次保证:Ignite保证只要有一个节点存在,任务就不会丢失。

6.负载均衡

负载平衡组件负责平衡集群内各节点的分布式任务。Ignite中负载平衡是通过可插拔的LoadBalancingSpi实现的,它控制集群内所有节点的负载并且确保集群内的每个节点的均衡负载。

对于同质化环境中的同质化任务,负载平衡是通过随机或者循环的策略实现的。然而,在很多其他的场景中,特别是在负荷不均衡时,他提供了很多的更复杂的自适应的负载平衡策略。

7.任务检查点

检查点是通过可插拔的CheckpointSpi实现的,他提供了一个保存作业中间状态的功能,检查点对于长期执行的任务需要保存一些中间状态以防止节点故障是非常有用的。当一个故障节点重启时,一个作业可以载入一个保存的检查点然后从故障处继续执行。

8.作业调度

可插拔的CollisionSpi对于待执行的作业到达某个节点时如何进行调度提供了细粒度的控制。他提供了很多的策略,包括:FIFO,优先级甚至磨洋工。

三、流式计算和CEP

Ignite流式计算允许以可扩展和容错的方式处理连续的、无止境的数据流。在一个中等规模的集群中,数据注入Ignite的比例会很高,很容易达到每秒百万级的规模。

工作方式:

  • 客户端将流式数据注入Ignite;
  • 数据在Ignite数据节点中自动分区;
  • 数据在滑动窗口中并发处理;
  • 客户端在流式数据中执行并发SQL查询;
  • 客户端订阅数据变化的持续查询。

特性一览;

1.数据流处理器

数据流处理器是由IgniteDataStreamer API定义的,他是为了将大量的持续数据流注入Ignite流缓存而构建的。数据流处理器以可扩展和容错的方式,为所有数据流注入ignite提供了至少一次保证。

2.并行处理

当你需要执行自己的业务逻辑而不仅仅是添加新数据时,就需要利用StreamRecerver API的优势了。

流接收器允许直接在缓存数据的节点上以并行的方式处理数据流,在数据进入缓存之前可以修改数据或者添加任何自定义预处理逻辑,

3.滑动窗口

Ignite流功能允许在数据滑动窗口内进行查询。滑动窗口被配置为Ignite的缓存抽取策略,可以基于时间、基于大小或者基于批量处理,可以配置一个缓存一个数据窗口,如果你需要同一个数据具有不同的滑动窗口的话,也可以非常容易的为同一个数据定义不止一个缓存。

4.滑动窗口查询

可以使用所有的Ignite数据索引功能,再加上Ignite SQL、TEXT,以及基于谓词的缓存查询,在数据流中进行查询。

5.持续查询

持续查询对于当执行一个查询后又想持续的获得之前的查询结果的数据更新通知时,是非常有用的。

四、分布式数据结构

Ignite以分布式的形式支持基于java.util.concurrent框架的大部分数据结构。比如,可以在一个节点上使用java.util.concurrent.BlockingQeque加入一些东西,然后再另一个节点上获取它。或者有一个分布式的ID生成器,他可以保证所有节点上的ID唯一性。

支持的数据结构包括:

  • Concurrent Map (Cache)
  • Distributed Queues and Sets
  • AtomicLong
  • AtomicReference
  • AtomicSequence (ID Generator)
  • CountDownLatch

特性一览:

1.并行和非并行

队列和集合可以以并行或者非并行的方式进行部署。在并行模式中,集合中的所有元素都会驻留在同一个集群节点上。这种模式下,应该使用相对较小的集合。在非并行模式下,集合的元素会均等地分布在集群内,这就允许在内存内保存很大的集合。

2.有界队列

有界队列允许用户持有一个有预定义最大值的队列,这将有助于控制整个缓存的容量。

3.基于预留的ID生成器

ID生成器是通过AtomicSequence实现的,当你以原子序列执行incrementAndGet()(或任何其他的原子性操作)时,数据结构会保存未来值的范围,这会保证跨集群内该序列实例的唯一性。

直到所有保存的值都被使用了,所有的序列增长操作都会发生在客户端本地。

五、分布式消息

Ignite提供了集群范围内的高性能的消息功能,支持基于发布-订阅以及直接点对点通信模型的数据交换。消息可以以有序的,也可以以无序的方式进行交换。

特性一览:

1.有序和无序

Ignite支持有序的以及无序的消息,有序消息要稍微慢一点,但是如果你用的话,Ignite保证收到消息的顺序和发送消息的顺序一致。

2.主题和点对点

Ignite消息支持基于主题的订阅,主题消息可以发送给一组节点,也可以发送给某一个节点。

六、服务网格

服务网格允许用户在集群中任意部署自定义的服务,比如自定义计数器,ID生成器,分级映射等。

服务网格的主要应用场景是提供了在集群中部署各种单例服务的能力。但是,如果你需要一个服务的多实例,Ignite也能保证所有服务实例的正确部署和容错。

特性一览:

1.用户定义服务

用户可以定义自己的服务并且Ignite会自动在集群内进行服务的分布化。比如,你可以创建自己特定的分布式计数器,或者自定义的数据加载服务,或者任何其他逻辑,然后将其部署到集群中。

2.集群单例

Ignite允许将任意数量的服务部署到网各节点,然而,最经常被使用的特性是在集群中部署单例服务,不管是拓扑变更还是节点故障,Ignite都会维护单一性。

3.容错

Ignite会保证服务的持续有效,以及按照指定的配置进行部署,不管是拓扑变更还是节点故障。

4.负载平衡

在所有的情况下,不只是单例服务部署,Ignite都会自动地确保在集群内的每个节点上部署大致数量相等的服务。当集群拓扑发生变化时,Ignite会对部署的服务进行重新评估,然后可能对已经部署的服务重新在其他节点上部署以保证更好的负载平衡。


感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入InfoQ读者交流群InfoQ好读者(已满),InfoQ读者交流群(#2)InfoQ好读者)。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT