BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

基于Spark DataFrame的图数据库GraphFrame:用Spark SQL查询Graph

| 作者 侠天 关注 5 他的粉丝 发布于 2016年3月10日. 估计阅读时间: 3 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

GraphFrame发布

GraphFrame基于Spark SQL的DataFrame,继承了DataFrame扩展性和高性能。并且可以提供支持Scala、Java和Python等语言的统一API。

什么是GraphFrame

GraphFrame是类似于Spark的GraphX库,支持图处理。但GraphFrame建立在Spark DataFrame之上,具有以下重要的优势:
支持Scala ,Java 和Python API:GraphFrame提供统一的三种编程语言APIs,而GraphX的所有算法支持Python和Java
方便、简单的图查询:GraphFrame允许用户使用Spark SQL和DataFrame的API查询
支持导出和导入图:GraphFrame支持DataFrame数据源,使得可以读取和写入多种格式的图,比如,Parquet、JSON和CSV格式。

社交网络的列子

社交网络中的人是以关系来互相连接的,我们能把这个网络看成一幅图,其中人看成顶点,人与人之间的关系看作是边,如图1所示:

图1
在社交网络上,每个人可能由年龄和名字,每个人之间的关系也有不同类型。如表1和表2

表1

表2

图查询示列

由于GraphFrame的顶点和边存储为DataFrame,可以用DataFrame或SQL来很简单的查询图。
比如,查询有多少年龄大于35的人?

g.vertices.filtr(“age > 35”)

比如,有多少人至少被2个人关注?

g.inDegrees.filter(“inDegree >=2”)

GraphFrames支持所有GraphX的算法,包括PageRank、Shortest Paths、Connected components、Strongly Connected components、Triangle count 和Label Propagation Algorithm(LPA)

GraphFrame和GraphX之间可以无损的来回转换。

val gx: Graph[Row, Row] = g.toGraphX() 
val g2: GraphFrame = GraphFrame.fromGraphX(gx) 

更相信的GraphFrame API文档见这里


感谢杜小芳对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入InfoQ读者交流群InfoQ好读者(已满),InfoQ读者交流群(#2)InfoQ好读者)。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

性能? by yang jun

不知道这个性能如何?

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

1 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT