BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

大数据下的大表Join计算及其优化
录制于:

| 作者 周海鹏 关注 0 他的粉丝 发布于 2014年11月14日 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。
31:02

概要
在统计分析领域,数据分析人员经常要大范围数据查询。传统基于关系型数据库早已无法有效支持。大数据时代,Hadoop、流式处理等技术的出现,给问题解决带来一些曙光,但是动辄几百、上千台服务器的集群,不是任何公司都可以承受的,另外每次批任务都要等待数小时,甚至一天才能获得结果,也越来越无法满足业务敏捷的需求。 Bitmap是传统DB中一种索引技术,TalkingData对这种索引技术进行了改造和优化,解决了以下几个大数据计算的典型问题: 1、快速的多维交叉计算:多维度,大数据表交叉计算的难题。 2、​节省成本:小规模集群环境可以很好的支持大数据场景下的大表Join计算。​ 3、线性增长:采用自适应的计算模型,解决数据倾斜,负载均衡等分布式计算的复杂问题,使计算能力线性增长。

个人简介

周海鹏,中科院硕士毕业,一直从事云存储、云计算开发及架构工作,专注于分布式存储、分布式计算、大数据分析等方向。现任TalkingData技术副总裁,从事大数据计算平台工作,对分布式存储和分布式计算、VLDB、大数据分析等有深刻实践,主持研发实时流式OLAP计算框架,分布式索引,分布式查询系统。曾在中国电信、中国移动工作,主持开发中国移动12580项目等,关注高可靠、高可用、高扩展、高性能系统服务,以及Hadoop/HBase/Storm/Spark等离线、流式及实时分布式计算技术。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT