BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

他的粉丝

Spark之后,谁将接手大数据

作者 张天雷 关注 4 他的粉丝 发布于  2015年8月31日

继MapReduce之后,Spark技术异军突起。在五年时间内,Spark完成了从研究性项目到Apache基金会顶级项目的转变。那么,在飞速发展的大数据领域,谁将替代Spark成为主流处理框架呢?本文就该问题进行了探讨。

他的粉丝

谷歌发布可在Hadoop中运行原生代码的C语言版本MapReduce开源框架

作者 Srini Penchikala 关注 34 他的粉丝 ,译者 丛一 关注 2 他的粉丝   发布于  2015年3月1日

谷歌上周宣布发布C语言版本的MapReduce开源框架MR4C,利用该框架开发者可以在Hadoop框架中运行原生代码。MR4C框架将原生开发算法的性能和灵活性与Hadoop执行框架的可扩展性和生产力完美结合。

他的粉丝

大数据分析:结合 Hadoop或 Elastic MapReduce使用 Hunk

作者 Jonathan Allen 关注 530 他的粉丝 ,译者 张晓鹏 关注 0 他的粉丝   发布于  2014年10月27日

Hunk是Splunk公司一款比较新的产品,用来对Hadoop和其它NoSQL数据存储进行探测和可视化,它的新版本将会支持亚马逊的Elastic MapReduce。

他的粉丝

Pivotal和EMC谈下一代数据湖技术:Tachyon + Spark将极为重要

作者 杨赛 关注 3 他的粉丝 发布于  2014年10月17日

在纽约举办的2014年Strata+Hadoop World大会开幕的前一天,Pivotal在官方博客上发布了一篇名为《数据湖(Data Lake)的未来架构:基于Tachyon和Apache Spark的In-memory数据交换平台》的文章,表达Pivotal与EMC对下一代数据湖技术的展望。

他的粉丝

排序性能PK:Spark完胜MapReduce

作者 李士窑 关注 0 他的粉丝 发布于  2014年10月16日 1

作为Hadoop MapReduce后继者Apache Spark在内存中数据处理上,Spark比MapReduce更加高效,且在GB或TB级别数据上也能够运行良好。为了评估Spark在PB级数据磁盘数据计算运行的状况,最近Databricks使用AWS进行了一个Daytona Gray类别排序基准(Daytona Gray类别)测试,Spark创造了该项测试的新记录。

他的粉丝

AdMaster技术副总裁谈Hadoop、营销数据、Python和挖掘平台

作者 张天雷 关注 4 他的粉丝 发布于  2014年9月26日

在本次访谈中,AdMaster技术副总裁卢亿雷谈到了营销数据的重要性、Python做数据挖掘的易用性以及他对Hadoop相关平台的看法。

他的粉丝

Hortonworks章剑锋访谈:Tez、数据科学和隐私安全

作者 张天雷 关注 4 他的粉丝 发布于  2014年9月21日

本次QCon上海的演讲嘉宾章剑锋接受了InfoQ邮件采访,他很早的接触到了Hadoop,从2009年开始使用Pig,然后一步步延伸到NoSQL、statisitcal data anlytics等大数据领域,可以说一路走来都是在和data打交道。访谈中谈到他正在使用的Tez平台、数据科学这个行业以及数据挖掘中的隐私问题。

他的粉丝

阿里搜索离线技术团队负责人谈Hadoop:阿里离线平台、YARN和iStream

作者 张天雷 关注 4 他的粉丝 发布于  2014年9月19日 1

本次QCon上海的Hadoop专题出品人王峰(莫问)接受了InfoQ邮件采访,谈到自己在阿里的工作,YARN的优势以及Stream和Spark等平台的比较。

他的粉丝

阿里云大数据产品ODPS正式商用

作者 杨赛 关注 3 他的粉丝 发布于  2014年7月9日

目前正在运行的ODPS是阿里云团队自主实现的一套大数据处理平台(即第二代云梯。此前的第一代云梯基于Hadoop,已经于今年上半年下线),基于C++编写,其底层是阿里云自己研发的飞天分布式系统。2014年7月8日,ODPS宣布正式商用,定价公开。

他的粉丝

Google抛弃MapReduce使用Cloud Dataflow

作者 孙镜涛 关注 2 他的粉丝 发布于  2014年6月29日 5

从最近在San Francisco召开的Google I/O大会上获悉Google已经抛弃了MapReduce框架转而使用一个新的云分析系统,它的名字叫做Cloud Dataflow。

他的粉丝

阿里云ODPS的愿景、技术实现与难点

作者 杨赛 关注 3 他的粉丝 发布于  2014年4月9日 1

2014年1月,阿里云将其ODPS服务开放公测。2014年4月,阿里巴巴大数据竞赛的所有参赛者将在ODPS平台上进行算法的调试、测试;同月,ODPS也将开放更高级的功能进入公测。InfoQ中文站近日跟ODPS平台的技术负责人徐常亮进行了采访,交流了有关ODPS的愿景、技术实现、实现难点等话题。

他的粉丝

RethinkDB 1.12发布

作者 马德奎 关注 0 他的粉丝 发布于  2014年4月1日

近日,RethinkDB 1.12发布,这是迄今为止最重大的发布之一。它带来了超过200项功能增强,包括简化map/reduce和聚合命令、改进缓存、支持ARM架构、新增四个用于对象和字符串操作的ReQL命令及许多Bug修复、稳定性增强和性能提升。

他的粉丝

Hazelcast引入MapReduce API

作者 Michael Hausenblas 关注 1 他的粉丝 ,译者 马德奎 关注 0 他的粉丝   发布于  2014年2月20日

开源内存数据网格解决方案Hazelcast在其产品中引入了MapReduce API。

他的粉丝

亚马逊Web服务发布2013年推荐技术内容列表

作者 杨赛 关注 3 他的粉丝 发布于  2014年1月25日

最近,亚马逊Web服务(AWS)官方博客上发布博客介绍了2013年重要的技术内容更新,包括白皮书、文章和视频。该清单列举的资料涉及关系数据库、数据仓库、安全/审计、参考架构、高可用性、大数据处理等多个方面。

他的粉丝

Twitter开源了其流处理框架Summingbird

作者 Michael Hausenblas 关注 1 他的粉丝 ,译者 臧秀涛 关注 2 他的粉丝   发布于  2014年1月17日

Twitter开源了其MapReduce流处理框架Summingbird。Summingbird是一个大规模数据处理系统,支持开发者以批处理模式(基于Hadoop/MapReduce)或流处理模式(基于Storm)或混合模式(即组合前两种模式)以统一的方式执行代码。它基于Apache 2许可发布。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT