BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

打造下一代数据集成平台
录制于:

| 作者 熊家治 关注 0 他的粉丝 发布于 2013年9月28日 | Google、Facebook、Pinterest、阿里、腾讯 等顶尖技术团队的上百个可供参考的架构实例!
41:11

概要
近年来, 随着互联网技术的飞速发展, 大数据时代的来临, 数据集成(Data Integration)技术也正经历着变革. 本演讲将结合eBay数据平台数据集成的最佳实践. 介绍如何实现高可用, Metadata Driven, 高并发低成本的ETL框架. 以及对ETL metadata management, Data Lineage, eBay的数据平台经历了10多年的发展,发展成拥有10P级数据量Teradata + Hadoop大数据平台.为7500+企业内部用户提供在线的数据分析,每日有百万级的数据查询访问。

个人简介

熊家治,在数据库与数据仓库领域有近10年的经验。现任eBay数据平台高级架构师,专注于数据集成平台的设计与开发. 2007加入eBay中国研发中心,熊家治作为数据平台核心Subject Area技术专家成员,参与了eBay数据平台的各大项目。通过对业务流程,以及数据集成方案的优化调整,使数据平台核心subject area的SLA完成时间加快了近6小时。 eBay的Teradata平台是世界上数据量最大,也是最复杂的数据仓库系统之一,帮助用户解决在系统运行中的各种疑难杂症,是他在工作中的最大乐趣,也积累了相关的经验。基于此,熊家治总结创造了出很多系统优化的方法与方案。他提出并实现的自动化Dataflow生成工具,在eBay数据平台的运营中起着关键的作用。 Data Science技术的发展正日新月异,近期重点关注将数据分析的方法与理论引入到数据集成平台的设计中。

QCon是由InfoQ主办的全球顶级技术盛会,每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来,已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT