BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

您现在处于全屏预览
关闭全屏预览

一个移动互联网数据分析公司的架构实践
录制于:

| 作者 叶谦 关注 0 他的粉丝 发布于 2015年2月21日 | GMTC大前端的下一站,PWA、Web框架、Node等最新最热的大前端话题邀你一起共同探讨。

亲爱的读者:我们最近添加了一些个人消息定制功能,您只需选择感兴趣的技术主题,即可获取重要资讯的邮件和网页通知

36:09

概要
友盟数据统计分析系统的整体架构,包含SDK,实时计算系统,离线计算系统​等​几部分。从2010年4月公司成立以来,每个部分的系统都在根据实际情况升级和变化,我们的出发点一直是:准确,高效,稳定,且易于维护。SDK方面,我们进行了模块化的划分,便于维护和开发者自行组合选择。同时支持JSON和Thrift协议,兼顾数据包大小和老开发者的兼容需求。对SDK数据包的结构和校验方式有较为复杂的设计,以防止恶意刷数据的行为。 实时计算系统方面,我们的对外接入从BGP八线改造成了BGP八线+双线的方式。并且大量使用开源框架和系统搭建。我们还专门设计了一个UMID系统。离线计算方面,我们主要基于Hadoop生态系统打造。我们还研发了自己的查询中间层使得后台直接使用HBase并对前端的查询接口保持一致。此外,我们还做了一些Hadoop/HBase源码级的改造,以使得系统的运行更​适应​自身​​硬件条件。

个人简介

叶谦,互联网从业多年,先在微软亚洲研究院研究搜索引擎网页排序算法,后加入百度搜索新产品部,从事百度社区类产品的技术研发工作,2009年转战百度基础架构部,任项目经理,带领团队从事百度底层分布式系统、底层通用库和通用模块的研发。2011年6月加入友盟,从零开始组建团队建设友盟离线数据挖掘和分析平台。目前任友盟高级技术总监。对能改变人类实际生活的技术方向保持浓厚兴趣。

全球架构师峰会(International Architect Summit,下简称ArchSummit)是由InfoQ中文站主办的一次全球性架构师峰会。ArchSummit专门针对架构师人群,讲述与架构和架构师相关的各方面趋势、技术和案例。这也是继QCon之后,InfoQ中文站主办的又一次高端技术盛会。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT