BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

40:55
他的粉丝

实时流系统Heron的异常检测和恢复

作者 吴惠君  发布于  2018年2月20日 作者 吴惠君 关注 0 他的粉丝  发布于  2018年2月20日

应近年来大规模实时分析的需求,很多流处理系统被开发出来。Twitter Heron开源系统就是其中的代表项目之一。这类系统要求在软件或者硬件失败的极端情况下能有较好的服务水平。为了达到这种要求,Twitter Heron系统添加了Dhalion异常检测和恢复框架来保障Heron系统的服务水平。

32:33
他的粉丝

数据平台实时化实践

作者 王富平  发布于  2017年3月10日 作者 王富平 关注 3 他的粉丝  发布于  2017年3月10日

实时化趋势与背景:Adhoc 等业务场景、在线学习 LTR 等实时需求越来越高;spark-streaming 与 flink 为代表的批流处理范式统一。 数据平台实时化实践: 苏宁数据平台——“数聚”的整体架构介绍;druid 打造实时 olap 平台与自研 sql on storm 方案介绍;离线计算迁移到实时计算;数据实时回流 LTR 改进推荐、搜索排序;线下与线上数据融合。

37:07
他的粉丝

百度第三代 Spider 背后的万亿量级实时数据处理系统

作者 颜世光  发布于  2017年2月9日 作者 颜世光 关注 1 他的粉丝  发布于  2017年2月9日

Spider系统是百度搜索引擎的主要数据来源,每天处理着数万亿次的链接分析,和数百亿次的互联网资源采集。在过去,这其中多数工作由MapReduce系统完成,处理延时达到天级。从2014年开始,我们对Spider系统进行了大规模重构,以搜索结果更新延迟从周级缩短到分钟级为目标,设计实现了海量实时数据库Tera。以此为基础,构建了每天实时处理几万亿链接与网页更新的百度第三代Spider系统。

30:20
他的粉丝

海量数据推送服务——实时处理架构的演进

作者 许建辉  发布于  2016年12月15日 作者 许建辉 关注 0 他的粉丝  发布于  2016年12月15日

TD 推送平台的一路演进过程中,从推送量、推送速度、设备量、移动客户端本身的复杂场景,一些传统软件架构中的常规做法在这些场景里并非全部适用。在此技术场景下,系统使用大数据算法优化了连接负载和任务分发。并对数据库敏感的连接资源进行了优化和更为精细的使用。为了降低数据库的请求负载,系统的缓存也有了多元化的发展。

23:39
他的粉丝

大规模实时流处理平台架构

作者 卜赫  发布于  2016年12月12日 作者 卜赫 关注 0 他的粉丝  发布于  2016年12月12日

随着不同网络质量下接入终端设备种类的增多,服务端转码已经成为视频点播和直播产品中必备的能力之一。直播产品讲究时效性,希望在一定的时间内让所有终端看到不同尺寸甚至是不同质量的视频,因此对转码的实时性要求也较高。实时流网络 LiveNet,它在整个流分发的环节中起着流传输通道和网络骨干的作用。

32:53
他的粉丝

基于实时价格计算的电商检索系统

作者 乔勇  发布于  2016年7月15日 作者 乔勇 关注 0 他的粉丝  发布于  2016年7月15日

酒店ota行业的库存价格模型比较复杂,它是一个多维度共同决定的变量,维度包括预订窗口、连住天数、预订人数、会员级别等,这属于一个指数级别的空间复杂度。

53:11
他的粉丝

如何实现全球实时互动的在线教育?

作者 谢艳青  发布于  2016年4月22日 1 作者 谢艳青 关注 0 他的粉丝  发布于  2016年4月22日 1

在教育全球化的今天,如何实现全球互动实时直播的在线教育,帮助更多的教育机构实现教育的互联网化,并且同时支持PC端和移动端的万人全球在线。 多贝云以SAAS的形式,借助全球云服务提供商首都在线提供的全球一体化云平台和国际专线,为用户提供全球的在线教育技术服务,提供音视频互动直播,支持上万人同时在线的跨国业务。

39:43
他的粉丝

航空电商大规模实时日志分析

作者 李锋  发布于  2015年11月15日 4 作者 李锋 关注 0 他的粉丝  发布于  2015年11月15日 4

如何通过对恶意用户的行为分析建模,实时对恶意行为进行封杀,解决困扰航空电商已久的用户恶意占座行为,是航空公司互联网销售非常关心的问题。本次演讲我们将详细介绍海南易建科技股份有限公司在大数据恶意行为防护方面的尝试。

38:41
他的粉丝

O2O的实时搜索引擎

作者 余庆  发布于  2015年10月19日 作者 余庆 关注 0 他的粉丝  发布于  2015年10月19日

O2O行业通常都会基于地理位置派发用户订单给距离最近的服务提供者,因此必须解决位置高效索引和快速检索的问题。位置索引的最大挑战是位置可能持续变化,因此索引的更新量会非常庞大,传统搜索引擎难以应对。

46:47
他的粉丝

基于 Erlang/OTP 构建大规模实时系统

作者 张虎  发布于  2015年6月21日 18 作者 张虎 关注 0 他的粉丝  发布于  2015年6月21日 18

跨平台的大规模实时系统的架构介绍,各个系统模块的设计介绍。 介绍如何基于 Erlang/OTP 的特性构建大规模实时系统。 介绍如何带领一个 C/C++ 团队用 Erlang 开发。

36:29
他的粉丝

HBase上搭建广告实时数据处理平台

作者 李锐  发布于  2015年3月19日 1 作者 李锐 关注 1 他的粉丝  发布于  2015年3月19日 1

腾讯广点通承接了每天200多亿的广告流量,算法模型训练对数据的准确性、实时性和完整性都提出了很高的要求。 我们利用HBase+Storm构建了广告日志实时处理平台,解决了实时数据回流和统计的问题。

45:57
他的粉丝

eBay用户行为数据流实时处理系统

作者 汪兴朗  发布于  2015年1月19日 1 作者 汪兴朗 关注 0 他的粉丝  发布于  2015年1月19日 1

这次分享一个系统的整体架构以及具体的实现的技术和运营方面的一些技术和经验。这个框架是一个全新的大数据处理的模式,它跳出了MapReduce,实现了一个没有终点的数据流, 数据在不同的应用之间自由流动,每个应用根据需要可以改变,插入,变异数据流,构建了一个开放的数据流社交网络。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT