BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

流水线  在InfoQ上的内容 rss

演讲所属 流水线 rss

架构 & 设计 关注 982 他的粉丝 Sloth: 网易流计算服务化平台架构实践 作者 金晓军 关注 0 他的粉丝 发布于 2018年1月9日 网易历经了20年的发展,各业务线沉淀了丰富的数据。大数据平台在满足各业务线数据存储、计算的任务,同时承担着整合集团数据,为客户提供全方位的大数据服务。 在满足业务需求的过程中,对 Hadoop 各组件进行了定制优化(如分时调度,权限控制,元数据管理,Spark 多租户,Spark 高可用,流计算相关)。 同时,围绕大数据底层技术平台也孵化出了猛犸大数据开发平台,网易有数敏捷数据分析平台等产品。本次演讲重点介绍网易基于 Flink 研发的流计算服务化平台,以 SQL 为主要开发方式,支持 DDL,支持丰富的 DML,如 Stream join, Window,支持 UDF,提供丰富的 connector。为网易各业务线提供一站式的流计算解决方案。

他的粉丝 大型金融企业项目部署流水线的演化 作者 韩锴 关注 0 他的粉丝 发布于 2013年9月18日 这个一个关于部署流水线和5000人月的故事。在过去的4年时间里,我们伴随着某金融领域的客户共同发展。而部署流水线作为持续交付实践的核心,从初期就被引入到了团队。不过部署流水线不是一成不变的,它经历了由合到分,又由分到合的演化。在这个过程中,很多因素是相互影响的,既有技术的,也有文化的。在这些因素中,软件架构、团队组织结构始终与部署流水线的设计密切相关。如何协调这些它们之间的相互联动?如何让部署流水线适应并促进这些变化?这个主题将要分享我们项目中遭遇、解决这些问题的过程,并最终影响客户逐渐采纳持续交付的实践。最后将总结一个构建基于组件的部署流水线的模式。这个主题将以故事的方式,为听众抽丝剥茧我们的部署流水线的演化过程,着重介绍每次变化的触发因素以及如何克服(以及一些妥协)改变的过程中遇到的技术、文化障碍。希望我们遇到的问题和总结的经验能够给同样奋斗在实施持续交付的团队以帮助和启发。 1

文章所属 流水线 rss

他的粉丝 强者恒强:x86高性能编程笺注之流水线 作者 张攀 关注 2 他的粉丝 发布于 2017年5月27日 作为一小撮人类精英送给普罗大众的珍贵礼物,能在市场上随意购买到的CPU其实和买不到的核武器一样代表了人类最尖端的科技水平。即便是一位x86 CPU专家也只能无一遗漏地讲清楚他所专攻的那一部分内容。对于我们来说,虽然不可能尽懂,但有三个部分的内容十分关键:流水线、缓存和指令集。这三个部分之中,“流水线”可以作为一条贯穿的线索。因此,承接上一篇文章中的示例,我们先来了解一下流水线。 1

他的粉丝 遗留系统流水线的改进 作者 杨政权 关注 0 他的粉丝 发布于 2017年2月22日 持续集成(Continuous Integration)是一种软件开发实践,它倡导开发团队频繁地进行系统集成,每一次的集成都可以通过流水线(Pipeline)快速验证。和传统的集成方式相比,持续集成可以有效地缩短反馈周期、提高软件质量、降低开发成本。这种开发实践也越来越为更多的开发者所接受。对于一个有七年历史的项目,非常幸运的是我们在项目刚开始就使用了持续集成,这也是我们可以长期、稳定地给客户交付高质量软件的保障之一。

访谈所属 流水线 rss

他的粉丝 吴震:Netflix数据流水线的四个部分 作者 Steven Wu(吴震) 关注 1 他的粉丝 发布于 2017年4月21日 Netflix的几百个微服务系统每天会产生万亿条消息和 PB 级数据,数据流水线负责从生产者到消费平台的数据传输。我们采访了Netflix的软件工程师吴震老师,他为我们介绍了Netflix数据流水线的组成部分,从Chukwa到Keystone流水线的重构背景,分享了在实践中遇到的问题和得到的教训和经验。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT