BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

从BAT到TMD,现在国内外一线架构师都在做什么?

| 作者 David 关注 1 他的粉丝 发布于 2018年4月20日. 估计阅读时间: 11 分钟 | QCon上海2018 关注大数据平台技术选型、搭建、系统迁移和优化的经验。

最近几年,耳熟能详的"BAT"都在大谈基础设施转型,例如百度的 Apollo 自动驾驶平台,例如提供计算和数据处理能力的阿里云,例如定位为合作伙伴提供连接一切能力的微信。但当看似“BAT”的体量与技术能力达到了中国互联网的上限时,后起之秀如"TMD"(头条美团滴滴)以各自深耕多年的技术底蕴和业务体系也成了一方巨擘。

国外呢?近期 Apple 在西雅图扩展机器学习中心,Google DeepMind 在欧洲开设了第一个研究基础 AI 的实验室,而 Facebook,听证会上的扎克伯格宣布会开发更多的人工智能工具,帮助消除歧视与假新闻等等。

可以看出无论国内还是国外,大企业的技术实践难度都在扩大,而时代的快速发展也不断地倒逼技术人去摸索和实践,具体在做什么,聚焦在架构上,我们以 ArchSummit深圳站 的分享为例:

 

Google:推荐系统、Go 语言、TensorFlow

ArchSummit 深圳站邀请了 Google 研究院资深研发工程师 Dekun Zou,以及 Go 项目组战略及产品负责人Steve Francia前来分享。

深度学习在大规模推荐系统中的应用与 TensorFlow 最佳实践

Dekun Zou 届时有两场分享,作为 Android 应用商店、Google 广告排名等基于深度神经网络推荐系统的负责人,会由浅入深介绍如何构建基于深度学习的推荐系统,以及分享TensorFlow的最佳实践,其中推荐系统分享简要大纲如下:

  • 信号类别分类:场景信号、用户信号、物件信号

  • 两步定制化推荐:深度挖掘、生成候选人列表、混合人工生成的候选人、最终排序

  • 选择模型训练模式:离线、在线

  • user vector, item vector

  • 损失函数的构造

Go,一个正在全球化的现象

在全球范围内,拥抱Go语言的开发者越来越多,Go语言的爱好者人数已经超过一百万,并正在呈指数级增长。而且,当今多数流行的开源项目都是用 Go 语言构建的,例如 Kubernetes, Hugo 和 Docker。

对于目前很受关注的云计算公司如Microsoft、Google、Dropbox等来说,Go 语言同样至关重要。此外,Go 还在很多跨领域方面提供创新机会。

本次 Steve Francia的分享会简单介绍Go语言的历史,快速发展的推动力,以及未来Go语言会有哪些新动作和方向的内容。

 

Facebook:信息安全和商业诚信、大规模时空数据处理

ArchSummit 深圳站邀请了 Facebook Business Integrity 机器学习团队和机器平台架构团队负责人徐斌,以及 GeoAPI 组技术领导宾理涵前来分享。

机器学习技术在安全性和完整性方面的探索

信息安全和商业诚信问题不断增加,Facebook面对每天超过PB级的不平衡和模糊大数据,实时机器学习和解决方案面临着巨大的挑战。这样的要求在各个领域越来越多,促发了许多突破性的研究成果和应用。

徐斌会在分享过程中快速浏览一些安全问题,然后讲述机器学习平台建设,重点讲解当下棘手问题的相关先进技术和解决方案,以及真实的应用效果。最后会分享几个最近机器学习在安全应用上的特别案例。

万亿级混合复杂时空数据的处理决策

大规模空间数据除了在规模上的挑战以外,还有独特的问题需要解决:例如经纬度,直线距离和弧面距离的区别,以及同样的经纬度差在两极和赤道的面积差等。这些特性既是挑战也是性能优化上的机遇。

随着越来越多的移动设备、物联网设备产生海量的时空数据,如何有效存储、检索、实时的 k-nearest查询、关联性排序,如何高效地解决在离线大规模空间数据分析中常用到的 Spatial Join 都是要解决的问题。

Facebook Location Infrastructure 团队处理大规模时空数据过程中,在内部技术和开源技术之间采取折中而务实的办法。宾理涵将会分享涵盖经过验证的,在处理每天万亿级混合复杂操作的时空数据背后的多个设计决策,和架构选型内容(包括在线和面向分析的用户案例)。

 

Netflix、IBM 微服务最佳实践

ArchSummit 深圳站邀请了 Netflix 首席软件工程师Yunong Xiao,以及 IBM 高级委员会成员、Istio 核心贡献者Lin Sun前来分享。

Netflix:FaaS 最佳实践

FaaS 变革像风暴一般拓展到全球。事实上,因为企业都喜欢 FaaS 所带来的 No-Ops,或者说在工程效率上的突出表现。所以,FaaS 所带来的变革可以在一线开发者领域迅速扩展,能够帮助工程师们更快速的将代码部署到产品上。

在 Netflix,这些功能特性对于 Netflix API 平台来说简直是完美符合,工程师们用 JavaScript 来写代码并部署到 tier-1 服务层,整个过程不是完全必须要去管理基础架构设施或者运维。

然而,还是有很多权衡之处需要考虑,传统的 FaaS 理念或者做法在今天看来,更适合那些对延迟要求不高的任务。但是,对于延迟很敏感,对可靠性以及可弹性扩展要求较高的任务来说,FaaS 还需要再优化。

Yunong Xiao 将会介绍 Netflix FaaS平台的架构和内部构成,帮助各位在FaaS基础上可以很好地将功能部署成为隔离、可靠、低延时的产品服务。

Istio- 构造、守护、监控微服务的守护神

Istio 作为用于微服务服务聚合层管理的新锐项目,是Google、IBM、Lyft首个共同联合开源的项目,提供了统一的连接,安全,管理和监控微服务的方案。

Istio 将流量管理添加到微服务中,并为增值功能(如安全性,监控,路由,连接管理和策略)创造了基础,称之为 Service-Mesh(服务网格)。

Lin Sun 会讲解 Service-Mesh如何帮助微服务项目进行过渡,如何授权给运维团队,如何采用安全的最佳实践等等,同时也会分享 Istio 项目的进展和生态效果。

image

 

一些核心架构分享:微信、菜鸟、滴滴

这里简单介绍微信、菜鸟、滴滴等资深架构师的现场分享。

微信百亿消息万级机器背后的管理者 Yard 平台

微信作为一款国民 App,每天承载着数百亿条的消息收发,而支撑着微信功能的后台服务也多达数万个,如何确保这些在线服务的稳定可用和可控,是资源管理系统面临的一大挑战。

与此同时,随着 AI技术的方兴未艾,围绕着微信所开展的机器学习与数据挖掘的离线作业也日渐增多,对内部计算、存储、网络等资源提出了大量的需求,如何充分利用好服务器资源,高效调度各类计算作业,合理编排不同维度的资源组合也是资源调度系统的一个重要目标。

腾讯微信技术架构部专家工程师文杰将阐述微信的资源调度系统 Yard 如何利用容器技术解决在线服务与离线作业混合运行的各种问题挑战,分享微信后台在资源隔离、作业调度、容灾设计等方面的成功实践和思考。

菜鸟网络下一代分布式体系架构的理念与演进

黄浩,目前是阿里巴巴资深技术专家,17 年工作经验,TOGAF 认证架构师,菜鸟程序员联合会首任主席,现为菜鸟仓储技术部及自动化技术团队负责人。

黄浩将前来 ArchSummit 与大家全面回顾一二十年来整个分布式系统架构的演进(从 C/S-B/S- 分布式系统 - 网格计算 - 云计算,包括目标、定位、场景).

另外还会介绍菜鸟下一代分布式系统架构如何设计规划,结合传统云计算 PaaS/BaaS 以及边缘计算,如何应用在全球多域体系,简易提纲:

  • 二十年来分布式系统架构的发展与优劣势对比

  • 目前主流分布式架构体系的构成域思考

  • 菜鸟乃至阿里巴巴系统架构面临的问题与下一步的思考

  • 下一代分布式系统架构的设计理念、核心构成与关键技术挑战

  • 菜鸟的实践-全球多域基于混合云的分布式系统架构

滴滴出行平台地图引擎架构实践和 AI 技术应用

滴滴已成为日成交订单千万量级的全球最大出行平台,作为中台三个最核心引擎之一的地图引擎是整个平台的基石,重度参与了线上业务流程的几乎每一个环节。业务要求赋予了滴滴地图超出传统地图之外的新使命:除确保导航、底图展示等功能体验外,还需要通过与接驾、派单、预估价等业务场景结合并精细打磨带来平台整体效率的提升。

本次滴滴地图事业部高级专家朱智青将会阐述在滴滴当下的业务场景中地图的核心价值,同时重点介绍在服务迭代过程中面对的全新技术挑战(业务高性能要求与严苛的效果约束,经典地图算法与 AI 的结合等),以及在挑战下滴滴地图团队做出的努力和取得的成果。通过本次分享,大家会对出行场景中的地图服务有一个系统认识,并拥有一些技术领域交叉的思路。


更多国内外架构实践,点击了解全部

除上述分享之外,ArchSummit 深圳站还有诸多国内外架构分享:

  • 腾讯:QUIC 协议在腾讯的实践和优化

  • 阿里:使用标准的 ANSI SQL 驱动大数据流计算

  • 华为:边缘计算 IoT 云服务应用实践

  • 微博:AI 时代精准的个性化推荐

  • 唯品会:统一检索平台的演进和探索

  • 今日头条:大型直播互动系统的设计与实践

  • 微众银行:金融业务中区块链技术架构解析

  • 菜鸟网络:全球跨域 RPC 架构设计

  • 网易严选:售后服务架构演变实践

  • eBay:QE 团队向工程效率团队转型的实践之路

  • Pinterest:大数据平台的过去与未来

  • 前 Tesla 深度深度学习负责人:自动驾驶中的计算机视觉技术

  • ...

目前 ArchSummit 限时 8 折报名,可联系票务 小助手豆包 获取更多优惠(微信:aschina666,或致电 010-84780850)。

image

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT