BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

关注数据:百度首届技术沙龙总结(含资料下载)

| 作者 霍泰稳 关注 1 他的粉丝 发布于 2010年4月15日. 估计阅读时间: 4 分钟 | AICon 关注机器学习、计算机视觉、NLP、自动驾驶等20+AI热点技术和最新落地成功案例。

4月10日InfoQ中文站和百度合作举办了首届百度技术沙龙,邀请了百度Web开发高级工程师和豆瓣网系统程序员刘洪清分享了他们对数据交互的理解,本文简单总结了他们演讲的内容并提供了演讲资料下载。更多图文报道请参见百度技术沙龙专题

据介绍,这次是百度第一次深入社区,通过线下活动的形式和业界技术人员交流。从整个活动的策划和准备,可以看出百度已经将与社区的交流提上了议事日程。在和百度讲师黄方荣、百度产品市场经理郑昊的沟通中,他们也提到虽然百度内部经常有类似的交流活动,但和外界的交流还是比较少,这次活动是一次尝试,如果效果不错,以后会继续和InfoQ联合举办类似的活动。

在黄方荣的演讲中,他主要介绍了数据在Web发展中的重要性,即“数据交互推动着Web的发展”,介绍的内容点包括:

  • Server数据推送
  • 域服务器数据交互
  • 异域网面跨帧数据交互
  • 客户端网页跨浏览器数据交互
  • 数据的压缩处理
  • WEB前后端交互的数据格式
  • 数据交互推动着WEB的发展

在每个技术点中,黄方荣都列举了多个解决方案进行类比。比如在介绍Server数据推送时,他提到了轮询、长连接、伪长连接等不同的应用及各自特点。而对于数据的压缩处理,他则介绍了YUI Compressor和GZIP不同的应用场景。最后,他总结说在Web2.0时代,Ajax大行其道,为网站提供了酷炫的交互界面,而在Web3.0时代,数据的交互将会更加人性化和简便。根据与会者的反馈,美中不足的是黄方荣在介绍数据交互的应用场景时,并没有比较多地涉及这些技术是如何在百度产品上使用的,这让许多慕名而来的技术人员有些失望。

刘洪清是豆瓣网的系统程序员,同时也是豆瓣开源数据存储系统BeansDB,这次他主要介绍了如何应用BeansDB来解决三千多万豆瓣用户持续增长的数据需求。豆瓣现在有超过3800万的用户,有15万个小组,430万条目,300万评论等,换算成后台的数据,则是200G结构化数据,800G文本数据,10T图片,6T音乐等等。要保证这些数据24小时的稳定性,安全性和可用性,并不是一件易事。豆瓣采取的措施就是将数据进行分类,比如将用户信息、好友关系等归为结构化数据类型,将文本内容、图片等归为小文件类型,而日志和备份数据归为大文件类型。然后采用不同的技术来解决问题,比如结构化数据用MySQL,小文件用BeansDB,大文件用MooseFS等。

在问答环节,有读者对豆瓣广播的实现方式很感兴趣,刘洪清介绍说:

豆瓣的广播跟twitter等微博客收件箱的实现思路不太一样,是只保持一分广播副本, 在用户浏览的时候实时合并,依靠精巧的缓存和数据流设计,能够在用户可接受的时间范围内完成复杂的广播合并。这种方式可以大大减少数据库中的数据量和压力, 也与我们产品的某些特性配合得比较好。这种实现方式可行的前提是,用户的关注数是有限的,一般在一百左右,对社会网络的相关研究也是类似的结论。

对于MySQL的双Master如何实现,以及如何避免诸如自增ID等可能的数据冲突等问题,刘洪清也介绍了豆瓣的做法:

豆瓣目前的双Master主要是处于切换的便利性考虑,数据读写方面其实是Master-Slave结构,通过运维的方式来控制,同时只有一个Master是可写的,比如修改帐号权限等,这样就没有数据冲突的问题了。

本次百度技术沙龙的演讲资料现在已经可以下载,链接为:Web数据交互的艺术、豆瓣数据存储实践资料下载

本次活动原计划80人到场,结果有400多人报名,近300人到场,组织者不得不加急调整了一个大的会议室人到场。有读者开玩笑说,百度在开拓技术社区方面开了个头彩。我们也希望类似百度这样的国内大公司能够更多地关注社区,和社区分享他们的开发经验,让信息在社区内流动起来。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

感恩 by 李 冬

感恩 (大恩不言谢 呵呵)

第一次接触这个 by Yuan Sheagle

第一次接触数据交换存储,给资料还是要感谢滴

国内大公司? by 张 核铭

RT
呵呵

thanks by Lu Jerome

先谢谢,希望多组织这样的活动

资料毫无价值 by Ma Karl

资料毫无价值,完全做放屁只用。

Re: 资料毫无价值 by zhao xingjun

bt

下载百度沙龙的资料 by deng hao

很感谢有这样的学习的机会,但问题是我下载不了呀????这是怎么回事呢?

没下载地址啊 by lxf Lee

我也没看到有下载的链接啊

下载百度沙龙的资料 by xing dong

下载百度沙龙的资料

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

9 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT