![]()
敏捷建模:增强沟通和理解
我们创建软件解决方案时,建模有助于我们进行沟通和理解。因为在交付软件解决方案的时候,沟通和理解是最关键的两个环节,所以不应该忽略建模这一有价值的工具。敏捷建模遵循敏捷的价值观和原则,应该成为敏捷工具箱里的实践之一。
![]()
我们创建软件解决方案时,建模有助于我们进行沟通和理解。因为在交付软件解决方案的时候,沟通和理解是最关键的两个环节,所以不应该忽略建模这一有价值的工具。敏捷建模遵循敏捷的价值观和原则,应该成为敏捷工具箱里的实践之一。
Google本月初发布了企业级大数据分析的云服务——BigQuery为正式付费产品,这是Google迈向企业级云计算领域的关键一步。BigQuery本质上是一个云平台基础服务PaaS,旨在实时处理TB级别的大数据,并提供UI界面和Rest API两种访问方式。
Azavea是一家位于费城的公司,提供地理数据处理产品,它最近发布了名为GeoTrellis的开源产品,基于GNU GPL v3协议。GeoTrellis是开源数据处理引擎,供高性能应用使用。
作为Hadoop 曾经的超级粉丝,Joe Brightly 承认自己在很多方面非常热爱Hadoop,但当他部署Hadoop用于分析的时候,他才意识到它并不是无所不能。在Quantivo,Joe及其同事已经“探索了许多方法来部署Hadoop用于回答分析型查询”。直到最后,它带来了“不必要的痛苦和可笑的低效成本”。Joe从五个方面分析了为什么数据分析不使用Hadoop的理由。
![]()
随着Hadoop被越来越多的公司采用,它与其他应用程序的集成也变得越来越重要。这类集成的关键在于,使用合适的OutputFormat以产生最适合于其他应用程序的某种形式的输出数据。

在这篇文章中,作者Boris Lublinsky和Mike Segel将向大家展示如何利用自定义的InputFormat类来更紧密地控制Hadoop Map Reduce作业中的Maps执行策略。
![]()
在这篇文章中,作者Boris Lublinsky和Mike Segel将向大家展示如何利用自定义的InputFormat类来更紧密地控制Hadoop Map Reduce作业中的Maps执行策略。

亿贝的Hadoop系统能够很好地处理大规模非结构化数据,为了高效处理用户邮件数据,我们在Hadoop平台上对于海量邮件进行了基于邮件发送时间的再分区和层级化的文件管理。同时还包括个人信息的过滤,邮件框架信息的过滤等等。结果集有三种不同的数据集合为不同的数据分析而准备, 包括原数据集、清洗后的数据集以及去重之后的小规模数据集。通过对于亿贝用户间的邮件数据分析,我们得出的一个重要结论是,对于亿贝的超级卖家和买家,亿贝要为其建立一个有效的,统一集中管理的邮件传送系统。
如果您观看本视频不流畅,请移步优酷版本(无Slides同步播放)

数据库设计管理是一个经验活,经验越老,则越能处理企业数据各种复杂情况。在本课程中,石展(吴诗展)将多年的数据库设计管理经验归纳总结为一条条军规,并将经验值量化&实例化,内容包括基本类军规、字段类军规、索引类军规、SQL类军规、约定类军规等。希望透过这些经验教训及案例解析,可以让MySQL数据库开发人员少走弯路。
如果您观看本视频不流畅,请移步优酷版本(无Slides同步播放)

本次采访了阿里巴巴资深技术专家陶勇,陶勇主要在平台技术部负责海量数据相关的工作。在本次采访中,陶勇介绍了阿里巴巴网站的数据规模,经历了哪些阶段,每个阶段都有哪些特点。在处理大数据的过程中,可以通哪些策略来满足快速响应用户的请求。采访中还提到了如何针对不同地域的数据中心做数据同步,涉及到三款产品,分别是Erosa、Eromanga、Otter。此外还谈到了阿里巴巴网站的缓存设计、如何做数据库拆分,如何分表。最后谈到了阿里巴巴后台海量数据处理的技术架构以及开放平台的最新进展。

本次采访到了Platform公司技术副总裁、创始人王敬文博士,首先王敬文博士解释了云计算背后的技术以及业务推动力,然后讲述了私有云在企业内的实施现状,紧接着解释了云计算与分布式计算的区别,通过实际案例说明了当前客户对云计算的需求以及国内外用户对云计算需求的异同。从他的角度分析了大数据为企业的数据分析所带来的挑战。然后介绍并比较了Platform公司大数据领域的产品Platform MapReduce和开源产品的区别。最后给国内正在实施云计算的工程师们以建议。