BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

IBM软件架构处理天文领域海量数据

| 作者 Michael Stal 关注 0 他的粉丝 ,译者 吴宇 关注 0 他的粉丝 发布于 2011年12月6日. 估计阅读时间: 2 分钟 | 都知道硅谷人工智能做的好,你知道 硅谷的运维技术 也值得参考吗?QCon上海带你探索其中的奥义

IBM最近发布了能够处理海量数据流的软件架构原型。IBM的这款软件为SKA(平方公里阵列)望远镜项目而建,能够自动分类天体对象。来自新西兰惠灵顿维多利亚大学的射电天文学家Melanie Johnston-Hollitt与IBM合作开发了该系统。

这项SKA项目的主要目的是通过遍布在澳大利亚、新西兰或贯穿南非的雷达和天线网络,对射电源进行前所未有的精确观测。一项主要的设计挑战是如何每天处理1EB(译者注:1EB=1024PB)的原始数据。这就是当这个世界上最庞大、最灵敏的射电望远镜准备就绪时,需要去处理的数据量;项目预计在2016年开始实施。IBM称该数据量已经超过了互联网每天的流量总和。相当于需要1500万多个64G的iPod才能存储这些数据。

IBM于11月10日宣布原型系统完成。

这一新的自动化数据管理软件架构,很可能会使研究者更方便的从那些超大规模的数据收集项目中搜集有用信息,比如这个平方公里阵列全球天文望远镜,有了它我们可以探索宇宙中那些未解之谜。

在Melanie Johnston-Hollitt博士的帮助下,IBM创建了信息密集框架(IIF)。IBM提到,该软件采用国际虚拟天文协会本体论方法把收集到的数据分类为天文学家能够理解的概念,并且提供智能的“导引搜索”功能。该本体论的技术基础是网络本体语言(OWL)。天文学家们希望能够通过自动分类来提高工作效率和创造性。

虽然IIF最初是为SKA项目开发,但它也可以在其他领域得以应用。Douglas Watt,IBM新西兰首席技术官,解释道:

虽然一开始为SKA项目开发,但最终的项目成果也可以应用到其他面临“数据洪流”的企业组织。我们已经确定了几个本地场景,无论从自动化性能数据分析还是到监控趋势变化、异常识别以及提高决策力等等方面,都能从中受益。潜在的客户范围包括从独立制造厂商以及电信企业到整个运输网络和医疗系统。

除了上述主题,IIF未来的工作还将包括通过利用并行处理来提升性能。

对SKA项目感兴趣的读者可以在Flicker上观看图片,上面详细解释了一些令人印象深刻的SKA细节。

查看英文原文:IBM’s Software Architecture for Astronomically Big Data

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT