大规模视频网站的计费与流量管理
本次分享将会就大规模视频网站的计费与流量管理这个话题,从操作层面细细进行讲解和分析,为系统工程师们揭示平日里我们没有关心的另一些内容。同时也希望本次分享能揭示行业中的一些“潜规则”,让互联网行业的流量与带宽管理更为开放与简洁。
本次演讲视频录制于QCon杭州2011。
该内容已经被标记书签!
标记书签错误,请重试!
作者 Srini Penchikala 译者 张龙 发布于 2008年4月12日
JPPF是一个基于java的开源并行处理框架,其最新版包含一个叫做TCP端口多路复用(TCP port multiplexer)的网络工具,它使得JPPF可以在安全的防火墙环境下工作。JPPF小组发布的1.1版还包含了基于JMX的节点监测和管理特性。
由于JPPF框架通信层固有的设计,在其最新版本之前尚不存在任何简单的方式得以将JPPF集成到安全的网络环境中。JPPF至少需要3个独立的TCP/IP端口才能正常工作,然而很多防火墙只允许一个单独的端口。这样以来,防火墙通过阻止在未授权的端口上的传输进而对网络通信进行限制。
新的TCP多路复用通过一个单独的端口来路由来自多个端口的网络传输,以此突破防火墙端口限制。它可以通过SSH或者其他任何支持TCP/IP传输的协议来进行多路——多路(multiplexer-to-multiplexer)的传输。它还能将信息从一个单独的端口路由到网络另一端的多个端口。
最终的结果就是JPPF组件基本还会以之前的方式工作,唯一不同的是,他们将连接到本地的多路实例而非远程的JPPF服务器。这对安全性要求极高的环境的JPPF部署敞开了大门,使之无需再部署复杂的硬件/软件设备。
TCP多路复用工具是JPPF组件(客户端、服务器及节点)中的较为独立的一个,因此无需对现存的JPPF客户端做任何改变就可以投入使用该多路复用工具。每个多路复用器实例都被部署为单独的进程。
多路复用器的第一个版本出现在JPPF1.1发布中,它提供的基本功能当前仅服务于JPPF传输。在将来的版本中,还会有另一个“特色(flavor)”将服务于任何TCP/IP传输。这使得用户可以与非标准端口的web服务器交互,还能直接对防火墙后的J2EE服务器进行EJB调用。TCP多路复用器的未来版本还将具备应用独立开发的过滤器激活能力:
JPPF中其他的新特性如下:
节点监测特性用来获取如下信息:JVM状态、系统和环境变量、可用的CPU等等。我们可以通过JPPF管理控制台来得到这些统计数据。从GUI控制台还能查看到如下信息:节点状态、任务执行状态(任务是否已被执行)、执行的任务量等等。从管理控制台可以取消或者重启特定的任务。
对于系统的负载问题,管理员和开发者可以看到节点运行环境的概况及其当前状态。 我们可以通过JPPF监测控制台及专门的API来获得这些信息。
JPPF小组的Laurent Cohen说这是为下一个主要版本中的一个新特性所作的铺垫,该新特性将帮助用户和管理员控制何时、何地及如何执行JPPF任务。JPPF任务将与一个可以获得节点信息并对任务执行条件提供精确定义的“执行策略”相关联。
JPPF项目未来的发展路线还包含了一些主要的集成工作:与Gigaspaces的集成以应对计算密集型的具有高容量事务的企业应用,以及与业务规则引擎的集成。其他的集成还将包括:业务流程处理(Business Process Management,即BPM)及Extract、Transform与Load(ETL)框架。当然,路线中还包括了向JPPF网格工具箱中添加多代理系统的能力。
查看英文原文:Parallel Processing Framework JPPF 1.1 Supports TCP Multiplexer and JMX Monitoring
译者简介:张龙,同济大学软件工程硕士,现就职于理光软件研究所。主要从事文档工作流和办公自动化解决方案的研发工作。热衷于Java轻量级框架的研究,对敏捷方法很感兴趣。曾有若干年的J2EE培训讲师经历。参与InfoQ中文站内容建设,请邮件至china-editorial[at]infoq.com。
译者 张龙 热衷于编程,乐于分享,对新技术有强烈的探索欲,对Java轻量级框架有一定研究。
本次分享将会就大规模视频网站的计费与流量管理这个话题,从操作层面细细进行讲解和分析,为系统工程师们揭示平日里我们没有关心的另一些内容。同时也希望本次分享能揭示行业中的一些“潜规则”,让互联网行业的流量与带宽管理更为开放与简洁。
本次演讲视频录制于QCon杭州2011。
Jeffrey Richter以其多本Windows核心技术的经典著作而闻名,同时,他深入掌握微软的.NET等一系列核心技术,2012年1月,Jeffrey Richter在北京接受了InfoQ中文站的专访,谈到Windows 8和WinRT编程,并就异步编程、Windows编程中的可扩展性、性能和安全性方面给出自己的建议。
云计算平台的可用性,相比传统互联网服务而言,更加复杂和困难,也更具有挑战性。本文借助新浪SAE云平台为读者讲述了云平台可用性的定义、如何打造高可用的平台,以及对云计算的用户提出了建议。
淘宝高度重视Java平台的健康发展,组建了一个团队专注于Java平台的底层部分的性能、功能与稳定性改进;工作主要基于OpenJDK中的HotSpot VM开展,其中一些通用的功能随后也会逐渐反馈给OpenJDK社区。希望能与使用Java平台开发应用的大家交流经验。
本次演讲视频录制于QCon杭州2011。
2011年4月21日至22日是值得云计算从业者纪念的日子。Amazon的IaaS服务出现故障,导致许多商业网站的服务中断,影响非常严重。作为云计算用户,我们需要思考的是,如何保证即便在云服务不可用的情况,我们的应用架构仍然能够屹立不倒?本文正是站在云计算用户的角度试图探讨这一问题。
12人的技术团队,4组刀片服务器,每月20亿的访问量,每日1次准时部署,99.9%的可用性。这可能吗?当然。想知道如何做的吗?百姓网将与您分享他们在DevOps实践过程中的经验和技巧。
本次演讲视频录制于QCon杭州2011。
篱笆作为一家起源于社区的电子商务公司,反映到技术层面就是同时要面对产品和业务,以及经营战略的变化调整。如何在产品和业务的夹缝之间完成技术架构的抽象与平衡,寻找更有效的价值定位,这当中有些经验教训和个人感悟愿与众人分享。
本次演讲视频录制于QCon杭州2011。
本文将对特性注入以及相关方法做一个扫盲性的介绍。我们会解释这个框架的关键要素,并附上实例来证实它们。为了让文章保持相对较短,我们不会深入到某个工具或方法中,而是会给出一些参考资料,以便大家做进一步的研究。
没有回复
关注此讨论 回复