BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Dan Lucraft谈NoSQL DB在Rails中的使用与基于JRuby的编辑器RedCar的设计思路
录制于:

| 受访者 Dan Lucraft 关注 0 他的粉丝 作者 Werner Schuster 关注 6 他的粉丝 发布于 2010年9月14日 | 如何结合区块链技术,帮助企业降本增效?让我们深度了解几个成功的案例。
22:31

个人简介 Dan Lucraft是Songkick的高级开发人员,在工作中他使用Ruby。他还创造了基于JRuby的可扩展编辑器RedCar http://redcareditor.com/。Dan的博客是http://danlucraft.com/blog/。

之前大获成功的Scotland on Rails Conference更名为Scottish Ruby Conference,继续由举办过2008、2009年活动的原班人马负责,只是有了个更精确的名字和一个令人激动的新会址:位于爱丁堡市中心的皇家医学院。

   

1. Dan,你是谁?

我是一个开发者;任职于伦敦的Songkick.com。我们是一家专注于近期演出列表的公司。我也是一个Ruby的狂热份子,这是为什么我会出席这个大会的原因——这就是我。

   

2. Songkick是做什么的?

正如我前面说的,我们专注于近期的演出列表,在我们的数据库中有超过11万近期的演出信息,我们从多个票务机构获取信息,所以如果我们的数据库里没有你想要去的演出,那是一个Bug。我们有超过140万个活动,可以追溯到60年代,如果你有一个装满演出票的鞋盒,想要和全世界分享的话,可以上 Songkick。这就是Songkick。

   

3. 你们是如何获取数据的?如何获得票务信息?

我们和很多票务机构都有合作关系。他们提供数据,我们将这些数据转换成你在Songkick.com上看到的漂亮的列表。如果你正在找一场演出,我们通常会提供多个选择,你能从多个不同票务机构买到票,价格都附在旁边。你能在页面上通过点击选择要从哪家买票。

   

4. Songkick使用的是什么技术?Ruby?

在Songkick我们只用Ruby。我觉得这是句实话。我们的网站使用多个不同版本的Rails,当然我们也用了大量的Gem。因为我们广泛地使用 Ruby,所以Songkick的每个人都是Ruby开发者,我们的网站使用Ruby、我们的API使用Ruby,后端的守护进程用Ruby来处理多种不同任务,我们还有用Ruby写的库来从所有站点获取数据。所有的系统管理工作都是用Ruby来完成的。这里简直就是Ruby的天下,我们也觉得它很管用。

   

5. 你们使用哪个库来从其他提供方获取数据?

我们专门写了个东西来做这件事。我们有一个抓取器的库来管理针对不同票务机构的抓取器集合,通过这个库可以监控抓取器,检查它们是否正常。

   

6. 你们目前使用哪个Ruby?1.8还是1.9?

我们现在用的是MRI 1.8.7。事实上我们正在使用Ruby Enterprise Edition,我们发现切换到这个版本还是很值得的。目前还没有升级到1.9的计划,但可以想象在不久的将来我们会做的。

   

7. 在Scottish Ruby Conference上,你做了一个关于你是如何使用Rails和数据库的演讲。那个演讲的内容是什么?

我和我的同事Matt Wynne在大会上做了一个演讲。演讲内容是在Rails中使用NoSQL,还有SQL数据库。我们讲的内容是关于如何从SQL迁移到NoSQL,因为如果有机会,这里的很多人会希望使用NoSQL数据库,但我们之中的大多数人可能是靠维护运行于MySQL之上的大型应用程序来赚钱的。对我们而言,要从头开始一个新的项目来使用NoSQL并不简单。如何才能在现有关系型解决方案中引入一个文档数据呢?既要有原则,又要注重实效。这就是这个演讲的主题。

我觉得使用NoSQL带来了很多好处。我想要解释一下不用从头开始也有可能使用NoSQL。在Songkick,我们在探索的过程中开发了一些库,我们的演讲就是在展示这些库,它们结合在一起就能实现这一目标。其中一个库是用来代替Rails内置的观察者的,它能让你实现异步观察者,运行于进程之外,但与此同时他又维持了Rails现有的工作方式。这对于一个习惯了Rails的人来说是种很能理解的使用异步观察者的解决方案。我们还没发布这个库,但在合适的时间,我们会将它开源。我们还实现了一个用来在MongoDB中保存数据的库。MongoDB是一个新的面向文档的数据库,和那些库一样,我们也在使用它。

我们的演讲中还涉及了在Rails应用程序中引入Presenter模式,这个模式在Rails社区中也倍受争议。我们也一直不太确定什么地方适合用 Presenter,但我们需要反规范化数据库,将网站和Rails项目所需的不同数据碎片集中到一起,Presenter的使用对我们来说真的非常有用,因为我们将其视为模型之上的第二层持久层,当网站有需要时,它能正确提供相应数据。

   

8. 你说异步观察者是在进程外运行的,是吗?

是的,这里有两种实现方式。 第一种,为每个想在系统中处理的任务实现一个特别的消息系统或消息格式,这种做法还不错。我们开始时使用这种方式,但后来我们发现用了异步观察者后,系统实际是把每个ActiveRecord事件(数据库记录的创建、更新或删除)都序列化成一个表示该操作的消息,并放进队列中。所有东西都是这么做的。我们把得到的东西称为大聚合(megafeed),它就像一个事件的消防水带,总有成千上万的事件进来。

我们可以监听这些事件,根据系统中的事件派发任务进行处理,不用担心在需要支持新消息类型或任务的时候要修改网站。我们经常发现自己需要写新的守护进程来处理一些事情,比如调整图像大小来为网站创建不同尺寸的缩略图。但实际上并不需要这么做,也无需对网站做任何修改,因为ActiveRecord事件的大聚合中包含了处理这些事情所需的所有信息。或者,在我们想要给新用户发送邮件时,只需监听大聚合里是否有新用户事件,有的话取得该事件,并从中获取信息,发送邮件。

这是个很好的抽象,因为它把所有我们想做的不同类型的事情都统一成了一类消息;而且它超出了我们的期望,因为我们想做的所有事都只是包含在一个ActiveRecord操作里的。

   

9. 那么这是一种事件总线?

是的,我们用的是RabbitMQ,所有消息都用它发送,这对我们而言是个很棒的解决方案。我们发现自己正越来越多地使用RabbitMQ。他们也在伦敦,我们有必要碰个头。

   

10. 你提到了MongoDB,它真有这么棒吗?

首先,它很快,当你把它作为缓存层的时候这一点尤为重要。其次,它还相当灵活,因为我们并不知道这个项目到底会往哪个方向发展,所以这一点真的很有用。你可以用Mongo来存储文档,把它当成Key/Value存储,可以对那些文档的内容进行索引,执行复杂查询,这意味着我们无需在一开始时就精确定义要做什么,这太有价值了。

我们目前把Mongo当作一个文档的Key/Value存储来用,但因为它还可以对文档进行查询,我们用它来保存HTML段和事物(例如列表形式的用户 ID)的索引,Mongo支持类似列表的原子操作的东西,这对我们也很有用。我认为Mongo真正的好处是它允许你在没有完全确定发展方向时保持灵活。在文档数据库领域中还有很多好的选择,如果有合适的,我们也会尝试另一种解决方案。

   

11. 你是如何选择MongoDB的,或者说在这么多选择中你为什么选了MongoDB?

正如我所说的,有很多好的候选对象。我对Redis更有兴趣一些,但此时此刻很难去说哪个就一定比其他的好很多。从某种意义上来说,我们在内部使用 Mongo已经有段时间了,因为我们都在尝试新数据库,它被用在一个管理应用程序上,我们已经在用了是选择它的一个重要原因。我们用它能保持灵活是另一个重要原因。从长远来看我们还未决定今后用哪个数据库,但Mongo正在为我们工作,而且做得很好,这对目前的我们而言已经足够了。

   

12. 让我们再来看看一些你的其他项目,你最近发布了一个剖析器——JRuby Prof,我想它是叫这个名字。

是的,那个东西我写地很开心。它还处在一个相当早期的阶段,还有需要改进和修正的地方。我认为在JRuby里,只要你想,还是有机会做出一些出色的剖析解决方案的,所以我期望更多地投入其中,尽早发布新版本。

   

13. 为什么说JRuby Prof比一般JVM剖析器好呢?

在写JRuby Prof前,我的一个项目需要剖析器,于是我试用了一些现有的产品。Ruby自带了一个纯Ruby的剖析器,它可以用,但要用于生产环境它还不够好。然后我又看了下Java世界的剖析器,我对Java了解的不多,所以对我而言这些都是全新的。Sun的Visual VM很不错,但在我要真正开始做剖析时却偶尔会让我的JVM发生段错误,因此我很快就放弃它了。Charles Nutter向我推荐了YourKit,比前者好一些,我也更喜欢它一些,那是个商业产品。

目前有很多商业产品,例如JXInsight,我都很想用,但对我而言它们都太贵了,特别是对一个纯粹是个人兴趣爱好的项目。介于纯Ruby的和完全基于 Java的两个剖析器之间,我想要找的是和我们在Ruby社区中使用的工具类似的东西,当时JRuby中还没有这样一个剖析器。把一个东西弄出来然后就甩手不管是很简单的,这就是为什么我说这是个新的项目,它还需要下很多功夫,但它能满足你的需要。它的成本很低,剖析你的方法树,构建一个调用图,这样就能清楚地知道代码中哪个部分耗时比较多,这就是我所要的,也希望它能对你有帮助。

   

14. 你使用什么技术来实现JRuby Prof?又是如何将它挂入运行时的呢?

JRuby支持Ruby事件,这和MRI的很相似,很可能在项目开始时它就支持了。写一个能挂入事件并进行监听的Java库非常容易。事件中涉及了方法调用、方法返回、异常,代码调用过程中发生的事情。它给了你足够的信息去构建包含方法和耗时的调用树。

   

15. 你的另一个JRuby项目叫RedCar。那是什么?

RedCar是个文本编辑器,我写了一段时间了。目前是用JRuby来实现的,从年初起它就跑在JRuby上了。自顶向下,它的大部分内容是用Ruby实现的,唯一由Java实现的是语法高亮,它要很快才行。实际上它是用Ruby写的,我想为Rubyist做一个很棒的编辑器,因为你能随时按下Tab键键入Ruby代码,RedCar能在内部执行这段代码。你能为RedCar实现新的Ruby命令,假设你想用你的文本在缓冲或别的东西中做点什么,你可以直接在里面实现命令,它立刻就能弹出在菜单里。

你甚至都无需重启编辑器。使用Ruby的动态特性来支持在内部修改编辑器真的很有趣。总的来说,我试着为Rubyist提供一个好的解决方案,因为我们都希望能从头到底修改所有东西。RedCar中的所有东西都以插件的方式实现,所有插件都用了相同的 API,和其他东西一样。编辑器里没有你不能修改的隐藏核心。如果打开代码,如果在RedCar中打开一个REPL,你能修改它的任意部分。

这也造成了一些问题,因为在Ruby里你无法阻止任何人做任何事。我们要非常小心,保证我们的API足以支持人们想做的各种事,但这些项目真的让我很兴奋,我希望本次大会能带来更多用户。

   

16. 你使用什么GUI库来构建RedCar?

我们用了SWT,这是开发Eclipse项目用的GUI库,它很棒,在所有的三个平台上都使用了本地组件。实际上我相信它在Motif上也能跑得很好,如果你喜欢的话。它真的很棒,工作的很好,使用过程中我们没有碰到一点问题。

   

17. 你用的是基本SWT,还是OSGI库,或是别的什么?

我们在主程序中使用基本SWT,但在此之上还用了一些JFace类,它们提供了一些方便的东西,这很有用,因为我们目前还没有诸如Eclipse中的撤销管理器之类的东西,我们主要用的就是它。我希望很快能用纯Ruby的版本替换它。我们的剪贴板就是这么做的,起初用JFace的剪贴板,当发现纯Ruby 的版本时就切换过去了。

   

18. 在RedCar里有一些TextMate集成,那是真的吗?

是的。TextMate是一个非常棒的编辑器,实际上我开始做RedCar的最大原因是我想在Linux上有一个类似TextMate的东西。我不清楚你对TextMate有多熟悉,但其中大多数的主题和语法定义都包含在一个开源包集合里。这对TextMate很有好处,因为这意味着谁都能编辑那些东西,以此种方式改进编辑器,这一点非常好。

TextMate的作者Allan Odgaard足以支持使用了那些包的项目,没有它们,RedCar可能就不存在了。所以我要对Allan大声说句“谢谢”,谢谢你开源了那些东西,这对我们来说真是太好了。RedCar支持和TextMate一样的主题、代码片段和语法定义。

   

19. RedCar是单一Ruby文件的编辑器,还是里面有项目的概念?

我们有项目的概念,它并不完整。RedCar还很新,还有很多东西需要实现,正如我所说的,希望本次大会能带来一些贡献者。本项目目前还相当简单,但足以让我在工作和家中全部使用它了,这对我来说是最重要的。我们已经开始有更多项目支持了,有人提供了GitHub项目浏览器,我们很喜欢它;有人提供了 RedCar的ctag集成,我等不及要用它了。我们在RedCar里也能有ctag支持。

   

20. 基本上,这是用于代码浏览的。

我想Emacs用户应该更熟悉ctag,它是从方法和类的使用处跳转至其定义处的一种途径。到处都在使用它,而且它的跨平台性也很好。

   

21. 可以用JRuby代码来写RedCar扩展,也可以用HTML和JavaScript来写扩展。这是怎么做到的?

我不喜欢编辑器或IDE里有又大又复杂的对话框。在RedCar中用来代替它们的是HTML视图,HTML标签页。RedCar吸引人的地方中很大一部分是你能用自己已经会的语言来写扩展。要学一门GUI API,哪怕是和SWT一样优秀的,对大多数人来说都没什么吸引力。我想要这样一种能力,用我已经掌握的技术,例如HTML、CSS和 JavaScript,来编写RedCar的插件;这正是我们在这些Web标签页里所尝试的。它们允许你使用JavaScript,随后RedCar运行时会回调Ruby,这都是透明的。

你写了一个控制器,其中有些Ruby方法,RedCar会把它们变成JavaScript,让你从JavaScript中调用那些方法。这让我们有希望用 HTML表单、JavaScript替换大多数复杂的对话框。这有点像Ajax,你无需重新加载页面或做类似的事,它能立刻生效。我希望人们可以用他们现有的技术来编写RedCar插件,就像这样。

   

22. 你正在使用SWT HTML组件,并将Ruby API和Java API发布出来,是吗?

是的。缺少了SWT的支持,我们做不到这些,SWT太棒了。SWT允许你将JavaScript方法绑定到Java方法上,而JRuby和Java集成得如此紧密,很容易就能把JavaScript绑定到Java上,而这个Java方法又绑定了JRuby。把这些全串联起来,所有这些库结合在一起让一切成为可能,这给我留下了深刻的印象,虽然我有些吃惊,但这很不错。

   

23. 在HTML视图中,只能写一般的JavaScript代码,还是你自带了什么JavaScript框架?

插件的作者可以使用他们喜欢的任何东西。我还没决定辅助工具中是否要自带默认框架,目前你可以使用你想用的各种东西。

   

24. 为什么你建议使用这些HTML视图而不是构建自己的小SWT窗口或组件?

基本是因为我个人认为它们会更好用一些。人们已经拥有HTML、JavaScript和CSS的技能了,能立刻用它们来改善自己的编辑器,写一些新命令和新插件。学习一个GUI系统并不是个大的障碍,对于更复杂的事情或更紧密的集成,仍然需要使用它;但你在标准IDE中做的很多事,例如某些实例的搜索结果,可以用HTML来展现。

也许是首选项面板、插件管理器或调试器——有很多事可以用这种方法来做。这是为了让RedCar的用户能方便地扩展它,这才是最主要的原因。

   

25. 听众们可以从哪里找到RedCar和JRuby Prof?

可以在GemCutter找到JRuby Prof的Gem。“sudo gem install jrubyprof”,这就可以了。需要把它安装成一个JRuby的Gem。RedCar也能通过Gem的方式来获得,尽管它运行在JRuby上,但你只需要安装任意的Ruby或RubyGems,它会自己下载所有启动所需的JRuby jar文件。你只需执行“sudo gem install redcar”。

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT