BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

Sahi案例分享:音乐批量下载

| 作者 沈锐 关注 0 他的粉丝 发布于 2012年6月14日. 估计阅读时间: 21 分钟 | CNUTCon 了解国内外一线大厂50+智能运维最新实践案例。

Sahi案例分享:音乐批量下载

本文将要向大家分享一个音乐批量下载的脚本。它使用了Shell脚本和Sahi脚本。该实例向大家展示了Sahi在除了Web UI自动化测试以外的一个实际应用。在阅读本文前,如果您还不知道Sahi是什么,建议您可以先阅读一下我的另一篇文章《使用Sahi测试Dojo应用》,也可以直接访问[Sahi的官方网站](http://sahi.co.in/w/)。另外,您最好对Shell编程以及Linux中的sed,grep以及awk等命令能有一定的概念。

1 背景介绍

偶然的机会,我发现了gmbox (http://code.google.com/p/gmbox/)。它是一款用Python编写的开源软件,放在Google Code上,可以提供音乐的批量下载。但是,用了不久,就发现它无法下载音乐了。在浏览了gmbox的Wiki之后,发现原因是这样的:针对每首歌曲,gmbox最终是得到并发送这样的一个URLhttp://www.google.cn/music/songstreaming?id=Sb085ad586f0447da&cad=localUser_player&cd&sig=87cd90dde819885241640b3d9cc7271a&output=xml并从返回的XML中得到mp3的下载链接、歌词以及专辑封面的下载链接的。这个URL中有一个参数叫sid,很显然它是一串经过加密的字符串。通过阅读gmbox的源码,不难发现它的生成规则。


flashplayer_key = "a3230bc2ef1939edabc39ddd03009439"
sig = hashlib.md5(flashplayer_key + self.id).hexdigest()

问题出现在flashplayer_key上。谷歌每过一段时间就会修改这个flashplayer_key的值,于是导致gmbox相关的功能无法工作(比如试听音乐下载以及歌词和专辑封面下载)。

2 核心原理

如果我们用Sahi来模拟用户搜索音乐、播放音乐的操作并使用某种机制记录下所有的获取音乐信息URL,然后再用wget或者curl之类的命令进行下载不就可以绕过这个flashplayer_key的问题了吗?这就是我的解决方案。

为了完成整个的过程,让我们一起看看有哪些关键步骤以及响应的结局方案。

  1. 自动启动Sahi(如果它没有启动的话)。 Sahi默认启动在端口9999,通过lsof就能够知道是否Sahi已启动。如果启动的话,就Kill掉它,然后重新启动Sahi。
  2. 通过Sahi脚本在浏览器中模拟用户搜索播放音乐的操作。 这当中碰到的一个问题是如何将搜索关键字作为参数传递个Sahi的脚本。最后,我是用文件的方式传递的。
  3. 记录下所有获取音乐信息的URL到一个文件中。 起初,我准备用dsniff记录URL,但很快我意识到这不是一个好办法,因为用户不得不额外安装dsniff。 后来,我发现Sahi通过启用一个调试选项,能够记录所有HTTP(S)请求响应通过Sahi代理服务器时被修改前和修改后的内容(traffic log)。这仅需要用户在配置文件中添加一个设置。因此,我选用了这种方式。
  4. 通过wget或者curl从文件中读取URL并下载。

最后,我用了wget。

想要具体了解实现的细节,请阅读“代码详解”部分。

3 使用方法

在开始讲解代码之前,先让我们来看看如何运行这个脚本。

  1. 下载及安装Sahi(http://sahi.co.in/w/using-sahi)。
  2. 把googlemusic.zip解压缩到你喜欢任意目录下。
  3. 设置环境变量SAHI_HOME指向你的SAHI安装目录。
  4. 在$SAHI_HOME/userdata/config/userdata.properties中添加如下代码行,用来启用Sahi调试的traffic log。 debug.traffic.log.unmodified=true
  5. 在$SAHI_HOME/userdata/scripts目录下建立一个软链接到解压缩的目录。假设你把压缩包解压到你的home目录下,就运行“ln sf ~/googlemusic/”。另一种方法是直接把压缩包解压到$SAHI_HOME/userdata/scripts下,这样,就省去创建软链接的步骤。
  6. 脚本中默认指定的browser名称是“chrome”。如果你没有安装Chrome或者其name属性不是“chrome”的话,需要修改googlemusic.sh中的browser变量为相应的值。
  7. 进入你想要保存音乐文件的目录,运行“~/googlemusic/googlemusic.sh “阿黛尔(Adele)"”(假设脚本解压缩在你的home目录下)。如果需要下载某位歌手的全部歌曲,为了确保最后下载歌曲的准确性,最好先到谷歌音乐上去尝试着搜索一下。例如,你如果在http://www.google.cn/music/homepage中输入“阿黛尔(Adele)”,就会发现搜索结果只包含阿黛尔的歌曲。但你若输入“Adele”,结果就相当混乱。所以,应该使用“阿黛尔(Adele)”。

如果一切正常,在执行完以上的步骤之后,脚本会自动启动Sahi代理服务器。然后,弹出谷歌音乐的在线播放器页面,执行搜索。接着,会看到歌曲一首一首被“播放”。所谓“播放”,只是让浏览器发送获取歌曲的URL从而使Sahi记录下来。直到最后一首歌曲被“播放”完,Sahi代理服务器自动关闭。之后,wget开始下载mp3文件和lrc文件(如果有的话)。所有mp3以及歌词文件会被下载到以搜索关键字命名的目录下。为了能够在未下载完的情况下,下次仍能继续下载而无需启动Sahi重新获取URL,所有获取歌曲信息的URL被保存在当前目录下的songs.txt中。如果需要,你可以运行“~/googlemusic/download.sh songs.txt “阿黛尔(Adele)"”继续之前未完的下载。当中,第二个参数是下载目录,download会在下载前检查文件是否已经存在,如果存在就跳过。因此,你如果想完全重新下载所有歌曲,指定一个新的目录。

4 代码详解

googlemusic.zip中包含了三个脚本文件。

  1. googlemusic.sh: 负责自动启动关闭Sahi代理服务器;运行googlemusic.sah之后解析traffic log文件并将结果保存到songs.txt文件;最后调用download.sh执行下载。
  2. download.sh: 执行mp3与歌词文件下载。
  3. googlemusic.sah: 模拟用户在谷歌音乐在线播放器中的搜索播放操作。

googlemusic.sh代码讲解

googlemusic.sh的工作流程如下: 1. 检查环境变量SAHI_HOME是否设置。如果没有,退出程序。 2. 清理之前运行的残余文件(包括songs.txt,keyword文件以及Sahi的traffic log目录)。 3. 判断是否已经有Sahi的进程在运行,如果有,就Kill掉。 判断的方法是通过lsof检查运行在端口9999上进程(Sahi服务器默认的端口是9999)。结合grep和awk命令获取pid并kill掉该进程。 4. 启动Sahi服务器,并把进程pid保存到变量sahi_pid中。 获取sahi_pid的方法与上相同。 5. 执行googlemusic.sah脚本。

谷歌在线播放器的URL事实上是http://g.top100.cn/16667639/html/player.html#loaded ,而脚本使用的却是http://www.google.cn/music/top100/player_page,为什么?这是尝试的结果。第一次打开在线播放器页面的时候,会出现一个“服务条款”页面问你是否同意。在使用播放前默认的URL的时候,Sahi无法点击到“同意”按钮。通过Chrome 的Developer Tools,我发现该页面有很多iframe构成,于是开始尝试用http://www.google.cn/music/player,这是它最内层真正显示播放器的iframe URL。这次,Sahi成功地点击了“同意”按钮进入播放器界面。 

 6. Kill Sahi进程(PID记录在变量sahi_pid中)。 7. 从traffic log文件里提取音乐信息URL保存到songs.txt文件中。 这段代码结合了grep和awk两个命令并把结果导出到songs.txt文件中。 8)执行download.sh下载mp3及歌词文件。

download.sh代码讲解

下面这个URL是songs.txt中的一行。


http://www.google.cn/music/songstreaming?id=S82816ab0c2814785&cad=localUser_player&cd&sig=1ccf866dca1cdc1853fb921e01f0438a&output=xml

脚本中通过curl命令得到如下请求结果:

<results>
<songStreaming>
<id>S82816ab0c2814785
<songUrl>
http://audio2.top100.cn/201205262149/63C7DB9ECEC3287F9F6DB0423C4F81F9/streaming1/Special_101259/M0101259012.mp3
</songUrl>
<lyricsUrl>
http://lyric.top100.cn/Special_101259/M0101259012.lrc
</lyricsUrl>
<albumThumbnailLink>
http://lh6.googleusercontent.com/public/_AMNePcsm5yfz_WxM_iSmJUvYa0aIyP7W5bTih_z5XmDOGmfA7SpTh3gdPe2tDFqk2x5rGzr1pToVWmPpnjzucip7WCxoS35zqEQvFtprb-cUPk_e3Sd0fUXYFT0aXW7oqUR
</albumThumbnailLink>
<label>索尼音乐娱乐(中国)
<labelHash>ca646574dfb918889fcc1ed02d933f6c
<providerId>M0101259012
<artistId>A37ef8fc531bca276
<language>en
<genre>rnb
<genre>pop
</songStreaming>
</results>

可以看出,songUrl节点的值就是mp3的下载地址。我们还需要知道歌曲名和歌手名,把它们拼接成mp3文件名。所以又用curl命令请求了另一个URL"http://www.google.cn/music/song?id=$songId&output=xml", $songId正是上面XML内容中的id节点值(S82816ab0c2814785)。返回的XML内容如下。artist 以及name节点正是歌手名和歌曲名。

<results>
<songList>
<!-- freemusic/song/result/S82816ab0c2814785 -->
<song>
<id>S82816ab0c2814785
<name>Who Is It
<artist>迈克尔 杰克逊(Michael Jackson)
<artistId>A37ef8fc531bca276
<album>King Of Pop CD1
<duration>241.0
<canBeDownloaded>true
<hasFullLyrics>true
<canBeStreamed>true
<albumId>B8cacd47437481c83
<hasSimilarSongs>true
<hasRecommendation>false
</song>
</songList>
<estimatedResultCount>1
</results>

readXmlAttr() 函数用来从指定的XML文档中读取指定的节点的值。方法是用sed命令把“</”全部替换成“<”后再用“awk -F”把指定的节点标签作为分割符对文档进行分割并取出第2个元素值。

googlemusic.sah代码讲解

googlemusic.sah脚本的运行过程如下:

1 检查有没有文本是“同意”的div,如果有,就点击,没有,便跳过(“服务条款”被“同意”过一次之后,就不会再出现,直到你清楚浏览器的Cookie)。

2 如果之前你有在播放器里搜索过歌曲,当再次打开播放器时,哪些歌曲仍会显示在歌曲列表中。因此,需要先清除所有已有的歌曲。每首歌曲都会在一个class为"artist-cell"的td里显示歌手名称,统计这类td的数目就可以知道有多少首歌曲当前显示在列表里。如果$count的值大于0就说明有歌曲显示。接着就是点击“全选”checkbox。这里用的是near函数,还有一种方法是"checkbox(count(“checkbox”,‘’)-1)“,也就是得到最后一个checkbox,这个checkbox就是“全选”。最后点“删除”按钮并在跳出的确认对话框里点“Yes”(既然是简体中文网页,谷歌事实上应该显示“是”)。


var $count=_count('_cell','artist-cell')
if($count>0){
    _click(_checkbox(0,_near(_span("全选")))) 
    _click(_div("删除"))
    _click(_submit("Yes"))
}

3 搜索歌曲。.sah文件在被调用时无法传参数,所以keyword是通过一个文本文件中转的。

var $keyword=_readFile("/tmp/googlemusic_keyword.txt")

谷歌音乐搜索结果的显示是以一种增量的方式进行的,默认它会显示20首歌曲,然后随着你向下拖动,它会显示更多,直到最后出现“已经到达最后一条搜索结果”。所以Sahi脚本也必须模拟这种“滚动”操作来显示出所有结果。结束的标志就是看页面上是否出现了“_div(“已经到达最后一条搜索结果”)”这个元素。通过重新设定歌曲列表div的scrollTop属性可以实现“滚动”操作。根据Sahi脚本的编写要求,这类操作必须放在browser标签中 – 这就是scrollOnce函数。

    
var $done=false;
while(!$done){
   _set($test,scrollOnce());
   $done=_isVisible(_div("已经到达最后一条搜索结果"));
}

<browser>
function scrollOnce(){
    var $list=_div("list-content");
    $list.scrollTop=$list.scrollHeight;
}
</browser>

4 “播放”所有歌曲。前面已经讲过,所谓“播放”只是为了发送音乐信息URL的请求以便Sahi把URL记录下来。首先,通过计算class为artist-cell的td的数目得到歌曲总数,然后对“下一首”按钮(id为“:4”的div)进行相应次数的点击。

var $count=_count('_cell','artist-cell')
_log($count,'custom1')
while($count>0){
   _click(_div(':4'))
   $count=$count-1
}

后记

整个脚本的开发是一个不断尝试和探索的过程。最初,部分的代码是用Python写的,但这样无形中增加了额外的依赖性,于是我把Python实现的逻辑用Shell进行了重写。用Sahi脚本下载谷歌音乐显然不是最好的解决方案,因为它存在一些用户体验的问题。第一,有浏览器窗口弹出;第二,当歌曲数量较多时,逐一地点击歌曲生成歌曲URL并记录的方式通常会花费较长时间(与当时的网络速度也存在一定关系)。关于第一个问题,通过Xvfb可以不弹出浏览器窗口(http://sahi.co.in/w/configuring-sahi-with-xvbf)。关于第二个问题,我曾经试图直接在DOM 树上直接拿到歌曲的URL,但最终没有找到。有兴趣的读者可以研究一下。无论如何,对于学习Sahi来讲,这个脚本仍是一个很好的实践,而且,它说明了Web UI自动化测试不是Sahi唯一的用武之地。

另外,这只是一个用来学习交流的脚本,没有经过充分地测试。所以,如果在运行中出现问题,敬请谅解。

免责声明:本文涉及的代码仅供学习Sahi使用,请不要用来进行制作盗版音乐等非法行为,如果发生类似情况,InfoQ中文站与作者均不负责。

代码下载

关于作者

沈锐,目前从事Web UI功能测试工作,对Web UI自动化测试有着浓厚的兴趣。

 

 


给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ)或者腾讯微博(@InfoQ)关注我们,并与我们的编辑和其他读者朋友交流。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT