BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

容器化的数据科学与工程——第二部分:容器化的数据科学

| 作者 张天雷 关注 4 他的粉丝 发布于 2016年5月30日. 估计阅读时间: 16 分钟 | 都知道硅谷人工智能做的好,你知道 硅谷的运维技术 也值得参考吗?QCon上海带你探索其中的奥义

(这是有关容器化世界里的数据科学与工程系列博客文章的第二部分,点看第一部分)。

首先要承认,数据科学家正在设计一些非常有意思(而且或许很有价值的)的模型、优化以及虚拟化等。不幸的是,由于很多模型不能被产业化,它们将永远也不会被使用。事实上,很多工业界正在发生的“数据科学”也同步而孤立的发生在数据科学家的笔记本上。而且,在数据科学的应用被实际部署的场景中,它们经常被部署为python/R脚本,上传到AWS并作为一个cron任务来运行。

正如下面所言,这是数据科学用于工业界的一个非常大的问题和障碍:

"只有一个问题——我所有的工作都是在本地机器的R中完成的。人们欣赏我的努力,但是由于它没有被“产品化”且框架不能和本地模型通信,他们不知道如何使用我的模型。非常大的教训!"——Twitter的数据科学家Robert Chang
“数据工程师经常抱怨:数据科学家缩写的代码效率低、风格差;他们很少考虑想法产品化后的维护代价;他们经常要求一些努力很多、受益很小的不切现实的特性。类似的抱怨还有很多,但你已经知道要点在哪了。”——数据平台Stitchfix的经理Jeff Magnusson

但是,请不要担心!有一个更好的方法:容器化你的数据科学应用,以方便部署、可移植以及框架内的集成

数据科学家应该关心Docker的原因

该问题的简单回答就是:数据科学家想让他们的模型、仪表盘、优化等等被实际使用。为了让数据科学的应用被使用并带来价值,它们需要走出笔记本电脑,并被实际部署。它们还需要能够与现有的架构兼容,并易于升级和迭代。

一个Docker化的数据科学应用是如何提供以下好处的呢?

  • 无论应用如何部署、部署在何处,你无需担心依赖问题。部署数据科学的应用的一个难点就是,搞清楚机器上复杂的依赖关系(numpy、scipy、pandas、scikit-learn和statsmodels等)。通过将这些应用容器化,你可以在不管依赖关系、部署机器上的操作系统类型以及现有包/库版本的情况下,利用一行命令轻易完成部署。
  • 随着公司框架的扩展或你需要扩展你的应用,你可以轻易移植或创建更多实例。大家经常会在没有全面考虑服务最终部署位置、服务能力的实际需求等问题的情况下开发一个模型或应用。但是,当你将数据科学的应用容器化以后,你可以轻易的根据需求将它从AWS移植到Azure。或者,你可以根据负载情况,创建更多的应用实例。
  • 你,作为一个数据科学家,可以保持公司的现代化架构。替代在与4个不同的数据库直接交互的机器上的cron任务,容器化的数据应用可以利用JSON API和消息队列来与框架的其他部分进行交互。而且更让工程师觉得开心的是,当架构改变或升级时,应用也可以正常工作。你还可以将数据科学的工作和其他工程团队的CI/CD流水线集成在一起。(观众中的数据科学家不要担心:这并不难,而且我们会在下面给出一个例子)。

容器化数据科学应用的一个简单例子

接下来,让我们从一个python脚本开始了解容器化的数据科学应用。接下来,我会给出容器化数据科学应用的一个简单例子:

  1. 利用绝大部分数据科学家熟悉的技术(pythonscikit-learn).
  2. 被容器化(也就是说,可以被编译为一个Docker镜像)。
  3. 通过JSON API与Docker容器以外的组件进行交互。

一个做预测的简单模型

这里,我们将利用著名的Iris数据集来构架一个k-NN分类模型(带scikit-learn):

from sklearn import datasets  
from sklearn.neighbors import KNeighborsClassifier

def predict(inputFeatures):

   iris = datasets.load_iris()

   knn = KNeighborsClassifier()
   knn.fit(iris.data, iris.target)

   predictInt = knn.predict(inputFeatures)
   if predictInt[0] == 0:
       predictString = 'setosa'
   elif predictInt[0] == 1:
       predictString = 'versicolor'
   elif predictInt[0] == 2:
       predictString = 'virginica'
   else:
       predictString = 'null'

   return predictString

该预测函数将基于输入特征`inputFeatures(sepal length、sepal width、petal length和petal width)返回一种Iris。在本例中,用于训练模型的数据集是静态的(也就是说,从scikit-learn数据集中加载)。然而,你可以很轻易的想到如何从一个数据集或利用消息、API和数据库交互所聚合的值中动态加载。

传递预测的JSON API

接下来,我们需要将这些预测传递到其他组件。为此,我将开发自己作为简单JSON API的应用。对于很多使用微服务架构的工程团队而言,这种应用只是一种普通的练习。而且它可以使得数据应用与其他现存的服务更好的协同工作。

这里,我们将在API中使用flashk-restful,你可以使用twisted或其他任何架构:

from flask import Flask  
from flask_restful import Resource, Api  
from flask_restful import reqparse  
from utils import makeprediction

app = Flask(__name__)  
api = Api(app)

class Prediction(Resource):  
   def get(self):

       parser = reqparse.RequestParser()
       parser.add_argument('slength', type=float, 
                help='slength cannot be converted')
       parser.add_argument('swidth', type=float, 
                help='swidth cannot be converted')
       parser.add_argument('plength', type=float, 
                help='plength cannot be converted')
       parser.add_argument('pwidth', type=float, 
                help='pwidth cannot be converted')
       args = parser.parse_args()

       prediction = makeprediction.predict([
               args['slength'], 
               args['swidth'], 
               args['plength'], 
               args['pwidth']
           ])

       print "THE PREDICTION IS: " + str(prediction)

       return {
               'slength': args['slength'],
               'swidth': args['swidth'],
               'plength': args['plength'],
               'pwidth': args['pwidth'],
               'species': prediction
              }

api.add_resource(Prediction, '/prediction')

if __name__ == '__main__':  
   app.run(debug=False)

那么,我就得到了一个GET端点,使得我们可以利用其来获得针对一个特征集的预测。例如,路径
http://<host>:5000/prediction?slength=1.5&swidth=0.7&plength=1.3&pwidth=0.3
将返回:

{
  "pwidth": 0.3, 
  "plength": 1.3, 
  "slength": 1.5, 
  "species": "setosa", 
  "swidth": 0.7
}

其中,在响应JSON中的species表示基于输入特征预测的种类。

构建Docker镜像的Dockerfile

为了构建一个我们数据科学应用的“Docker镜像”,我们西药一个Dockerfile。该Dockerfile将呆在repo的root中,并包含Docker镜像中的所有必须的文件和依赖关系。当我们运行Docker镜像时,运行我们所选择的一个命令:

FROM ubuntu:12.04

# get up pip, vim, etc.
RUN apt-get -y update --fix-missing  
RUN apt-get install -y python-pip python-dev libev4 libev-dev gcc libxslt-dev libxml2-dev libffi-dev vim curl  
RUN pip install --upgrade pip

# get numpy, scipy, scikit-learn and flask
RUN apt-get install -y python-numpy python-scipy  
RUN pip install scikit-learn  
RUN pip install flask-restful

# add our project
ADD . /

# expose the port for the API
EXPOSE 5000

# run the API 
CMD [ "python", "/api.py" ]

准备完毕,开始部署应用

以上就是构建第一个容器化的数据科学应用所需要的所有步骤(对于Docker的安装指令,参看Docker网站)。现在,让我们构建应用的“Docker镜像”:

docker build --force-rm=true -t pythoniris

该命令将构建一个名为pythoniris的Docker镜像。我们可以根据需要标记该镜像(例如,pythoniris:latest),或将其和Docker Hub上的用户/账号(例如,dwhitena/pythoniris)关联起来(Docker Hub是一个专门存储Docker镜像的公开仓库,类似于Docker镜像的Github)。

如果你将镜像上传到Docker Hub(或一个私有仓库),部署就像运行引用Docker Hub或仓库中的用户名/镜像名的Docker镜像一样容易。然而,假设你想首先在本地进行这些尝试,你可以通过如下命令来运行Docker镜像:

docker run --net host -d --name myiris pythoniris 

该命令将运行Docker镜像运行为一个名为myiris的容器、一个守护进程(-d),并使用与本地主机相同的网络接口(--net host)。现在,你的JOSN API就可以通过localhost:5000端口进行访问了。

可以看的出来,从python脚本到容器化的数据应用只需要一点点的付出。现在,请继续向前——研究数据科学、容器化数据科学和部署你的数据科学吧。

以上代码可以在Github中下载。


感谢陈兴璐对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

呃,有点天真吧。。 by 孙 庚泽

容器化只解决了数据科学家开发的程序的依赖问题,对可扩展、API暴露没什么卵用吧,编写可扩展、API暴露的程序还是需要有较深的编程功底才行吧。。

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

1 讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT