BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

如何使用Kubernetes GPU集群自动化深度学习训练

| 作者 Frederic Tausch 关注 0 他的粉丝 ,译者 CarolGuo 关注 2 他的粉丝 发布于 2017年7月13日. 估计阅读时间: 28 分钟 | ArchSummit北京2018 共同探讨机器学习、信息安全、微服务治理的关键点

本文最初发布于GitHub,经原作者授权由InfoQ中文站翻译并分享。

该指南能帮助同行研究者和爱好者们轻松地使用Kubernetex GPU集群来自动化和加速他们的深度学习训练。因此,我将解释如何轻松地在多个Ubuntu 16.04裸机服务器上搭建一个GPU集群,并提供一些有用的脚本和.yaml文件来完成这些工作。

另外,如果你需要把Kubernetes GPU集群用于其他地方,该指南可能对你也有帮助。

为什么写这个指南?

我一直在创业公司understand.ai实习,在那里我留意到了一个麻烦:首先得在本地设计一个机器学习算法,然后将其放到云上用不同的参数和数据集来训练模型。这第二步,将算法放到云上进行全面的训练,所耗费的时间要比想象的更长,通常让人很沮丧而且涉及到很多陷阱。

因此,我决定解决这个问题,让第二步变得容易、简单和快捷。

我写了这篇很有用的指南,描述了每个人如何设置他们自己的Kubernetes GPU集群来加速他们的工作。

给深度学习研究者的新处理过程:

用Kubernetes GPU集群进行自动化的深度学习训练,它能极大地改进在云上训练模型的过程。

(点击放大图像)

声明

下面的章节可能有些武断。Kubernetes是一个进化的、快节奏的环境,这就意味着这个指南很可能会在某个时间过时,这取决于作者的空余时间和个人贡献。因此,非常感谢对此的贡献。

Kubernetes快速参考

如果你需要重温下Kubernetes知识,下面这些文章很有用。

集群结构粗览

核心想法是用一个很小的只有CPU的master节点来控制一组GPU worker节点。

(点击放大图像)

初始化节点

在我们使用集群之前,要先对其初始化,这一点很重要。因此,要手动地初始化每个节点,随后将它加入集群中。

我的设置

该配置非常适合这里所描述的用例。对其他用例、操作系统等,需要进一步地调整配置。

Master

  • Ubuntu 16.04带root权限
    • 我用了一个Google Compute Engine VM实例
  • SSH权限
  • 停用ufw
  • 可用端口(udp和tcp)
    • 6443,443,8080
    • 30000-32767(仅在需要时激活)
    • 这些将被用于获取集群外部的服务

Worker

  • Ubuntu 16.04带root权限
    • 我用了一个Google Compute Engine VM实例
  • SSH权限
  • 停用ufw
  • 可用端口(udp和tcp)
    • 6443,443

关于安全:当然,如果你想在产品中使用,就应该启用某些防火墙;这里出于简单考虑我停用了ufw。设置Kubernetes以用于实际的产品中,理所当然应该启用某些防火墙如ufw、iptables或者你的云提供商的防火墙。在云上设置集群会更加复杂。通常云提供商的防火墙与主机级别的防火墙是分开的。你可能需要停用ufw、并开启云提供商防火墙的规则来让这篇文档里的步骤生效。

设置指南

这些指南涵盖了我在Ubuntu 16.04的经验,对其他操作系统可能适用,也可能不适用。

我创建了两个脚本对master和worker节点完全初始化。脚本如下所示。如果你想用快速通道,可以直接使用这些脚本。否则,我建议你阅读一步一步的指南。

快速通道设置脚本

将下面相应的脚本拷贝到你的masterworker上。

MASTER节点

运行初始化脚本,记下token。

Token的格式类似于--token f38242.e7f3XXXXXXXXe231e。

chmod +x init-master.sh
sudo ./init-master.sh <IP-of-master>

WORKER节点

运行初始化脚本,使用正确的token和master IP。

端口通常是6443。

chmod +x init-worker.sh
sudo ./init-worker.sh <Token-of-Master> <IP-of-master>:<Port>

详细的一步一步指南

MASTER节点

1.将Kubernetes Repository加入packagemanager

sudo bash -c 'apt-get update && apt-get install -y apt-transport-https
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb http://apt.kubernetes.io/ kubernetes-xenial main
EOF
apt-get update'

2.安装docker-engine、kubeadm、kubectl和kubernetes-cni

sudo apt-get install -y docker-engine
sudo apt-get install -y kubelet kubeadm kubectl kubernetes-cni
sudo groupadd docker
sudo usermod -aG docker $USER
echo 'You might need to reboot / relogin to make docker work correctly'

3.由于我们想创建一个使用GPU的集群,我们要在master节点上启用GPU加速功能。记住,在Kubernetes之后的版本中,这一步可能被淘汰了或者完全更改了。

3.I 在集群初始化之前,添加GPU支持到Kubeadm配置。

这一步必须对集群中的每一个节点进行,即使某些节点没有GPU。

sudo vim /etc/systemd/system/kubelet.service.d/<<Number>>-kubeadm.conf

因此,在ExecStart后追加上标签--feature-gates="Accelerators=true",最终格式如下:

ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS [...] --feature-gates="Accelerators=true"

3.II 重启kubelet

sudo systemctl daemon-reload
sudo systemctl restart kubelet

4.现在初始化master节点。

你需要master节点的IP。而且,这一步会向你提供认证信息,用于添加worker节点,因为要记住你的token。

Token的格式类似于--token f38242.e7f3XXXXXXXXe231e 130.211.XXX.XXX:6443。

sudo kubeadm init --apiserver-advertise-address=<ip-address>

5.由于Kubernetes 1.6从ABAC卷管理变成了RBAC式,因此我们需要向用户公布认证信息。每一次登录机器,都需要执行这一步。

sudo cp /etc/kubernetes/admin.conf $HOME/
sudo chown $(id -u):$(id -g) $HOME/admin.conf
export KUBECONFIG=$HOME/admin.conf

6.安装网络插件让节点能相互通信。Kubernetes 1.6对网络插件有一些要求,如:

  • 基于CNI的网络
  • RBAC支持

这篇GoogleSheet文档包含很多合适的网络插件。链接: GoogleSheet Network Add-on comparison

出于个人的偏好,我会使用wave-works。

kubectl apply -f https://git.io/weave-kube-1.6

7.现在都设置好了。检查所有的pod都在线上,确认一切运转顺利。

kubectl get pods --all-namespaces

N. 如果你想撤掉master节点,你需要重置它。

sudo kubeadm reset

WORKER NODE

前面几步对你而言应该很熟悉了,能让进程加快一些。

1.将Kubernetes Repository加入packagemanager

sudo bash -c 'apt-get update && apt-get install -y apt-transport-https
curl -s https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb http://apt.kubernetes.io/ kubernetes-xenial main
EOF
apt-get update'

2.安装docker-engine、kubeadm、kubectl和kubernetes-cni

sudo apt-get install -y docker-engine
sudo apt-get install -y kubelet kubeadm kubectl kubernetes-cni
sudo groupadd docker
sudo usermod -aG docker $USER
echo 'You might need to reboot / relogin to make docker work correctly'

3.由于我们想创建一个使用GPU的集群,我们要在master节点上启用GPU加速功能。记住,在Kubernetes之后的版本中,这一步可能被淘汰了或者完全更改了。

3.I 在集群初始化之前,添加GPU支持到Kubeadm配置。

这一步必须对集群中的每一个节点进行,即使某些节点没有GPU。

sudo vim /etc/systemd/system/kubelet.service.d/<<Number>>-kubeadm.conf

因此,在ExecStart后追加上标签--feature-gates="Accelerators=true",最终格式如下:

ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS [...] --feature-gates="Accelerators=true"

3.II 重启kubelet

sudo systemctl daemon-reload
sudo systemctl restart kubelet

4.现在我们将worker加入到集群中。

你需要记住master节点的token,所以查看下节点。

sudo kubeadm join --token f38242.e7f3XXXXXXe231e 130.211.XXX.XXX:6443

5.完成。在master上检查节点,看看是否一切运转顺利。

kubectl get nodes

N. 如果你想撤掉worker节点,你需要将该节点从集群中移除,然后重置该节点。从集群中移除worker节点是很有帮助的。

在master节点上:

kubectl delete node <worker node name>

在worker节点上

sudo kubeadm reset

客户端

为了控制你的集群,如从客户端控制master,你需要对客户端的正确用户进行认证。该指南中并没有为客户端创建一个单独的用户,我们只是从master节点复制用户。相信我,这样做会更简单。

[会在将来加入如何添加用户的指导]

1.在客户端安装kubectl。我只在mac上测试过,但应该也适用linux。我不知道是否适用于windows,但又有谁关心windows呢。

Mac

brew install kubectl

Ubuntu 你要么遵循官方指南https://kubernetes.io/docs/tasks/tools/install-kubectl/,要么从上面的worker指南中提取需要的步骤(可能只在Ubuntu上可行)。

2.将master的admin认证拷贝到客户端。

scp uai@130.211.XXX.64:~/admin.conf ~/.kube/

3.将admin.conf配置和认证信息添加到Kubernetes配置中。你需要对每个代理都执行该步骤。

export KUBECONFIG=~/.kube/admin.conf

你可以在本地的客户端上使用kubectl了。

4.你可以测试列出所有的pod

kubectl get pods --all-namespaces

安装Kubernetes dashboard

Kubernetes dashboard非常的漂亮,它向那些跟我一样喜欢摆弄脚本的人提供了很多功能。要使用dashboard的话,你需要让客户端运行,RBAC会确保这一点。

你可以直接在master节点上或者从客户端运行下面的步骤。

1.检查已经安装了dashboard: kubectl get pods --all-namespaces | grep dashboard

2.如果没有安装,则安装它

kubectl create -f https://git.io/kube-dashboard

如果不成功,检查.yaml中定义的容器git.io/kube-dashboard是否存在。(这个软件故障曾让我花费了很多时间)

为了能访问你的dashboard,你需要在客户端进行认证。

3.添加dashboard代理到客户端。

在客户端运行:

kubectl proxy

4.用浏览器访问dashboard,访问127.0.0.1:8001/ui。

如何构建你的GPU容器

这里帮助你运行一个需要GPU权限的Docker容器。

在该指南中,我选择创建一个Docker容器的例子,它用TensorFlow GPU二进制文件,并能在Jupyter笔记本中运行TensorFlow程序。

请记住,该指南适用于Kubernetes 1.6,因此可能不适用于今后的变化。

.yml的关键部分

为了能够让你的带CUDA的Nvidia GPU运行,你需要将Nvidia驱动和CUDA库文件传给容器。因此,我们将使用hostPath,让Kubernetes pod能访问它们。实际的路径因机器而异,因为它们是由Nvidia驱动和CUDA安装程序来设置的。

volumes:
    - hostPath:
        path: /usr/lib/nvidia-375/bin
        name: bin
    - hostPath:
        path: /usr/lib/nvidia-375
        name: lib

将包含有驱动和CUDA的卷加载到容器中的正确目录下。根据你的容器的具体要求,这些设置可能有所不同。

volumeMounts:
    - mountPath: /usr/local/nvidia/bin
        name: bin
    - mountPath: /usr/local/nvidia/lib
        name: lib

因为你要告诉Kubernetes你需要n个GPU,所以你可以在这里定义这些需求。

resources:
    limits:
        alpha.kubernetes.io/nvidia-gpu: 1

这就是你需要创建Kuberntes 1.6容器的所有东西。

这是我的所有经验:

Kubernetes + Docker + Machine Learning + GPUs = 顶呱呱

GPU部署例子

文件example-gpu-deployment.yaml 描述了两部分,部署和服务,因为我想让juptyer笔记本能被外部访问。

运行kubectl来让其对外可见。

kubectl create -f deployment.yaml

文件deployment.yaml内容如下:

---
apiVersion: extensions/v1beta1
kind: Deployment
metadata:
  name: tf-jupyter
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app: tf-jupyter
    spec:
      volumes:
      - hostPath:
          path: /usr/lib/nvidia-375/bin
        name: bin
      - hostPath:
          path: /usr/lib/nvidia-375
        name: lib
      containers:
      - name: tensorflow
        image: tensorflow/tensorflow:0.11.0rc0-gpu
        ports:
        - containerPort: 8888
        resources:
          limits:
            alpha.kubernetes.io/nvidia-gpu: 1
        volumeMounts:
        - mountPath: /usr/local/nvidia/bin
          name: bin
        - mountPath: /usr/local/nvidia/lib
          name: lib
---
apiVersion: v1
kind: Service
metadata:
  name: tf-jupyter-service
  labels:
    app: tf-jupyter
spec:
  selector:
    app: tf-jupyter
  ports:
  - port: 8888
    protocol: TCP
    nodePort: 30061
  type: LoadBalancer
---

为了验证这些设置是正确的,你可以访问JupyterNotebook实例,链接是http://<IP-of-master>:30061。

现在我们要验证你的JupyterNotebook实例可以访问GPU。因此,在一个新的笔记本中运行下面的程序。它将列出tensorflow可用的所有服务。

from tensorflow.python.client import device_lib

def get_available_devices():
    local_device_protos = device_lib.list_local_devices()
    return [x.name for x in local_device_protos]

print(get_available_devices())

输出结果应该类似于[u'/cpu:0', u'/gpu:0']。

一些有用的命令

Get命令,输出基本信息

kubectl get services                 # 列出该命名空间的所有服务
kubectl get pods --all-namespaces    # 列出所有命名空间的所有pod
kubectl get pods -o wide             # 列出该命名空间的所有pod,给出细节
kubectl get deployments              # 列出所有部署
kubectl get deployment my-dep        # 列出给定部署

Describe命令,输出冗长的信息

kubectl describe nodes <node-name>
kubectl describe pods <pod-name>

删除资源

kubectl delete -f ./pod.yaml                   # 删除pod,其类型和名字被定义在pod.yaml中
kubectl delete pod,service baz foo             # 删除名字为“baz”和“foo”的pod和服务
kubectl delete pods,services -l name=<myLabel> # 删除标签名为myLabel的pod和服务
kubectl -n <namespace> delete po,svc --all     # 删除命名空间my-ns的所有pod和服务

进入某个pod的bash控制台:

kubectl exec -it <pod-name> -- /bin/bash

致谢

有很多指南、github仓库、问题和帮助过我的人们。

我想感谢每一个人的帮助。

特别感谢创业公司understand.ai的支持。

作者

Frederic Tausch - 原创 - Langhalsdino

许可

该项目采用MIT许可,具体细节请查看LICENSE.md文件。

查看英文原文:How to automate deep learning training with Kubernetes GPU-cluster

感谢陈思对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

评价本文

专业度
风格

您好,朋友!

您需要 注册一个InfoQ账号 或者 才能进行评论。在您完成注册后还需要进行一些设置。

获得来自InfoQ的更多体验。

告诉我们您的想法

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我
社区评论

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p

当有人回复此评论时请E-mail通知我

讨论

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT