作者 | Murat Vurucu
编译 | 聂震坤
设置环境
在亚马逊的网络服务上建立虚拟机。为此，需要选择正确的硬件和软件包来构建深度学习模型。深度学习模型需要消耗大量的计算能力来进行非常大的矩阵运算。AWS上有两个硬件选项：仅CPU或GPU。GPU代表图形处理单元。
CPU和GPU架构的主要区别在于GPU是并行处理器，但更为专业化。相反，CPU是通用计算架构，在并行计算方面做得不好。亚马逊允许构建具有专用GPU内核的虚拟机用于大量计算。当然这增加了成本，但如果考虑到节省的时间，其实还是很值得的。
相反，如果真的想钻研这个东西，还是建议在家中用英伟达显卡搭建自己的系统。
如下是在亚马逊网络服务上搭建GPU实例的步骤：
链接到实例
导航到存储SSH密钥的目录，并使用以下命令连接到终端中的实例
ssh-i “kaggle.pem” ubuntu@[your instance public IP address]
安装英伟达驱动
sudoapt-get update
sudoapt-get upgrade
主要部分
sudoapt-get install openjdk-8-jdk git python-dev python3-dev python-numpypython3-numpy build-essential python-pip python3-pip python3-venv swigpython3-wheel libcurl3-dev
sudoapt-get install -y gcc g++ gfortran git linux-image-genericlinux-headers-generic linux-source linux-image-extra-virtual libopenblas-dev
英伟达驱动
sudoadd-apt-repository ppa:graphics-drivers/ppa -y
sudoapt-get update
sudoapt-get install -y nvidia-375 nvidia-settings
安装CUBA 8知识库
wgethttps://developer.nvidia.com/compute/cuda/8.0/Prod2/local_installers/cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb
sudodpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb
sudoapt-get update
sudoapt-get install cuda
nvidia-smi
为英伟达显卡设备设置docker引擎
添加docker引擎库
sudoapt-get update
sudoapt-get install \ apt-transport-https \ ca-certificates \ curl \software-properties-common
curl-fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
sudoapt-key fingerprint 0EBFCD88
sudoadd-apt-repository \ “deb [arch=amd64]
https://download.docker.com/linux/ubuntu\ $(lsb_release -cs) \ stable
”
安装docker引擎
sudoapt-get update
sudoapt-get install docker-ce
sudodocker run hello-world
sudousermod -aG docker $USER
设置英伟达docker
#Install nvidia-docker and nvidia-docker-plugin
wget-P/tmphttps://github.com/NVIDIA/nvidia-docker/releases/download/v1.0.1/nvidia-docker_1.0.1-1_amd64.deb
sudodpkg -i /tmp/nvidia-docker*.deb && rm /tmp/nvidia-docker*.deb
#Test if docker is using nvidia GPUs
nvidia-dockerrun — rm nvidia/cuda nvidia-smi
使用Jupyter notebook，temsorflow和机器学习库设置docker容器
将tensorflow docker图像传输给给显卡
docker pulltensorflow/tensorflow:latest-gpu-py3
使用tensorflow给显卡创建docker容器
nvidia-docker run -it — name planet -p8888:8888 tensorflow/tensorflow:latest-gpu-py3 bash
在docker容器内部设置ground
apt-get update
apt-get install sudo
sudo apt-get update
sudo apt-get install git
sudo apt-get install nano #or your choiceof editor
设置python环境
import sys
import os
import gc
import numpy
import pandas
import seaborn
import matplotlib
import sklearn
import scipy
import itertools
import subprocess
import six
import skimage
import IPython.display
import tensorflow
import keras
import tqdm
import multiprocessing
import concurrent.futures
import cv2
安装剩余的库
pip3 install seaborn
pip3 install scikit-image
pip3 install keras
pip3 install tqdm
pip3 install opencv-python
在容器内创建一个新的映像并命名为keras—tf
docker commit amazon keras-tf:latest
准备就绪！
CSDN AI热衷分享 欢迎扫码关注
