Hướng dẫn cài đặt Theano trên Amazon EC2 GPU for Deep Learning

Hướng dẫn cài đặt Theano trên Amazon EC2 GPU for Deep Learning ( máy học )

 

Nếu bạn muốn bỏ qua hướng dẫn và chỉ cài đặt từ AMI, hãy tìm kiếm cộng đồng cho ami-b141a2f5 (Theano – CUDA 7) ở vùng N. California.

Theano là một gói Python tuyệt vời để học sâu có thể sử dụng bộ công cụ CUDA của NVIDIA để chạy trên gpu. Gpu là đơn đặt hàng có độ lớn nhanh hơn cpu cho các phép toán (chẳng hạn như phép nhân ma trận), điều này cần thiết cho nhiều thuật toán học máy. Trong khi thiết lập AWS để chạy các thử nghiệm luận án của mình, tôi nhận ra rằng nhiều hướng dẫn đã lỗi thời. Hy vọng rằng các bước này sẽ giúp bạn thiết lập và chạy mô hình học sâu của mình trên AWS. Các hướng dẫn này sử dụng Ubuntu 14.04 64-bit với Cuda 7.0 trên phiên bản g2.2xlarge.

 

cách cài đặt  Amazon EC2 GPU for Deep Learning

Tạo một phiên bản EC2 g2.2xlarge

Đăng nhập vào bảng điều khiển quản lý AWS của bạn và nhấp vào EC2. Có hai tùy chọn để tạo phiên bản của bạn:

  • Phiên bản theo yêu cầu : Tùy chọn này đảm bảo rằng bạn có phần máy tính của bạn. Sử dụng tùy chọn này nếu bạn không thể xử lý các gián đoạn tiềm ẩn và sẵn sàng trả thêm tiền. Theo bài viết này, một phiên bản g2.2xlarge có giá 0,65 đô la / giờ. Để tạo một phiên bản chuyên dụng, hãy chuyển đến “Phiên bản” và nhấp vào “Khởi chạy phiên bản”.
  • Phiên bản Spot : Tùy chọn này cung cấp cho bạn sức mạnh tính toán còn lại với mức giá rẻ hơn nhiều. Sử dụng tùy chọn này nếu bạn có thể xử lý các gián đoạn tiềm ẩn. Các trường hợp giao ngay sử dụng hệ thống đấu thầu để xác định xem ai là người có quyền lực tính toán còn lại; bạn có thể xem lịch sử tỷ giá trong “Yêu cầu giao ngay”. Theo bài viết này, một phiên bản giao ngay g2.2xlarge có giá 0,0642 đô la / giờ (10% giá!) Và có vẻ khá ổn định trong vài tháng qua. Tôi đã sử dụng một vài yêu cầu giao ngay, đặt giá thầu 0,07 đô la.

Khi chọn AMI để sử dụng cho ví dụ, hãy chọn Ubuntu 64 bit mới nhất (tôi đã sử dụng ami-df6a8b9b, là Ubuntu 14.04). Bạn cũng nên thiết lập nhóm bảo mật cho IP của mình để có quyền truy cập ssh và tải xuống tệp khóa riêng tư / công khai mới.

Cài đặt Theano và its dependencies

Làm theo hướng dẫn trên Amazon để chuyển vào phiên bản của bạn. Đối với Ubuntu trên AWS, tôi thấy bạn phải sử dụng:

ssh -i [path/to/key.pem] ubuntu@[DNS]

Khi bạn sử dụng phiên bản này, tôi khuyên bạn nên sử dụng các màn hình (hiện đã được cập nhật lên Tmux) để giữ phiên mở để chương trình của bạn có thể chạy mà không cần mở cửa sổ đầu cuối. Đây là tất cả các lệnh và thứ tự tôi đã sử dụng để thiết lập Theano:

  1. cập nhật các gói mặc định
sudo apt-get update

sudo apt-get -y dist-upgrade
  1. tạo một màn hình mới có tên theano (hoặc sử dụng Tmux để thay thế)
screen -S “theano”
  1. cài đặt tất cả các phụ thuộc
sudo apt-get install -y gcc g++ gfortran build-essential git wget linux-image-generic libopenblas-dev python-dev python-pip python-nose python-numpy python-scipy
  1. cài đặt phiên bản mới nhất của Theano
sudo pip install --upgrade --no-deps git+git://github.com/Theano/Theano.git
  1. lấy bộ công cụ cuda (7.0) mới nhất.
sudo wget http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1404/x86_64/cuda-repo-ubuntu1404_7.0-28_amd64.deb
  1. gói hàng Cuda
sudo dpkg -i cuda-repo-ubuntu1404_7.0-28_amd64.deb
  1. thêm gói và cài đặt trình điều khiển cuda (quá trình này mất một lúc)
sudo apt-get update

sudo apt-get install -y cuda
  1. cập nhật đường dẫn để bao gồm cuda nvcc và ld_library_path
echo -e "\nexport PATH=/usr/local/cuda/bin:$PATH\n\nexport LD_LIBRARY_PATH=/usr/local/cuda/lib64" >> .bashrc
  1. khởi động lại hệ thống để tải cuda
sudo reboot

Chờ một chút để khởi động lại và sau đó ssh trở lại phiên bản.

  1. cài đặt các mẫu bao gồm và kiểm tra cuda
cuda-install-samples-7.0.sh ~/

cd NVIDIA\_CUDA-7.0\_Samples/1\_Utilities/deviceQuery
make
./deviceQuery

Đảm bảo rằng nó cho thấy rằng GPU tồn tại.

  1. thiết lập tệp cấu hình theano để sử dụng gpu theo mặc định
echo -e "\n[global]\nfloatX=float32\ndevice=gpu\n[mode]=FAST_RUN\n\n[nvcc]\nfastmath=True\n\n[cuda]\nroot=/usr/local/cuda" >> ~/.theanorc

Đó là nó! Bây giờ bạn có thể sử dụng git để kéo bất kỳ repo nào bạn cần và kiểm tra Theano. Tôi khuyên bạn nên sử dụng tập lệnh thử nghiệm từ trang web của Theano tại đây .

Những hướng dẫn này được thu thập một phần từ Erik Bernhardsson và Erik Hazzard , cũng như hướng dẫn Ubuntu từ Theano .

Tối ưu hóa

Netflix có một bài đăng tuyệt vời cho thấy rằng bạn có thể tùy chỉnh một số chức năng trong nhân Cuda để tăng tốc độ Theano lên ~ 70%. Tôi chưa làm điều này, nhưng nó chắc chắn là một cái gì đó để kiểm tra hy vọng trên đây là cách cài trên vps có gpu hy vọng giúp các bạn giải quyết vấn đề bạn đang gặp phải . Ai cần một giải pháp thuê vps nuôi acc hoặc  vps kiếm tiền online ( mmo) thì ủng hộ admin sưu tầm các bài viết hấp dẫn nhé 

HỖ TRỢ DỊCH VỤ CHO THUÊ VPS MMO

Zalo - Phone - Telegram 0902282206 - Skyper: truongsinhnb - Facebook.com/vpsmmonb