NVIDIA DGX-1 人工智慧系統

全球第一款人工智慧超級電腦 NVIDIA DGX-1 人工智慧系統

利用 NVIDIA® DGX-1™ 進行深度學習，可讓您縮短訓練時間、建立更大型模型並獲得更精確的結果。這是全球第一款專為深度學習以及人工智慧加速分析所打造的系統，效能等同 250 台傳統伺服器。此系統具備全面整合的硬體、深度學習應用軟體、開發工具，並可執行常見的加速分析應用程式。 這些優勢意味者您可立即縮短資料處理時間、將更多資料視覺化、加速深度學習架構，以及設計更精密複雜的神經網路。

無限運算創造無限商機

NVIDIA DGX-1 是第一款採用創新 NVIDIA Pascal™ 架構的 Tesla® P100 加速器所打造的系統。此系統透過 NVIDIA NVLink™ 實作大幅提升 GPU 記憶體容量，使其充分發揮學習、觀察以及模擬世上萬物的能力，滿足我們對於運算的無限需求。

深入瞭解 NVIDIA Pascal 架構 >

http://www.nvidia.com.tw/object/gpu-architecture-tw.html

分析。視覺化。人工智慧加速

NVIDIA DGX-1 軟體堆疊包含主要深度學習架構、NVIDIA DIGITS™ GPU 訓練系統、NVIDIA 深度學習 SDK (即 CuDNN、NCCL)、NVIDIA Docker、GPU 驅動程式，以及可快速設計深度神經網路 (DNN) 的 NVIDIA CUDA®。這是您加速分析與視覺化應用軟體的理想選擇。

這套強大的系統包含容器建立和部署、系統更新及應用程式儲存機制的雲端管理服務存取。由於結合了可在採用 Tesla 架構的 GPU 上執行這些應用軟體功能等優勢，將其與各類舊版 GPU 加速解決方案的應用程式執行速度相比，速度快上 12 倍。

立即開始使用深度學習 >

https://developer.nvidia.com/deep-learning

加快迭代和創新步調

高效能訓練可加速您的生產力，這表示您可以在更短的時間內創造並推出優異的產品。

• • • DGX-1白皮書

    • 為慶祝DGX-1問世一周年，NVIDIA發布關於DGX-1系統架構的詳盡新技術白皮書。此白皮書深入探討了將DGX-1締造成為深度學習訓練最快平台的各種軟硬件技術。本文將簡要介紹這些技術，但詳情還請閱讀DGX-1白皮書，點擊下方即可查看下載。

    • 下載

    • NVIDIA在一年前宣布推出專為深度學習打造的集成系統NVIDIA®DGX-1™。DGX-1（如圖1所示）具有通過NVLink（NVIDIA的一種高性能GPU互聯技術）在混合數據立方體網格網絡中連接8台Tesla P100 GPU加速器的能力。搭配雙插槽Intel Xeon CPU和4個100 Gb InfiniBand網絡接口卡，DGX-1為深度學習訓練帶來了前所未有的非凡性能。此外，DGX-1系統軟件和功能強大管理庫可以適時調整，以用於擴展Tesla P100 GPU網絡中的深度學習，為有關生產和研究的深度學習應用提供靈活且可擴展的平台。

• • • 圖1: NVIDIA DGX-1

    • DGX-1 系統架構

    • DGX-1是一種專為高吞吐量和高互聯帶寬而設計的深度學習系統，以實現神經網絡訓練的最佳性能。該系統的核心是一套與混合立方體網格NVLink網絡拓撲相連的8個Tesla P100GPU的集合體。除了8個GPU外，DGX-1還包括兩個用於啟動、存儲管理和協調深度學習框架的CPU。DGX-1內置於三機架單元箱體中，具有供電、冷卻、聯網、多系統互聯和SSD文件系統緩存等功能，可優化吞吐量和深度學習訓練時間。圖2顯示了DGX-1系統的各部分組件。

• • • 圖2︰DGX-1 系統組件

    • NVLink是一種節能高效的高帶寬互聯技術，可支持NVIDIAPascal GPU以每GPU 160 GB/s的雙向總帶寬，連接到節點中的對等GPU或其他設備，其速度約相當於目前PCIe Gen3 x16互聯的五倍。NVLink互聯和DGX-1架構的混合立方體網格GPU網絡拓撲能在8個Tesla P100 GPU之間實現最高帶寬的數據交換。

    • Tesla P100的頁面遷移引擎可在GPU和主機內存之間執行高帶寬、低損耗的數據共享。為了擴展到多節點高性能集群，DGX-1通過InfiniBand（IB）網絡提供了系統之間的高帶寬。

    • NVLink有效擴展深度學習

• • • 圖6︰面向深度學習的124 DGX-1多系統集群示例

    • DGX-1軟件

    • 既有的DGX-1軟件可以大規模地展開深度學習。主要目標在於協助操作者以最少的設置在DGX-1中部署深度學習框架和應用程序。平台軟件的設計原則集中於在服務器上安裝最小的操作系統和驅動，並通過NVIDIA維護的 DGX 容器註冊表在NVIDIADocker容器中提供所有應用和軟件開發工具包。可用於DGX-1的容器包括多個經優化的深度學習框架、NVIDIA DIGITS深度學習訓練應用、第三方加速解決方案和NVIDIA CUDA工具包。圖7顯示了DGX-1深度學習軟件堆棧。

• • • 圖7︰DGX-1 深度學習軟件堆棧

    • DGX-1 軟件堆棧包括下列主要組件:

    • --NVIDIA CUDA工具包，詳情請閱讀CUDAToolkit 8.0版本新功能；

    • --NVIDIA Docker是當前流行的Docker集裝箱引擎封裝產品，可透明提供容器，且內含必要組件，用以執行GPU代碼。

    • --NVIDIA 深度學習軟件開發工具包可為設計和部署GPU提供加速的深度學習應用程序提供強大的工具和數據庫。它包括深度學習原語（cuDNN）、知識推理（TensorRT）、視頻分析、線性代數（cuBLAS）和稀疏矩陣（cuSPARSE）等；

    • --NVIDIA集成通信庫（NCCL，發音為“Nickel”）是一個支持拓撲的多GPU集成通信原語庫。面向DGX-1的NVIDIA Docker容器包含一個NCCL版本，可用於優化DGX-1架構中的8-GPU混合立方體網格NVLink網絡集合。

    • --DGX-1深度學習框架，NVIDIA深度學習軟件開發工具包加速了廣泛應用的深度學習框架，如：Caffe、CNTK、MXNet、TensorFlow、Theano和Torch。DGX-1軟件堆棧可為以上框架提供經過優化的集裝箱版本。這些框架包括所有必要的依存關係，均預先構建、經過測試且隨時可以運行。對於需要更大靈活性來建立自定義深學習解決方案的用戶，每個框架集裝箱圖像還包括框架源代碼，以支持自定義修改和增強功能，以及完整的軟件開發棧。

    • DGX-1 實現深度學習的最佳性能

    • DGX-1在訓練流行深層神經網絡的出色性能表現，充分體現了深度學習綜合系統的價值。圖8中的曲線圖顯示，利用Microsoft Cognitive Toolkit、TensorFlow和Torch的ResNet-50和ResNet-152深層神經網絡，與具有相同GPU的現有系統相比，DGX-1的訓練明顯更快了。該圖說明了以下兩大優點：

    • --DGX-1中的P100 GPU相比深度學習的上一代NVIDIA Tesla M40 GPU具有更高吞吐量。

    • --相比通過PCIe互聯的8台Tesla P100 GPU同類系統，DGX-1性能明顯更高。

• • • 圖8：採用所有8台Tesla P100s 的DGX-1深度學習訓練與通過PCI-e互聯，基於流行的CNTK（2.0 Beta5）TensorFlow（0.12-dev）和Torch（11-08-16）深度學習框架部署ResNet-50和Resnet-152深層神經網絡架構的8台Tesla M40和Tesla P100系統進行對比。該訓練針對ResNet-50採用32位浮點運算，總批量規模為512位；同時針對ResNet-152的批量規模為128位。其他軟件包括NVIDIADGX容器版本16.12、NCCL 1.6.1、CUDA 8.0.54、cuDNN 6.0.5和Ubuntu 14.04。NVIDIA Linux顯示驅動程序為375.30。8x M40和8x P100 PCIe服務器具有雙英特爾至強Xeon E5-2698v4 CPU和256GB DDR4-2133 RAM（DGX-1具有512GB DDR4-2133）的SMC 4028GR。

    • DGX-1的高性能部分歸功於互聯在8台Tesla P100 GPU之間的NVLink混合立方體網格，但還並不止這些。DGX-1的許多性能優勢源自其是一個集成系統，具有針對深度學習的完整軟件平台。這包括深度學習框架優化，例如NVIDIA Caffe、cuBLAS、cuDNN和其他GPU加速庫中的優化，以及通過NCCL進行的NVLink協調集體通信。該集成軟件平台與Tesla P100和NVLink完美結合，確保DGX-1遠遠優於同類現有系統。

    • NVIDIA DGX-1技術白皮書包含有關DGX-1的系統架構、平台軟件和性能的更多細節。點擊“閱讀原文”馬上查看NVIDIA DGX-1技術白皮書。