titan-v-deep-learning-benchmarks

使用TensorFlow的Titan V深度學習基準 - 2019年

在這篇文章中,Lambda Labs對Titan V的深度學習/機器學習性能進行了基準測試,並將其與其他常用GPU進行了比較。
我們使用Titan V來訓練ResNet-50,ResNet-152,Inception v3,Inception v4,VGG-16,AlexNet和SSD300。我們在訓練每個網絡時測量每秒處理的圖像數量。

幾點說明:




Titan V - FP32 TensorFlow性能(1 GPU)

對於FP32神經網絡訓練,NVIDIA Titan V是......

  • 比RTX 2080快42%
  • 比GTX 1080 Ti快41%
  • 比Titan XP快26%
  • 比RTX 2080 Ti快4%
  •  Titan RTX快90%
  • 比特斯拉V100(32 GB)快75%


通過訓練期間每秒處理的#個圖像來衡量。



Titan V - FP16 TensorFlow性能(1 GPU)

對於神經網絡的FP16訓練,NVIDIA Titan V是......

  • 比GTX 1080 Ti快111%
  • 比Titan XP快94%
  • 比RTX 2080快70%
  • 比RTX 2080 Ti快23%
  •  Titan RTX快87%
  • 比特斯拉V100(32 GB)快68%

通過訓練期間每秒處理的#個圖像來衡量。


FP32多GPU縮放性能(1,2,4,8 GPU)

對於每一個GPU類型(泰坦V,RTX 2080的Ti,RTX 2080等),我們測量的性能,同時訓練用1,2,4,和8個GPU上的每個神經網絡,然後平均結果。下圖提供了FP32中神經網絡的多GPU訓練期間每個GPU如何縮放的指導。該圖表可以理解如下:

  • 使用8個Titan Vs比使用單個Titan V快5.18倍
  • 使用8個特斯拉V100比使用單個Titan V快9.68倍
  • 使用8個特斯拉V100比使用8個Titan V快9.68 / 5.18 = 1.87倍


Titan V - FP16與FP32

FP16可以縮短培訓時間並實現更大批量/型號,而不會顯著影響模型精度。與FP32相比,Titan V上的FP16訓練是......

  • ResNet-50的速度提高了80%
  • ResNet-152的速度提高69%
  • 在Inception v3上快70%
  • 在Inception v4上快51%
  • VGG-16的速度提高96%
  • 在AlexNet上快78%
  • SSD300的速度提高了57%

通過訓練期間每秒處理的圖像數量來衡量。這使得平均加速為+ 71.6%。

注意事項:如果您不熟悉機器學習或只是測試代碼,我們建議您使用FP32。降低FP16的精度可能會影響收斂。

GPU價格

  • Titan V:2,999.00美元
  • RTX 2080 Ti:1,199.00美元
  • RTX 2080:799.00美元
  • Titan RTX:2,499.00美元
  • 特斯拉V100(32 GB):約$ 8,200.00
  • GTX 1080 Ti:699.00美元
  • Titan Xp:1,200.00美元

方法

  • 對於每個模型,我們進行了10次訓練實驗並測量了每秒處理的圖像數量; 然後我們對10個實驗的結果進行平均。
  • 對於每個GPU /神經網絡組合,我們使用了適合內存的最大批量大小。例如,在ResNet-50上,V100使用的批量大小為192; RTX 2080 Ti的批量大小為64。
  • 我們使用合成數據而不是真實數據來最小化非GPU相關的瓶頸
  • 使用模型級並行性執行多GPU培訓

硬件

軟件

  • Ubuntu 18.04(仿生)
  • TensorFlow 1.12
  • CUDA 10.0.130
  • cuDNN 7.4.1


Run Our Benchmarks On Your Own Machine

Our benchmarking code is on github. We'd love it if you shared the results with us by emailing s@lambdalabs.com or tweeting @LambdaAPI.

Step #1: Clone Benchmark Repository

git clone https://github.com/lambdal/lambda-tensorflow-benchmark.git --recursive

Step #2: Run Benchmark

  • Input a proper gpu_index (default 0) and num_iterations (default 10)
cd lambda-tensorflow-benchmark
./benchmark.sh gpu_index num_iterations

Step #3: Report Results

  • Check the repo directory for folder <cpu>-<gpu>.logs (generated by benchmark.sh)
  • Use the same num_iterations in benchmarking and reporting.
./report.sh <cpu>-<gpu>.logs num_iterations

Raw Benchmark Data

FP32: # Images Processed Per Sec During TensorFlow Training (1 GPU)

Model / GPURTX 2080 TiRTX 2080Titan RTXTitan VV100Titan Xp1080 Ti
ResNet-50294213330300405236209
ResNet-152110831291071559081
Inception v3194142221208259151136
Inception v4795696771126358
VGG16170122195195240154134
AlexNet3627265040463796478230042762
SSD300149111169156200123108

FP16: # Images Processed Per Sec During TensorFlow Training (1 GPU)

Model / GPURTX 2080 TiRTX 2080Titan RTXTitan VV100Titan Xp1080 Ti
ResNet-50466329612539811289263
ResNet-15216712423418130510496
Inception v3286203381353494169156
Inception v4106741541161936762
VGG16255178383383511166149
AlexNet4988345866276746892231042891
SSD300195153292245350136123


歡迎與我們聯繫,
我們從事基礎人工智能技術的開發工作。所有技術,從語音識別到計算機視覺、自然語言處理、數據倉庫、用戶理解,我們用人工智能技術支持很多國際業務並孵化新業務方向。
我們也提供許多GPU相關解決方案,對於AI開發團隊,有許多完整且具有經驗的支持.

鴻鵠國際股份有限公司

業務窗口   蔡先生
行動電話:0910-218-322                                                       
公司電話:02-2929-9388 #10
公司傳真:02-2929-7579
Email: sales1@honghutech.com

Comments