2020年深度学习优秀GPU一览

• 模型比图像模型受益于更大的GPU内存。注意右图的曲线比左图更陡。这表明语言模型受内存大小限制更大，而图像模型受计算力限制更大。
• 具有较大VRAM的GPU具有更好的性能，因为使用较大的批处理大小有助于使CUDA内核饱和。
• 具有更高VRAM的GPU可按比例实现更大的批处理大小。只懂小学数学的人都知道这很合理：拥有24 GB VRAM的GPU可以比具有8 GB VRAM的GPU容纳3倍大的批次。
• 比起其他模型来说，长序列语言模型不成比例地占用大量的内存，因为注意力(attention)是序列长度的二次项。

GPU购买建议

• RTX 2060(6 GB)：你想在业余时间探索深度学习。
• RTX 2070或2080(8 GB)：你在认真研究深度学习，但GPU预算只有600-800美元。8 GB的VRAM适用于大多数模型。
• RTX 2080 Ti(11 GB)：你在认真研究深度学习并且您的GPU预算约为1,200美元。RTX 2080 Ti比RTX 2080快大约40%。
• Titan RTX和Quadro RTX 6000(24 GB)：你正在广泛使用现代模型，但却没有足够买下RTX 8000的预算。
• Quadro RTX 8000(48 GB)：你要么是想投资未来，要么是在研究2020年最新最酷炫的模型。

（编辑：通化站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!