將NVIDIA 2016 年的 P100 GPU 與最新的 H100 GPU 進行比較，我們會發現記憶體容量增加到原來的 5 倍（16GB → 80GB），FP16 性能增加到 46 倍（21.2 TFLOPS → 989.5 TFLOPS）。 其要义在于“融合”，不将每个中间计算结果写入内存，而是一次传递，计算多个函数，这样就将内存读写量变少。 计算过程中，增加内存带宽是通过并行性获得的，为此，英伟达使用了HBM内存（High Bandwidth Memor），这是一种3D堆叠的DRAM层组成的结构，封装更贵，让经费朴实的使用者们只能干瞪眼。 如果把PyTorch这些框架比做车，那CUDA就是变速箱——它可以加速机器学习框架的计算过程，当在英伟达GPU上运行PyTorch等时，可以更快地训练、运行深度学习模型。 圖 / Tesla系列是NVIDIA用於工作站級的CUDA處理器，其浮點運算能力是消費級產品的數倍之多。
- H100 為 Hopper 架構帶來了分散式共用記憶體和 L2 多播 。
- Dynamo 透過啟用部分圖擷取、受保護的圖擷取和即時重新擷取來改變這一點。
- 他對電晶體密度和成本的預測在 2009 年之前對 DRAM 普遍適用。
- 如果擷取的圖對於執行無效，則即時重新擷取允許重新擷取圖。
- 这个问题不仅是玩家关心的，也是NVIDIA要解答的，大家都知道这几年来NVIDIA一直在努力提高显卡档位，RTX 40这一代尤其明显，4070级别的价位就是之前3080的水平了，4060级别的也提升到了3070级别的段位。
CUDA 英文全称是Compute Unified Device Architecture，是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题。 可以集成到高级的机器学习框架中，如谷歌的Tensorflow、加州大学伯克利分校的. 幾個月前，PyTorch 基金會成立，並脫離了 Meta 。
nvidiacuda: 使用 Facebook 留言
目前来说，片上SRAM成本并没随摩尔定律工艺提升而大幅降低，若采用台积电下一代3nm制程工艺，同样的1GB，反而成本更高。 而CUDA不仅可以调用GPU计算，还可以调用GPU硬件加速，让GPU拥有了解决复杂计算问题的能力，可以帮助客户为不同的任务对处理器进行编程。 此外，片上 SRAM 記憶體的成本不會隨著傳統摩爾定律工藝技術的縮小而降低太多。 同樣的 1GB 記憶體，採用台積電下一代 3nm 製程工藝，成本反而更高。 雖然 3D SRAM 將在一定程度上幫助降低 SRAM 成本，但這只是暫時的。 这款显卡的爆料也很多，价格会更便宜，预计是500美元内，传闻是499美元，比RTX 4070 Ti的799美元便宜不少。
而在硬體方面，其他 AI 硬體公司很難削弱NVIDIA 的統治地位。 直到 PyTorch 2.0 和 OpenAI Triton 出現，機器學習模型的預設軟體堆疊將不再是NVIDIA 的閉源 CUDA。 OpenAI Triton 目前僅正式支援NVIDIA 的 nvidiacuda GPU，但在不久的將來會發生變化，將支援多個其他硬體供應商。 其他硬體加速器可以直接整合到 Triton 的 LLVM IR 中，這大大減少了為新硬體構建 AI 編譯器堆疊的時間。
nvidiacuda: CUDA 應用程式
NVIDIA 設計的晶片片上記憶體容量要少得多 ——A100 有 40MB，H100 有 50MB。 台積電 5 奈米晶片上的 1GB SRAM 需要約 200 平方毫米的矽，要實現相關的控制邏輯 / 結構，將需要超過 400 平方毫米的矽。 鑒於 A100 GPU 的成本在 1 萬美元以上，而 H100 更是接近 2 萬美元，從經濟角度看，這種方法是不可行的。 即使忽略NVIDIA nvidiacuda 在資料中心 GPU 上約 75% 的利潤率，對於完全量產的產品，SRAM 記憶體的成本仍在 100 美元 / GB 左右。 以前，影響機器學習訓練時間的主要因素是運算時間，等待系統執行矩陣乘法。 隨著NVIDIA GPU 的不斷發展，這很快就不再是主要問題了。
對於當前未最佳化的硬體，PyTorch 2.0 nvidiacuda 具有更大的性能改進空間。 Meta 和其他公司對 PyTorch 做出如此巨大的貢獻，是因為他們希望在自己價值數十億美元的 GPU 訓練叢集上以更少的努力實現更高的 FLOPS 使用率。 這樣他們也有動力使軟體堆疊更易於移植到其他硬體，將競爭引入機器學習領域。
nvidiacuda: 科技
如果不進行大量最佳化，A100 只能具有非常低的 FLOPS 使用率。 Eager nvidiacuda 模式可以說是標準的腳本執行方法，與普通的 Python 程式碼沒什麼差別。 這使得調試和理解程式碼更加容易，因為使用者可以看到中間操作的結果，以及模型是如何運行的。 幾年前，框架生態系統相當分散，但 TensorFlow處於領先地位。 表面看來，Google穩操機器學習框架行業，他們憑藉 TensorFlow 設計了 AI 應用特定加速器 TPU，從而獲得了先發優勢。
NVIDIA的RTX 40系列显卡正在一步步完善布局，旗舰到高端显卡差不多了，RTX 4070 Ti覆盖到6499元价位了，RTX 4070显卡估计是5000元档，再往后就是RTX 4060 Ti显卡了。 扫描以下二维码，添加小助理微信（dddvisiona）,一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。 还有值得一提的是，Triton是开源的，比起闭源的CUDA，其他硬件加速器能直接集成到Triton中，大大减少了为新硬件建立AI编译器栈的时间。
放英伟达的GPU上，内存就更小了：A100仅40MB，下一代的H100是50MB，要按量产产品价格算，对于一块芯片每GB的SRAM内存成本高达100美元。 在机器学习中，一些ASIC试图用一个巨大的SRAM来保存模型权重，这种方法遇到动辄100B+的模型权重就不够了。 毕竟，即便是价值约500万美元的晶圆级芯片，也只有40GB的SRAM空间。 近些年，领头羊英伟达硬件的FLOPS不断提高，但其内存提升却十分有限。 以2018年训练BERT的V100为例，作为最先进GPU，其在FLOPS上增长一个数量级，但内存增加并不多。
該解決方案的使用者體驗不會發生變化，但性能可以得到顯著提升。 運算元的增長和預設的地位對NVIDIA 來說是優勢，因為每個運算元都針對其架構進行了快速最佳化，但並未針對任何其他硬體進行最佳化。 如果一家 AI 硬體初創公司想要全面實施 PyTorch，那就意味著以高性能支援不斷增長的 nvidiacuda 2000 個運算元列表。 這種最佳化通常涉及編寫自訂 CUDA 核心，但這比使用簡單的 Python 腳本要難得多。 隨著時間的推移，PyTorch 中穩定地實現了越來越多的運算元，其中許多運算元只是簡單地將多次常用運算融合到一個更複雜的函式中。 記憶體頻寬和容量的成本限制問題在NVIDIA 的 A100 GPU 中尤為明顯。
nvidiacuda: 運算元融合
H100 為 Hopper 架構帶來了分散式共用記憶體和 L2 多播 。 這個想法讓一個 SM 中的資料可以直接寫入另一個 SM 的 SRAM（共用記憶體 /L1 Cache）中。 這有效地增加了緩存的大小並減少了 DRAM 讀 / 寫所需的頻寬。 未來的架構將減少向記憶體發送的運算元量，以最大限度地減少記憶體牆的影響。 值得注意的是，較大的模型往往會實現更高的使用率，因為 FLOPS 需要按參數量的三次方成比例擴充，而記憶體頻寬和容量需求往往按二次方擴充。 ASIC 受制於支援最常用的框架，受制于預設的開發方法、GPU 最佳化的 PyTorch 程式碼以及NVIDIA 和外部庫的混合。
- 同樣的 1GB 記憶體，採用台積電下一代 3nm 製程工藝，成本反而更高。
- 記憶體層次結構的下一步是緊密耦合的片外記憶體 DRAM。
- 鑒於 A100 GPU 的成本在 1 萬美元以上，而 H100 更是接近 2 萬美元，從經濟角度看，這種方法是不可行的。
- 一般来说，内存系统根据数据使用需求，遵照从“又近又快”到“又慢又便宜”的结构安排资源。
- 即使研究人員進行了大量最佳化，大型語言模型的 FLOPS 使用率也只能達到 60% 左右 。
- PrimTorch 使 PyTorch 的不同非NVIDIA 後端的實現變得更加簡單和易於存取。
- 我的课题是关于深度学习的，需要在GPU上跑程序，但是对于标题的名词概念有些模糊，所以觉得有必要写一篇文章当做笔记供之后参考。
Dynamo 將所有複雜運算元減少到 PrimTorch 中的約 250 個原始運算元。 一旦圖形成，未使用的運算元將被丟棄，圖會決定哪些中間運算元需要儲存或寫入記憶體、哪些可能被融合。 這極大地減少了模型內的開銷，同時對使用者來說也是「無縫」的。 我們可以說軟體發展人員太懶了，但說實話，又有誰沒懶惰過呢。 一旦習慣了 PyTorch 中的一個新運算元，他們就會繼續用它。 開發人員甚至可能沒有意識到性能在提高，而是繼續使用該運算元，因為這樣就不用編寫更多的程式碼。
運算元在何處融合的策略雖大體相似，但因為架構的不同也會有很大差異。 如果將所有時間都花在記憶體傳輸上（即處於記憶體頻寬限制狀態），那麼增加 GPU 的 FLOPS 將無濟於事。 另一方面，如果將所有時間都花在執行大型 matmuls 上，那麼即使將模型邏輯重寫為 C++ 來減少開銷也將無濟於事。
如今，Google在機器學習社群中似乎有些被孤立了，因為它沒有使用 PyTorch 和 GPU，而是使用自己的軟體堆疊和硬體。 甚至，Google研發了第二個機器學習框架 ——JAX，直接與 TensorFlow 競爭，這是典型的「谷歌行為」。 nvidiacuda Google早期在機器學習模型架構、訓練、模型最佳化方面都具有很大優勢，但現在卻難以充分發揮這些優勢。
也許這種觀點過於悲觀，畢竟當前大多數模型的基礎架構仍是谷歌開發的 transformer。 而且目前Triton还只正式支持英伟达GPU（没在别的GPU测试性能），如果XLA在英伟达GPU上的表现不占优势，那它恐怕不如Triton。 此外，PyTorch 2.0依靠PrimTorch技术，将原来2000多个算子缩到250个，让更多非英伟达的后端更易于访问；还采用了TorchInductor技术，可为多个加速器和后端自动生成快速代码。 因添加了一个面向图像执行模型的编译解决方案，该框架在A100上训练性能提升86%，CPU推理性能也提升26%。 相比下，PyTorch 2.0工具就能大幅降低这个门槛。 其内置英伟达和外部库，无需专门学习CUDA，直接用PyTorch就能增加运算符，对炼丹师们来说，自然友好很多。
由香港SEO公司 Featured 提供SEO服務
