術業有專攻，晶片也像我們人類一樣，有合作也有分工，GPU和CPU也一樣，雖然一直有爭論，某個要取代另一個，但從上面的介紹可以看出，事實上，它們在工作上有分工也有交集，它們還是會在不同的應用上並存。 隨著IC設計和製造技術的進步，分工只會越來越細，但跨界的交匯和融合也是主旋律，所有這一切都只是為了滿足應用的需求。 gpgpunvidia 再舉個例子，玩遊戲的時候，CPU負責完成遊戲程序的邏輯、從硬碟裡面加載遊戲數據，然後才開始把圖形相關的東西挑出來交給GPU做，而遊戲中的各種運算還是離不開CPU的幫助，比如常見的NPC，他們怎麼運動，還是需要CPU來運算。
在以往的課堂上我們講了很多次的AI，這一堂課，我們不僅要講AI，還要講講AI隔壁的老王。 下面，就帶著你的想像力和好奇心，認識一下AI隔壁的老王。 近期AI應用取得的進展，主要靠新算法、大數據和新硬體「三大件」的支撐。 2011年的亞洲GPU技術大會在北京舉行，會上的GPGPU專題演講等還提供在線重溫（頁面存檔備份，存於網際網路檔案館）。
gpgpunvidia: 相關
使用GPU來做大量平行處理的通用運算GPU(GPGPU – General Purpose GPU)，以及整合CPU與GPU的異質性系統，不但大幅提升了運算效能，更是研究的趨勢之一。 HSA Foundation所提出的異質運算系統架構，便希望整合CPU與GPU的架構，進一步提升整個系統運算的效能。 縮短日益複雜的模型訓練時間，是提升資料科學家生產力與加速推出人工智慧服務的關鍵。 採用 NVIDIA GPU 的伺服器可透過加速運算效能，將深度學習訓練時間從數個月大幅縮減為數小時、甚至數分鐘。 國家高速網路與計算中心在今年六月底時，邀請美國伊利諾州大學香檳分校的胡文美教授所開授的《NVIDIA CUDA 大量平行處理器程式設計訓練課程》的錄影；建議初學者可以參考看看。
本實驗室GPU團隊現在正積極地在開發符合OpenCL/TensorFlow API規範的終端人工智慧Edge-AI之處理器系統，在GPGPU基礎上進行優化設計，並發展人工智慧多線程應用程式的執行環境。 其次，要解釋兩者的區別，要先明白兩者的相同之處：兩者都有總線和外界聯繫，有自己的緩存體系，以及數字和邏輯運算單元。 NVIDIA 合作夥伴提供多種頂尖的伺服器，可以處理不同的人工智慧、HPC 與加速運算工作負載。
gpgpunvidia: 對「nVidia CUDA 相關文章目錄」的想法
在 CUDA 的程式架構中，主程式還是由 CPU 來執行；而當遇到了資料平行化處理的部分，就會將要在 GPU 跑的程式編譯成 device 能執行的程式，再丟給 device 執行了。 而這個程式在 CUDA 裡把他叫做「kernel」。 2017年的PC硬體市場可以說迎來了久違的喧囂和熱鬧，不但整體形勢趨於穩定甚至開始復甦，幾乎各種配件也都呈現井噴式發展，新技術、新產品不斷，有點煥發第二春的感覺。
其中第一個「GP」通用目的而第二個「GP」則表示圖形處理，這兩個「GP」搭配起來即「通用圖形處理」。 人們一直在尋找各種加速圖像處理的方法，然而受到CPU本身在浮點計算能力上的限制，對於那些需要高密度計算的圖像處理操作，過去傳統的在CPU上實現的方法，並沒有在處理性能與效率上有很大進步。 隨著可編程圖形處理器單元在性能上的飛速發展，利用GPU加速圖像處理的技術逐漸成為研究熱點。 更明確的說，由於 GPU 的架構設計，GPU 最適合拿來做的計算是「資料平行化的計算(data-parallel gpgpunvidia computations)」；也就是不同的資料，要用同樣的程式來做計算。
gpgpunvidia: 圖形處理器通用計算
Hotball 寫的 CUDA 相關介紹，以一個平方和的程式為例子，一步一步地最佳化。 介紹用 CUDA 的編譯的流程，並介紹使用 nVidia 提供的範例程式，來用 Visual Studio 2005 撰寫 CUDA 程式的方法。 gpgpunvidia 針對 Fermi 最佳化，加入了 GPUDirect gpgpunvidia 等讓其他程式存取的技術 CUDA 記憶體的技術。 Heresy 你好，我最近嘗試在做影像處理的cuda實現。
目前 nVidia 官方的文件，也只有一份 Programming Guide 和 SDK 裡附的 Sample，連份 tutorial 都沒有，對於初學者來說，要上手其實還滿麻煩的。 在 nVidia 的論壇中，其實有比較多的資料，但是畢竟是以論壇的形式存在的，沒有整理過，要找資料可以，要拿來學習並不是很容易。 上周，百度與AMD宣布將攜手合作，評估、優化AMD新型處理器技術在百度AI技術領域的應用，推動人工智慧開發與發展。
gpgpunvidia: GPU, GPGPU ,CPU 有什麼區別？
而在這種情況下，就可以透過把每一組資料的計算，都當成一個 thread 來計算，以此平行化來加速計算。 其中，個別的計算量也要較高，如此才能避免平行話的負擔大於平行化的加速。 第十一章：硬體/軟體劃分FPGA gpgpunvidia 可編程邏輯適合解決那種能高效地劃分為多道並行任務的問題。 由於可編程邏輯固有的並行執行方式，多個運算可以被同時處理，用比串行處理更短的時間計算出最終的結果。 FPGA 實現的例子應用包括數字過濾計算、波束形成和圖像處理。 隨著GPU技術的進步與繪圖效能的提升，視覺運算領域正快速的發展。
而在同一個 block 裡的 thread，有部分的記憶體（shared memory）是共用的；所以在校能的調整上，可能須要考慮到這一點。 這篇是在整理 SC07 和 Siggraph 2007 時的一些 CUDA 相關資料。 介紹如何不使用 nVidia 的範例程式，建立一個全新的 Visual Studio 2005 的 CUDA 專案程式。 算是大改版了～主要是對應新一代的 Fermi / GF100 而推出的，同時支援了部分 C++ 的功能。 Heresy 對於 CUDA 也是剛開始玩，也只能參考 Programming Guide 和 sample code 來摸索；希望以後，能找到更多更好的教學文件可以做參考。 一句話結論：牛逼，但是和行業頂級水平相比，並無值得稱道之處。
gpgpunvidia: 下載 GPU – Ready 資料中心技術概覽
PC在剛誕生的時候，其實是沒有GPU的，所有的圖形計算都由CPU來計算。 後來人們意識到CPU做圖形計算太慢了，於是他們設計了專門的圖形加速卡用來幫忙處理圖形計算，再後來，NVIDIA提出了GPU的概念，將GPU提升到了一個單獨的計算單元的地位。 NVIDIA AI Enterprise 軟體套件是一個端到端且雲端原生的人工智慧工具和框架套件，經由 NVIDIA 最佳化、認證和支持，可運行於使用 NVIDIA 資料中心 GPU 的 NVIDIA 認證系統。 用簡單的 blending 演算法，來進行一些簡單的效能測試；主要是在比較 CPU 和 GPU 間的效能差異，同時也比較使用 global memory 和 texture 的效能。 如果是轉載來的，Heresy 應該都有註明出處；如果您覺得任何文章有侵犯到您的權益，麻煩請告知 Heresy、Heresy 會盡快處理。 英特爾除了公布高性能和低功耗的未來六代CPU微架構外，英特爾GPU圖形方面同時放出諸多猛料，核芯顯卡將升級到第11代，並再次重申獨立顯卡會在2020年發布。
- 而在同一個 block 裡的 thread，有部分的記憶體（shared memory）是共用的；所以在校能的調整上，可能須要考慮到這一點。
- 而實際在運作時，CUDA 會產生許多在 device 上執行的 thread，每一個 thread 都會去執行 kernel 這個程式；雖然程式都是同一份，但是會因為其 index 的不同，而取得不同的資料來計算。
- 目前移動計算市場中的高性能處理器「玩家」已經所剩不多。
- 透過 NVIDIA 資料中心 GPU，加速運算需求最嚴苛的 HPC 和超大規模資料中心工作負載。
- 像 constant 和 texture 因為對於 thread 是唯獨的，所以實際上會有快取的機制，可以用來加速讀取。
- Hotball 寫的 CUDA 相關介紹，以一個平方和的程式為例子，一步一步地最佳化。
Titan X — NVIDIA Pascal 架構下的終極顯卡（Graphics Card）產品。 這不是一個人工智慧硬體的專欄，我又不玩遊戲，關顯卡什麼事？ 簡單來講在現代計算機環境下的日常使用中，整點運算性能影響如壓縮與解壓縮，計算機進程調度，編譯器語法分析，計算機電路輔助設計，遊戲AI處理類型的操作。
所以問題的答案很明顯了，在計算上，CPU的通用性更強，什麼活都能接，但是速度都不咋地;GPU只能接圖形計算這類活，速度非常快，或者也可以接特別寫給它來計算的任務，這也就是GPGPU(在圖形計算單元上進行的通用計算)的由來。 簡而言之，當程式設計師為CPU編寫程序時，他們傾向於利用複雜的邏輯結構優化算法從而減少計算任務的運行時間，即Latency。 當程式設計師為GPU編寫程序時，則利用其處理海量數據的優勢，通過提高總的數據吞吐量來掩蓋 gpgpunvidia Lantency。
這個實際上是作業系統的核心調度決定的，處理器並不能決定自己接收什麼樣的任務，跟處理器的SMT也就沒有關係。 不過個人會建議，如果真的要準確的話，測完之後重開機再測試下一項，應該會比較準確。 所以，實際上 CUDA 在執行一段 kernel 程式的時候，必須要指定他的 grid 和 block 的相關資訊（維度和大小）；而會產生的 thread 數目，就會由這兩者的資訊來決定。 在 device 中要執行的 thread 中，要根據「最有效率的資料共用」來建置 thread 的 block；其中，thread block 的型式可以是一維、二維或三維的。
gpgpunvidia: nVidia CUDA 相關文章目錄
本部落格文章基本上大多都是 Heresy 自己寫的，如果要轉載 Heresy 的文章，麻煩也在轉載的同時，加註上出處、也就是 Heresy 文章的原始網址。 再加上 shader 程式的出現、演進，GPU 的可控制性也大幅增加！ 先碎碎念一下…以目前來講，CUDA 還算是一個很新的技術，在網路上可以找到的教學文件，相對也就很少。
近日，Intel的官方正式公開宣布進軍獨立圖形處理器市場，首款獨立顯卡產品將在2020年上市！ 這是一個傳聞已久，業內也認為肯定會發生的事情，如今不過是官方正式承認並宣布而已。 多用於個人電腦、工作站、遊戲主機以及行動裝置上專門運行繪圖運算的微處理器。 GPU核的數量遠超CPU但是結構較CPU簡單，因此被稱為眾核結構。 1、GPU應用廣泛，需求邁入高速增長期GPU又被稱為顯示晶片、視覺處理器，是個人電腦、工作站、遊戲主機以及行動裝置上專門運行繪圖運算的微處理器。
