隨著計算機和積體電路技術的發展，尤其是積體電路的整合度和並行度的提高，圖形硬體的更新速度越來越快，圖形處理器 ( Graphic Processing Unit, GPU) 自1999年由NVIDIA公司提出以來, 其發展速度是CPU的三倍多。多流水線結構、向量處理特性以及32位IEEE標準浮點精度的實現使得它對於計算密集型的科學應用有非常大的吸引力,成 為通用計算的一個有效並行平臺。AMD、NVIDIA和Intel都有各自獨立的GPU通用計算計劃。以GeForce8為代表的可程式設計GPU釋出後, GPGPU( General Purpose GPU)進入了一個高速發展的全新時代, 顯示卡廠商NVIDIA更是推出了專門通用計算平臺— CUDA( Compute Unified Device Architecture), 極大地提高了GPU的可程式設計性,使得個人計算機實現高效能平行計算變成可能。
提供良好的高效能運算開發環境,一直是學術界和工業界所追求的目標。開發環境既包括平行計算機體系結構、計算機網路拓撲結構等硬體環境，也包括並行程式的開發模式，網路通訊協議和通訊方式等軟體環境。並行演算法研究要以硬體（即平行計算機）為依託，平行計算機效能的發揮要以優秀並行演算法的實現為依託。最終目的是在研究中形成完備的“理論-設計-實現-應用”的一體化平行計算研究體系。
如今，GPU早已不再滿足於只做3D圖形計算，慢慢的也在向著並行優化計算和高精度浮點數計算等方面發展，對於一些問題上，GPU有著比CPU高出幾十倍甚至幾百倍的運算效能。高效能運算、資料中心、網際網路、雲端計算、大資料、深度學習……只要是需要強大計算能力與加速功能的地方，都能看到GPU的身影。而這些需要高效能運算的領域，往往向著並行化和運算加速方向發展。
矩陣運算是在科學計算和實際數學分析中常用的數學運算，而且矩陣乘法和矩陣求逆更是在計算中最常遇見且耗時較大的運算。即便在演算法優化的情況下，稠密矩陣的乘法和求逆運算依然有O(n^3)的複雜度。這些演算法實現起來不僅複雜，而且需要大量的記憶體空間開銷。而矩陣的常規運算中存在大量的重複並行運算，可以充分發揮GPU多核計算、並行實現、流水優化的核心優勢。使用GPU並行加速也成為大規模稠密矩陣的運算一個新的方向。
蒙田範文網