轉眼間實習已去一月，之前因為工作原因需要惡補大量的專業知識並加以練習，所以一直抽不開身靜下心來好好整理一下學習的成果。如今，模型的建立已經完成，剩下的就是枯燥的引數調整工作。在這之前就先對這段時間的資料處理工作得到的經驗做個小總結吧。
從我個人的理解來看，資料分析工作，在絕大部分情況下的目的在於用統計學的手段揭示資料所呈現的一些有用的資訊，比如事物的發展趨勢和規律；又或者是去定位某種或某些現象的原因；也可以是檢驗某種假設是否正確（心智模型的驗證）。因此，資料分析工作常常用來支援決策的制定。
現代統計學已經提供了相當豐富的資料處理手段，但統計學的侷限性在於，它只是在統計的層面上解釋資料所包含的資訊，並不能從資料上得到原理上的結果。也就是說統計學並不能解釋為什麼資料是個樣子，只能告訴我們資料展示給了我們什麼。因此，統計學無法揭示系統性風險，這也是我們在利用統計學作為資料處理工具的時候需要注意的一點。資料探勘也是這個道理。因為資料探勘的原理大多也是基於統計學的理論，因此所挖掘出的資訊並不一定具有普適性。所以，在決策制定上，利用統計結果+專業知識解釋才是最保險的辦法。然而，在很多時候，統計結果並不能用已有的知識解釋其原理，而統計結果又確實展示出某種或某些穩定的趨勢。為了抓住寶貴的機會，信任統計結果，僅僅依據統計分析結果來進行決策也是很普遍的事情，只不過要付出的代價便是承受系統環境的變化所帶來的風險。
用於資料分析的工具很多，從最簡單的Office元件中的Excel到專業軟體R、Matlab，功能從簡單到複雜，可以滿足各種需求。在這裡只能是對我自己實際使用的感受做一個總結。
Excel：這個軟體大多數人應該都是比較熟悉的。Excel滿足了絕大部分辦公制表的需求，同時也擁有相當優秀的資料處理能力。其自帶的ToolPak（分析工具庫）和Solver（規劃求解載入項）可以完成基本描述統計、方差分析、統計檢驗、傅立葉分析、線性迴歸分析和線性規劃求解工作。這些功能在Excel中沒有預設開啟，需要在Excel選項中手動開啟。除此以外，Excel也提供較為常用的統計圖形繪製功能。這些功能涵蓋了基本的統計分析手段，已經能夠滿足絕大部分資料分析工作的需求，同時也提供相當友好的操作介面，對於具備基本統計學理論的使用者來說是十分容易上手的。
SPSS：原名Statistical Package for the Social Sciences（社會科學統計軟體包），現在已被IBM收購，改名後仍然是叫SPSS，不過全稱變更為Statistical Product and Service Solutions（統計產品與服務解決方案）。SPSS是一個專業的統計分析軟體。除了基本的統計分析功能之外，還提供非線性迴歸、聚類分析(Clustering)、主成份分析(PCA)和基本的時序分析。SPSS在某種程度上可以進行簡單的資料探勘工作，比如K-Means聚類，不過資料探勘的主要工作一般都是使用其自家的Clementine（現已改名為SPSS Modeler）完成。需要提一點的是SPSS Modeler的建模功能非常強大且智慧化，同時還可以通過其自身的CLEF(Clementine Extension Framework)框架和Java開發新的建模外掛，擴充套件性相當好，是一個不錯的商業BI方案。
R：R是一個開源的分析軟體，也是分析能力不亞於SPSS和Matlab等商業軟體的輕量級（僅指其佔用空間極小，功能卻是重量級的）分析工具。官網地址：支援Windows、Linux和Mac OS系統，對於使用者來說非常方便。R和Matlab都是通過命令列來進行操作，這一點和適合有程式設計背景或喜好的資料分析人員。R的官方包中已經自帶有相當豐富的分析命令和函式以及主要的作圖工具。但R最大的優點在於其超強的擴充套件性，可以通過下載擴充套件包來擴充套件其分析功能，並且這些擴充套件包也是開源的。R社群擁有一群非常熱心的貢獻者，這使得R的分析功能一直都很豐富。R也是我目前在工作中分析資料使用的主力工具。雖然工作中要求用Matlab程式設計生成結果，但是實際分析的時候我基本都是用R來做的。因為在語法方面，R比Matlab要更加自然一些。但是R的迴圈效率似乎並不是太高。
Matlab：也是一個商業軟體，從名稱上就可以看出是為數學服務的。Matlab的計算主要基於矩陣。功能上是沒話說，涵蓋了生物統計、訊號處理、金融資料分析等一系列領域，是一個功能很強大的數學計算工具。是的，是數學計算工具，這東西的統計功能只不過是它的一部分，這東西體積也不小，吃掉我近3個G的空間。對於我來說，Matlab是一個過於強大的工具，很多功能是用不上的。當然，我也才剛剛上手而已，才剛剛搞明白怎麼用這個怪物做最簡單的Garch(1,1)模型。但毫無疑問，Matlab基本上能滿足各領域計算方面的需求。
以上這些軟體算是主流了，資料分析軟體遠不止這些，還有Eviews、S-plus等工具，因為沒用過，所以也就不說了
蒙田範文網