淺談數據倉庫技術
摘要：數據倉庫的英文名稱為DataWarehouse，簡寫DW。從數據倉庫的概念上我們可以從兩個方面理解，一方面，數據倉庫是用來支持決策的，主要面向分析型數據處理，這一點有別於企業現有的操作型數據庫。
關鍵詞：數據庫，數據倉庫，數據處理
1、數據倉庫的定義
數據倉庫的英文名稱為Data Warehouse，簡寫DW。n。我們把它的定義為：數據倉庫是一個數據 集合，它的特點是：用於支持管理決策時它是面向主題的，集成的，相對穩定的，能夠反映歷史變化的。從數據倉庫的概念上我們可以從兩個方面理解，一方面，數據倉庫是用來支持決策的，主要面向分析 型數據處理，這一點有別於企業現有的操作型數據庫；另一方面，數據倉庫對多個異構的數據源進行有效集成，在集成後又按照主題重新進行了組合，並且包含歷史數據，儘管如此，卻一般不再修改其存放在數據倉庫裏的數據。
2、數據倉庫的特點
（1）面向主題。操作型數據庫的數據組織面向事務處理任務，各個業務系統
之間各自分離，而數據倉庫中的數據是按照一定的主題域進行組織，一個主題通常與多個操作型信息系統相關。。
（2）集成的。面向事務處理的操作型數據庫通常與某些特定的應用相關，數
據庫之間相互獨立，並且往往是異構的。而數據倉庫中的數據是在對原有分散的數據庫數據抽取、清理的基礎上經過系統加工、彙總和整理得到的，必須保證數據倉庫內的信息是關於整個企業的一致的全局信息。
（3）相對穩定的。操作型數據庫中的數據通常實時更新，數據根據需要及時
發生變化。數據倉庫的數據主要供企業決策分析只用，所涉及的數據操作主要是數據查詢，一旦某個數據進入數據倉庫之後，一般情況下將被長期保留，修改和刪除操作很少，通常只需要定期的加載、刷新。。
（4）反映歷史變化。操作型數據庫主要關心當前某一個時間段內的數據，而
數據倉庫中的數據通常包含歷史信息，系統記錄了企業從過去某一時點到目前的各個階段的信息，以對企業的發展歷程和未來趨勢做出定量分析和預測。
3、數據倉庫的結構
如上圖所示，整個數據倉庫系統包含五個層次：
（1）數據源層。是數據倉庫系統的基礎，是整個系統的數據源泉。通常包括企業內部信息和外部信息。。
（2）數據導入層。是數據在進入數據倉庫前的一個臨時存放區，通過數據調度工具將業務系統傳送過來的數據表、文本文件等加載到臨時存放區。
（3）數據服務層。是整個數據倉庫系統的核心。針對現有各業務系統的數據，進行抽取、清理，並有效集成，按照主題進行組織。數據倉庫按照數據的覆蓋範圍可以分為企業級數據倉庫和部門級數據倉庫（通常稱為數據集市）。
（4）應用服務層。應用服務層的功能主要是建立多維數據集、進行OLAP分析、生成各種靜態報表並以WEB方式提供各種功能的查詢分析。
（5）用户層。根據對數據倉庫需求的不同，數據倉庫的用户可以分為普通用户、技術用户、高級管理用户這三類。不同用户對數據倉庫訪問的需求層次以及複雜度都是不同的，簡單的需求是訪問一些固定的靜態報表和查詢分析，複雜的可以通過前端展現的工具生產一些靈活、動態的即席查詢報表，以滿足業務部門一些臨時的、迫切的報表需求。
4、相關的網站和論壇：
（1）數據倉庫之路
（2）致力於打造最專業的中文數據倉庫，商務智能社區
（3）商業智能和數據倉庫愛好者
（4）數據挖掘研究院
5、研究和商業機構
（1） 北京大學移動通信數據倉庫聯合實驗室
2006年5月由中國移動、北京大學、亞信集團聯合建立，該實驗室”是全球容量最大的數據倉庫分析系統實驗室，也有效的整合了三方得優勢資源。中國移動通信目前構建了目前國際上最大的數據倉庫系統，聯合實驗室的建立，既能推動中國移動自身數據倉庫系統建設，也能明顯推動數據倉庫技術向縱深發展。
（2）中國人民大學數據倉庫和商務智能實驗室
2004年5月由中國人民大學和全球著名的數據倉庫廠商NCRTeradata聯合建立。該實驗室承擔了國家863計劃、國家自然科學基金重點項目、教育部重點項目等國家重大科研任務。藉助於NCRTeradata的優勢技術，雙方將通過密切的合作，共同開發具有中國行業特色的數據倉庫和商務智能應用軟件。
（3）北京漢端科技有限公司
北京漢端公司是一家專門從事商業智能信息化服務的企業，從1996年就開始專業做數據倉庫，它在數據倉庫領域是相當專業的，在這可以接觸到最前沿的數據倉庫技術。
（4）上證所金融創新實驗室
2006由上海證券交易所成立，該實驗室的數據全部來源於數據倉庫系統。 上證所在推出金融新產品時，都曾通過數據倉庫平台進行過測算和驗證。通過實時數據倉庫技術，為上證所的經營、監管、創新和服務決策提供數據支持，極大的提高了監管的效率和服務的性能，能夠更好地服務市場和監管市場。
參考文獻：
1伍小榮 伍慶華 數據倉庫技術的研究現狀和未來方向 [期刊論文] 現代電子技術2002(6)
2、向海華 數據庫技術發展綜述[期刊論文] 現代情報 2003(12)
3、王澤明淺談數據倉庫技術 [期刊論文] 計算機應用與軟件2001-01-15
4、黃慶普 剖析數據倉庫技術 [期刊論文] 華南金融電腦2003年11期
5、劉立波 數據倉庫技術的研究與應用[期刊論文] 計算機工程與應用2002(15)
看了“萬方數據庫學術論文”的人還看：
數據庫服務
摘 要：隨着計算機網絡環境的不斷髮展，人們對計算機的依賴程度逐漸增強。這就使得計算機的網絡安全被廣泛關注，數據庫是構成網絡安全的重要組成部分，其中的安全和隱私保護也是重點問題。本文針對數據的完整性和機密性進行安全和隱私保護的研究，並提出合理化的建議。
關鍵詞：數據庫服務；網絡安全；隱私保護
中圖分類號：TP311.13
隨着網絡的不斷髮展和信息化的相互交流日益密切。計算機的網絡信息安全尤為重要，針對繁瑣的數據處理和服務，企業迫切的需要安全的維護系統進行相應的數據信息安全保護。數據庫服務是新時代的產物，同時能夠滿足企業的信息安全的需求，推動了企業的可持續發展。
1 數據庫服務
1.1 數據庫服務概念。數據庫服務是保護企業和個人安全信息的重要手段，它是與本地數據管理一樣的數據管理的服務體系。這項技術的發展受到了社會各界的關注，並且得到了一定程度的發展。在現階段存在的數據庫有MySQLHosting，IBM Data Center Outsourcing Services等。數據庫服務可以稱之為數據外包，就是數據的所有者將企業的數據庫的創建、升級、管理和維護交由相應的專業管理機構進行數據管理。其將數據進行外包的過程對企業自身的發展也有着重要的作用，減少了企業進行購買維護軟件與硬件之間的費用，並減少了維護和管理過程中的人員僱傭的問題[1]。
1.2 數據庫服務框架。針對一定的體系，構成這樣的體系具備相應的結構框架。其中涉及到三個因素，分別為數據庫服務提供者(DSP)、數據擁有者(DO)和數據的請求者(DReq)。這三個構成了相應的模型。如下圖1所示。
圖1
三者之間有着一定的聯繫和相互之間的作用。服務提供者和數據擁有者之間進行信息的傳遞過程，涉及到了企業員工的信息和相應的財務信息，所以在傳遞的過程中應該注意數據加密措施。上述模型的關係，主要是針對這三者之間的傳遞作用，包括數據的請求者和數據庫的提供服務者之間的查詢和相應的結果反饋，還有數據的擁有者和數據庫提供者之間的驗證結構傳送[2]。
2 安全與隱私保護
2.1 數據機密性。其中數據的機密性是保證數據的安全的重要保證，數據加密和數據的相關分佈是構成數據機密性的重要保證。
2.1.1 數據加密。數據的加密能夠確保信息之間的傳遞具有安全性的效果。由於數據的提供者的不可信度，在目前的數據庫的服務項目當中，主要的加密形式是對數據進行擁有者之間進行加密工作，並在請求者進行相應的數據過濾和解密處理方式進行數據處理。在數據加密的過程當中，必須確保數據的準確性，在進行加密的過程中相應的技術人員應該嚴格的進行加密工作，確保信息和數據之間的安全。在數據的傳輸過程中針對數據的訪問應該制定一定的訪問密碼，限制訪問的程度，減少訪問過程中數據的缺失。確保用户傳輸數據的安全性能。做到數據的機密工作安全進行[3]。
2.1.2 數據分佈。數據的加密是對數據進行查詢的過程中具有一定的影響，數據分佈方式則是另外的一種方式方法，其主要的原理就是針對相應的數據進行分類別處理，只有這樣的處理當時，才能確保數據的安全性能。運用子孫定理進行研究和分析，並根據數據的分佈形式進行處理。保證數據在傳輸的過程中存在安全問題，確保數據的安全性。
2.2 數據的完整性和完備性。數據的完整性和安全性是保證數據安全的重要形式。實現其數據的完整性和完備性的特點能夠從幾個方面進行分析，其中的數字簽名和概率的計算時維護數據完整性和完備性的重要體現形式。
2.2.1 數字簽名。當前大多數的數字簽名方法能夠保證數據傳輸和文件簽署的安全性，實現數據的完整性和完備性。數字簽名是通過對稱密碼和非對稱密碼的一種算法。非對稱密碼通常在非對稱的算法上得到相應的應用，數字簽名被廣泛的應用究其原因就是自身的相應優點，簽名的優點有可信性、不可偽造性和不可重用性等特點，簽名具有一定的獨立性，能夠確保簽署的安全性，不可抵賴和仿造，確保數據查詢結果的安全和準確[4]。
2.2.2 概率方法分析。概率方法的實施主要基於完整的審查方法和雙重加密的方法。其中審計方法是通過數據庫當中的偽造元素和原始數據進行研究，根據傳遞之間的偽造元素和原始數據的完備性的驗證進行分析，確保數據安全。雙重加密是對相應的數據進行處理，確保完整性。通過關聯形式進行數據的加密，為數據的安全提供雙重的保障。
3 存在問題與挑戰
隨着我國的信息化時代的推進，指定信息化的數據管理平台至關重要，這是能夠確保數據安全發展的重要服務項目，但由於缺少硬件設施，致使發展受到阻礙。在數據庫服務當中的，主要存在以下的問題和挑戰。
3.1 查詢處理。對於數據的正確查詢，實現有效的查詢方式至關重要。其中的模糊匹配和精確查找都需要不斷的發展來實現。只有在數據分佈的過程當中才能夠實現精確的查詢方式，但是針對描述性的查詢方式則比較欠缺。文獻的查詢只是僅限於相應個體查詢，連續性的查詢的文獻缺乏相應的文獻則比較少。目前的查詢方式還是具有一定的侷限性，不利於連續查詢的方式。
3.2 隱私和公共數據的管理。在多數的文獻的參考當中應該注意數據庫當中的用户的敏感信息，用户在使用數據庫的過程中不只是要查詢其自身的信息，其中的周邊信息也需要了解。特別是服務數據庫的提供者，在進行共有的信息查詢時，需要進行注意。可以在數據庫的提供過程中增加相應附加值，建立私有信息與公有信息的無縫結合，對數據進行整合，在查詢時可以針對查詢內容進行推薦信息提示，不泄露個人的私有信息[5]。
3.3 訪問限制。訪問限制的使用能確保安全性，但是數據庫服務當中的針對訪問限制的研究有限。訪問限制的實施主要集中於服務提供者進行限制作用，這使得工作和查詢的效率過低，缺乏相應的控制機制的建立，需要未來的發展。
4 結束語
歸納並總結了數據庫服務當中存在的因素，並簡要説明了數據庫在當前的服務當中存在的問題和缺點，隨着社會科技的不斷進步，數據庫服務當中的安全問題和隱私安全都會得到一定程度的發展。使得數據庫服務逐漸的完善，促進社會數據管理機制的發展。
參考文獻：
[1]李瑞軒，董新華，辜希武。移動雲服務的數據安全與隱私保護綜述[J]。通信學報，2013(12)：158-166.
[2]餘永紅，柏文陽。外包數據庫服務隱私保護方法[J]。計算機應用，2010(10)：267-269.
[3]餘永紅，柏文陽。基於敏感數據加密的分佈式安全數據庫服務研究[J]。計算機應用研究，2010(09)：350-353.
[4]宋建華，税光澤。無線傳感器網絡的數據安全與隱私保護[J]。微型機與應用，2013(03)：4-6.
[5]金山。物聯網信息安全與隱私保護研究[J]。計算機光盤軟件與應用，2013(16)：38-40.
作者簡介：馮志棟(1976-)，浙江舟山人，本科，工程師，研究方向：計算機應用。
蒙田範文網