大數(shù)據(jù)又稱為巨量資料，指的是需要新處理模式才能具有更強(qiáng)的決策力、洞察力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。現(xiàn)如今，大數(shù)據(jù)的應(yīng)用范圍越來越廣了，很多領(lǐng)域都開始使用大數(shù)據(jù)來分析情況。本文是一篇關(guān)于大數(shù)據(jù)的論文范文，屬于中級(jí)工程師職稱論文，文章論述了大數(shù)據(jù)分析與應(yīng)用問題研究，有需要發(fā)表論文的作者可以聯(lián)系網(wǎng)站在線編輯投稿。

 　　【摘 要】大數(shù)據(jù)具有規(guī)模大、種類多、生成速度快、價(jià)值巨大但密度低的特點(diǎn)。大數(shù)據(jù)應(yīng)用就是利用數(shù)據(jù)分析的方法，從大數(shù)據(jù)中挖掘有效信息，為用戶提供輔助決策，實(shí)現(xiàn)大數(shù)據(jù)價(jià)值的過程。主要介紹了大數(shù)據(jù)定義，分析方法、應(yīng)用領(lǐng)域等相關(guān)問題。

　　【關(guān)鍵詞】中級(jí)工程師職稱論文,大數(shù)據(jù),數(shù)據(jù)分析,應(yīng)用領(lǐng)域

　　1.大數(shù)據(jù)的定義

　　美國(guó)國(guó)家標(biāo)準(zhǔn)和技術(shù)研究院對(duì)大數(shù)據(jù)做出了定義：“大數(shù)據(jù)是指其數(shù)據(jù)量、采集速度，或數(shù)據(jù)表示限制了使用傳統(tǒng)關(guān)系型方法進(jìn)行有效分析的能力，或需要使用重要的水平縮放技術(shù)來實(shí)現(xiàn)高效處理的數(shù)據(jù)。”我們認(rèn)為大數(shù)據(jù)價(jià)值鏈可分為：數(shù)據(jù)生成、數(shù)據(jù)采集、數(shù)據(jù)儲(chǔ)存以及數(shù)據(jù)分析。數(shù)據(jù)分析是大數(shù)據(jù)價(jià)值鏈的最后也是最重要的階段，是大數(shù)據(jù)價(jià)值的實(shí)現(xiàn)，是大數(shù)據(jù)應(yīng)用的基礎(chǔ)，其目的在于提取有用的值，提供論斷建議或支持決策，通過對(duì)不同領(lǐng)域數(shù)據(jù)集的分析可能會(huì)產(chǎn)生不同級(jí)別的潛在價(jià)值。

　　可用于大數(shù)據(jù)分析的傳統(tǒng)數(shù)據(jù)分析方法：(1)聚類分析。聚類分析是劃分對(duì)象的統(tǒng)計(jì)學(xué)方法，指把具有某種相似特征的物體或者事物歸為一類。聚類分析的目的在于辨別在某些特性上相似(但是預(yù)先未知)的事物，并按這些特性將樣本劃分成若干類(群)，使在同一類內(nèi)的事物具有高度的同質(zhì)性，而不同類的事物則有高度的異質(zhì)性。聚類分析是一種沒有使用訓(xùn)練數(shù)據(jù)的無(wú)監(jiān)督式學(xué)習(xí)。(2)因子分析。因子分析的基本目的就是用少數(shù)幾個(gè)因子去描述許多指標(biāo)或因素之間的聯(lián)系，即將相互比較密切的幾個(gè)變量歸在同一類中，每一類變量就成為一個(gè)因子(之所以稱其為因子，是因?yàn)樗�是不可觀測(cè)的，即不是具體的變量)，以較少的幾個(gè)因子反映原數(shù)據(jù)的大部分信息。(3)相關(guān)分析。相關(guān)分析法是測(cè)定事物之間相關(guān)關(guān)系的規(guī)律性，并據(jù)以進(jìn)行預(yù)測(cè)和控制的分析方法。社會(huì)經(jīng)濟(jì)形象之間存在著大量的相互聯(lián)系、相互依賴、相互制約的數(shù)量關(guān)系。這種關(guān)系可分為兩種類型。一類是函數(shù)關(guān)系，它反映著現(xiàn)象之間嚴(yán)格的依存關(guān)系，也稱確定性的依存關(guān)系。在這種關(guān)系中，對(duì)于變量的每一個(gè)數(shù)值，都有一個(gè)或幾個(gè)確定的值與之對(duì)應(yīng)。另一類為相關(guān)關(guān)系，在這種關(guān)系中，變量之間存在著不確定、不嚴(yán)格的依存關(guān)系，對(duì)于變量的某個(gè)數(shù)值，可以有另一變量的若干數(shù)值與之相對(duì)應(yīng)，這若干個(gè)數(shù)值圍繞著它們的平均數(shù)呈現(xiàn)出有規(guī)律的波動(dòng)。(4)回歸分析。回歸分析是研究一個(gè)變量與其他若干變量之間相關(guān)關(guān)系的一種數(shù)學(xué)工具，它是在一組實(shí)驗(yàn)或觀測(cè)數(shù)據(jù)的基礎(chǔ)上，尋找被隨機(jī)性掩蓋了的變量之間的依存關(guān)系。通過回歸分析，可以把變量間的復(fù)雜的、不確定的關(guān)系變得簡(jiǎn)單化、有規(guī)律化。

　　雖然這些傳統(tǒng)的分析方法已經(jīng)被應(yīng)用于大數(shù)據(jù)領(lǐng)域，但是它們?cè)谔幚硪?guī)模較大的數(shù)據(jù)集合時(shí)，效率無(wú)法達(dá)到用戶預(yù)期，且難以處理復(fù)雜的數(shù)據(jù)，如非結(jié)構(gòu)化數(shù)據(jù)。因此，出現(xiàn)了許多專門針對(duì)大數(shù)據(jù)的集成、管理及分析的技術(shù)和方法。

　　2.大數(shù)據(jù)分析方法

　　布隆過濾器：其實(shí)質(zhì)是一個(gè)位數(shù)組和一系列HASH函數(shù)。布隆過濾器的原理是利用位數(shù)組存儲(chǔ)數(shù)據(jù)的HASH值而不是數(shù)據(jù)本身，其本質(zhì)是利用HASH函數(shù)對(duì)數(shù)據(jù)進(jìn)行有損壓縮存儲(chǔ)的位圖索引。其優(yōu)點(diǎn)是具有較高的空間效率和查詢速率，缺點(diǎn)是有一定的誤識(shí)別率和刪除困難。布隆過濾器適用于允許低誤識(shí)別率的大數(shù)據(jù)場(chǎng)合。

　　HASH法，其本質(zhì)是將數(shù)據(jù)轉(zhuǎn)化為長(zhǎng)度更短的定長(zhǎng)的數(shù)值或索引值的方法。這種方法的優(yōu)點(diǎn)是具有快速的讀寫和查詢速度，缺點(diǎn)是難以找到一個(gè)良好的HASH函數(shù)。

　　索引：無(wú)論是在管理結(jié)構(gòu)化數(shù)據(jù)的傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)，還是管理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的技術(shù)中，索引都是一個(gè)減少磁盤讀寫開銷、提高增刪改查速率的有效方法。索引的缺陷在于需要額外的開銷存儲(chǔ)索引文件，且需要根據(jù)數(shù)據(jù)的更新而動(dòng)態(tài)維護(hù)。

　　TRIE樹：又稱為字典樹，是HASH樹的變種形式，多被用于快速檢索，和詞頻統(tǒng)計(jì)。TRIE樹的思想是利用字符串的公共前綴，最大限度地減少字符串的比較，提高查詢效率。

　　并行計(jì)算：相對(duì)于傳統(tǒng)的串行計(jì)算，并行計(jì)算是指同時(shí)使用多個(gè)計(jì)算資源完成運(yùn)算。其基本思想是將問題進(jìn)行分解，由若干個(gè)獨(dú)立的處理器完成各自的任務(wù)，以達(dá)到協(xié)同處理的目的。

　　傳統(tǒng)數(shù)據(jù)分析方法，大多數(shù)都是通過對(duì)原始數(shù)據(jù)集進(jìn)行抽樣或者過濾，然后對(duì)數(shù)據(jù)樣本進(jìn)行分析，尋找特征和規(guī)律，其最大的特點(diǎn)是通過復(fù)雜的算法從有限的樣本空間中獲取盡可能多的信息。隨著計(jì)算能力和存儲(chǔ)能力的提升，大數(shù)據(jù)分析方法與傳統(tǒng)分析方法的最大區(qū)別在于分析的對(duì)象是全體數(shù)據(jù)，而不是數(shù)據(jù)樣本，其最大的特點(diǎn)在于不追求算法的復(fù)雜性和精確性，而追求可以高效地對(duì)整個(gè)數(shù)據(jù)集的分析。總之，傳統(tǒng)數(shù)據(jù)方法力求通過復(fù)雜算法從有限的數(shù)據(jù)集中獲取信息，其更加追求準(zhǔn)確性;大數(shù)據(jù)分析方法則是通過高效的算法、模式，對(duì)全體數(shù)據(jù)進(jìn)行分析。

　　3.大數(shù)據(jù)應(yīng)用領(lǐng)域

　　目前根據(jù)數(shù)據(jù)的生成方式和結(jié)構(gòu)特點(diǎn)不同，可以將數(shù)據(jù)分析劃分為6個(gè)關(guān)鍵技術(shù)領(lǐng)域：(1)結(jié)構(gòu)化數(shù)據(jù)。一直是傳統(tǒng)數(shù)據(jù)分析的重要研究對(duì)象，目前主流的結(jié)構(gòu)化數(shù)據(jù)管理工具，如關(guān)系型數(shù)據(jù)庫(kù)等，都提供了數(shù)據(jù)分析功能。(2)文本。是常用的存儲(chǔ)文字、傳遞信息的方式，也是最常見的非結(jié)構(gòu)化數(shù)據(jù)。一直演化到21世紀(jì)初新興的在線社交網(wǎng)絡(luò)分析。(3)WEB數(shù)據(jù)。WEB技術(shù)的發(fā)展，極大地豐富了獲取和交換數(shù)據(jù)的方式，WEB數(shù)據(jù)高速的增長(zhǎng)，使其成為大數(shù)據(jù)的主要來源。(4)多媒體數(shù)據(jù)。隨著通訊技術(shù)的發(fā)展，圖片、音頻、視頻等體積較大的數(shù)據(jù)，也可以被快速地傳播，由于缺少文字信息，其分析方法與其他數(shù)據(jù)相比，具有顯著的特點(diǎn)。(5)社交網(wǎng)絡(luò)數(shù)據(jù)。從一定程度上反映了人類社會(huì)活動(dòng)的特征，具有重要的價(jià)值。(6)移動(dòng)數(shù)據(jù)。與傳統(tǒng)的互聯(lián)網(wǎng)數(shù)據(jù)不同，具有明顯的地理位置信息、用戶個(gè)體特征等其他信息。

　　大數(shù)據(jù)未來的應(yīng)用領(lǐng)域和方向還包括以下幾個(gè)方面：(1)大數(shù)據(jù)可視化。在許多人機(jī)交互場(chǎng)景中，都遵循所見即所得的原則，例如文本和圖像編輯器等。在大數(shù)據(jù)應(yīng)用中，混雜的數(shù)據(jù)本身是難以輔助決策的，只有將分析后的結(jié)果以友好的形式展現(xiàn)，才會(huì)被用戶接受并加以利用。報(bào)表、直方圖、餅狀圖、回歸曲線等經(jīng)常被用于表現(xiàn)數(shù)據(jù)分析的結(jié)果，以后肯定會(huì)出現(xiàn)更多的新穎的表現(xiàn)形式，例如微軟的“人立方”社交搜索引擎使用關(guān)系圖來表現(xiàn)人際關(guān)系。(2)面向數(shù)據(jù)。程序是數(shù)據(jù)結(jié)構(gòu)和算法，而數(shù)據(jù)結(jié)構(gòu)就是存儲(chǔ)數(shù)據(jù)的。在程序設(shè)計(jì)的發(fā)展歷程中，也可以看出數(shù)據(jù)的地位越來越重要。在邏輯比數(shù)據(jù)復(fù)雜的小規(guī)模數(shù)據(jù)時(shí)代，程序設(shè)計(jì)以面向過程為主;隨著業(yè)務(wù)數(shù)據(jù)的復(fù)雜化，催生了面向?qū)ο蟮脑O(shè)計(jì)方法。如今，業(yè)務(wù)數(shù)據(jù)的復(fù)雜度已經(jīng)遠(yuǎn)遠(yuǎn)超過業(yè)務(wù)邏輯，程序也逐漸從算法密集型轉(zhuǎn)向數(shù)據(jù)密集型。可以預(yù)見，一定會(huì)出現(xiàn)面向數(shù)據(jù)的程序設(shè)計(jì)方法，如同面向?qū)ο笠粯樱�在軟件工程、體系結(jié)構(gòu)、模式設(shè)計(jì)等方面對(duì)IT技術(shù)的發(fā)展產(chǎn)生深遠(yuǎn)的影響。

　　4.結(jié)束語(yǔ)

　　大數(shù)據(jù)引發(fā)思維變革。在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的收集、獲取和分析都更加快捷，這些海量的數(shù)據(jù)將對(duì)我們的思考方式產(chǎn)生深遠(yuǎn)的影響。分析數(shù)據(jù)時(shí)要盡可能地利用所有數(shù)據(jù)，而不只是分析少量的樣本數(shù)據(jù)。相比于精確的數(shù)據(jù)，我們更樂于接受紛繁復(fù)雜的數(shù)據(jù)。我們應(yīng)該更為關(guān)注事物之間的相關(guān)關(guān)系，而不是探索因果關(guān)系。大數(shù)據(jù)的簡(jiǎn)單算法比小數(shù)據(jù)的復(fù)雜算法更為有效。大數(shù)據(jù)的分析結(jié)果將減少?zèng)Q策中的草率和主觀因素，數(shù)據(jù)科學(xué)家將取代“專家”。 [科]

　　【參考文獻(xiàn)】

　　[1]鄔賀銓.大數(shù)據(jù)時(shí)代的機(jī)遇與挑戰(zhàn)[J].求是，2013(04).

　　[2]黃曉斌，鐘輝新.基于大數(shù)據(jù)的企業(yè)競(jìng)爭(zhēng)情報(bào)系統(tǒng)模型構(gòu)建[J].情報(bào)雜志，2013(03)

　　中級(jí)工程師職稱論文發(fā)表期刊推薦《計(jì)算機(jī)研究與發(fā)展》是中國(guó)科學(xué)院計(jì)算技術(shù)研究所和中國(guó)計(jì)算機(jī)學(xué)會(huì)聯(lián)合主辦的學(xué)術(shù)性期刊，科學(xué)出版社出版，國(guó)內(nèi)外公開發(fā)行。她誕生于我國(guó)計(jì)算機(jī)事業(yè)的初創(chuàng)時(shí)期(1958年)，是我國(guó)第一個(gè)計(jì)算機(jī)刊物，它是隨著中國(guó)計(jì)算機(jī)事業(yè)的發(fā)展而成長(zhǎng)起來的。