大數(shù)據(jù)的產(chǎn)生與發(fā)展現(xiàn)狀研究

　　摘 要：大數(shù)據(jù)的產(chǎn)生給未來信息技術(shù)帶來新的機遇與挑戰(zhàn)。大數(shù)據(jù)對數(shù)據(jù)處理的有效性、實時性提出了更高要求，需要根據(jù)大數(shù)據(jù)的特點對當(dāng)前數(shù)據(jù)處理技術(shù)實施變革，從而形成更有益于大數(shù)據(jù)采集、存儲、處理、管理、分析、共享的新興技術(shù)。本文從大數(shù)據(jù)的產(chǎn)生與發(fā)展、特征、主要應(yīng)用以及大數(shù)據(jù)所帶來的挑戰(zhàn)等方面進行闡述與分析。

　　關(guān)鍵詞：大數(shù)據(jù) 物聯(lián)網(wǎng) 信息處理 海量計算

　　一、大數(shù)據(jù)的產(chǎn)生與發(fā)展現(xiàn)狀

　　隨著物聯(lián)網(wǎng)、云計算等信息技術(shù)的飛速發(fā)展，大數(shù)據(jù)技術(shù)(Big Data)也越發(fā)進入人們的視線。大數(shù)據(jù)是用傳統(tǒng)方法或工具很難處理或分析的數(shù)據(jù)信息。目前，人們對大數(shù)據(jù)的理解還不夠全面和深入，關(guān)于大數(shù)據(jù)的含義也沒有一個統(tǒng)一的定義。亞馬遜大數(shù)據(jù)科學(xué)家John Rauser認為：大數(shù)據(jù)是超過任何一臺計算機處理能力的龐大數(shù)據(jù)量。Informatica 的中國區(qū)首席顧問但彬指出：大數(shù)據(jù)是海量數(shù)據(jù)與復(fù)雜類型的數(shù)據(jù)的結(jié)合。而維基百科則把大數(shù)據(jù)定義成諸多大而復(fù)雜的、難以用當(dāng)前數(shù)據(jù)庫處理的數(shù)據(jù)集合。

　　大數(shù)據(jù)研究受到國內(nèi)外學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注，已成為當(dāng)今信息時代全世界討論的熱點。2008年，Nature雜志就推出大數(shù)據(jù)�？�，計算社區(qū)聯(lián)盟也在同一年發(fā)表了報告《Big data computing; Creating revolutionary breakthroughs in commerce， science and society》，報告闡述了解決大數(shù)據(jù)問題所需的關(guān)鍵技術(shù)以及所面臨的挑戰(zhàn)。美國奧巴馬政府于2012年3月在白宮網(wǎng)站發(fā)布了《大數(shù)據(jù)研究和發(fā)展倡議》，提出了通過收集、處理海量、復(fù)雜的數(shù)據(jù)信息，從而提升能力，加快科學(xué)和工程領(lǐng)域的創(chuàng)新步伐，轉(zhuǎn)變學(xué)習(xí)教育模式，強化美國本土的安全”。2011年1月，微軟公司同惠普公司合作開發(fā)了一系列能夠提升生產(chǎn)力，同時提高決策速度的設(shè)備。此外，歐盟委員會也提出駕駁大數(shù)據(jù)浪潮的戰(zhàn)略思路，日本發(fā)布的《面向 2020 的 ICT綜合戰(zhàn)略》也提出需要構(gòu)造大量豐富的數(shù)據(jù)基礎(chǔ)。

　　近年來，我國也積極開展對大數(shù)據(jù)的研究。2011年10月，工信部確認京滬深杭等 5 城市為“云計算中心”試點城市。2012年6月，中國計算機學(xué)會青年計算機科技論壇也舉辦了“大數(shù)據(jù)時代，智謀未來”學(xué)術(shù)報告研討會。大數(shù)據(jù)及其科學(xué)研究方法涉及應(yīng)用領(lǐng)域很廣，并將與國計民生密切相關(guān)的科學(xué)決策、金融工程以及知識經(jīng)濟領(lǐng)域緊緊接合。

　　二、大數(shù)據(jù)的特點

　　目前，企業(yè)界和學(xué)術(shù)界都一致認為，大數(shù)據(jù)具有4個“V”特征，即：容量(Volume)、種類(Variety)、速度(Velocity)和至關(guān)重要的價值(Value)。

　　(1) 容量(Volume)巨大。海量的數(shù)據(jù)集從TB 級別提升到PB 級別。

　　(2) 種類(Variety)繁多。大數(shù)據(jù)數(shù)據(jù)源有多種，數(shù)據(jù)格式和種類不同于以前所規(guī)定的結(jié)構(gòu)化數(shù)據(jù)范疇。

　　(3)價值(Value)密度低。如視頻的例子，在不間斷連續(xù)監(jiān)控的過程中，可能有意義的數(shù)據(jù)僅有一兩秒。

　　(4)速度(Velocity)快。包含大量實時、在線數(shù)據(jù)處理分析的需求1秒鐘定律。

　　三、大數(shù)據(jù)應(yīng)用的領(lǐng)域

　　大數(shù)據(jù)產(chǎn)業(yè)的發(fā)展將推動全球經(jīng)濟由粗放型向集約型轉(zhuǎn)變，這將對提升企

　　業(yè)整體競爭力和政府監(jiān)管能力具有意義深遠的影響。

　　商業(yè)作為大數(shù)據(jù)的重要應(yīng)用領(lǐng)域。沃爾瑪公司通過對消費者購物行為等一

　　系列非結(jié)構(gòu)化數(shù)據(jù)的分析，了解不同顧客的購物習(xí)慣，公司從所銷售的數(shù)據(jù)進行分析，從而選出適合在一起搭配出售的商品;淘寶也針對買家開設(shè)了大數(shù)據(jù)平臺，為客戶量身打造了一整套完善的網(wǎng)購體驗產(chǎn)品。

　　大數(shù)據(jù)在金融業(yè)也起到了至關(guān)重要的作用。美國Equifax公司利用大數(shù)據(jù)技術(shù)，通過對其的數(shù)據(jù)庫中與財務(wù)有關(guān)的記錄海量信息進行索引處理和交叉分享，從而得到客戶的個人信用等級，以推斷出客戶的支付需求與能力。

　　隨著大數(shù)據(jù)在醫(yī)療與生命科學(xué)研究過程中的廣泛應(yīng)用和不斷擴展。2010年，中國公布的《十二五規(guī)劃》指出：要重點建設(shè)國家級、省級和地市級三級醫(yī)療衛(wèi)生信息平臺，建設(shè)電子病歷和電子檔案兩個最為基礎(chǔ)的數(shù)據(jù)庫。各級醫(yī)院也將在醫(yī)療信息倉庫、數(shù)據(jù)中心等領(lǐng)域加大投入，醫(yī)療數(shù)據(jù)信息的存儲將愈加被關(guān)注，醫(yī)療信息中心的關(guān)注焦點也將由傳統(tǒng)的計算領(lǐng)域轉(zhuǎn)為存儲領(lǐng)域。

　　除此之外，大數(shù)據(jù)在制造業(yè)領(lǐng)域也有著廣闊的應(yīng)用。制造業(yè)企業(yè)積累了廣泛的數(shù)據(jù)信息，在開展對業(yè)務(wù)數(shù)據(jù)進行技術(shù)管理的同時，企業(yè)需要通過大數(shù)據(jù)處理技術(shù)來幫助決策者從數(shù)據(jù)庫儲存的海量信息中找到有價值的信息，并且對其進行分析處理，從而增強決策的正確性、規(guī)避風(fēng)險。

　　四、大數(shù)據(jù)所面臨的挑戰(zhàn)

　　大數(shù)據(jù)技術(shù)使人們能夠更好地利用之前不能使用的各個數(shù)據(jù)類型，找出被忽略的信息，促進企業(yè)組織更加高效、智能。但隨著對大數(shù)據(jù)研究的不斷深入，人們也更加意識到當(dāng)大數(shù)據(jù)技術(shù)向人們敞開“方便之門”的同時，也帶來了眾多的挑戰(zhàn)：

　　(1)大數(shù)據(jù)需要更為專業(yè)化的管理技術(shù)人才。

　　(2) 大數(shù)據(jù)的合理利用需要解決容量大、類別多和時效性高的數(shù)據(jù)處理問題。

　　(3)大數(shù)據(jù)的利用對信息安全提出了更高要求。

　　(4)大數(shù)據(jù)的集成與管理問題。

　　這些挑戰(zhàn)已成為關(guān)系到未來大數(shù)據(jù)發(fā)展的重要因素，同時也成為未來引領(lǐng)大數(shù)據(jù)發(fā)展的推動力。

　　五、結(jié)束語

　　大數(shù)據(jù)已經(jīng)逐步滲透到人們工作生活的諸多領(lǐng)域中，對于大數(shù)據(jù)的研究也在不斷的深化。本文針對大數(shù)據(jù)的產(chǎn)生與發(fā)展、特征、主要應(yīng)用以及大數(shù)據(jù)所帶來的挑戰(zhàn)等方面進行闡述與分析。大數(shù)據(jù)的發(fā)展還處于初級階段，還有更為廣闊的空間需要人們不斷開拓，如何合理地利用大數(shù)據(jù)、更加高效地處理大數(shù)據(jù)來為人們服務(wù)仍需要廣大研究者不斷地研究和探索。

　　參考文獻：

　　[1]劉智慧，張泉靈.大數(shù)據(jù)技術(shù)研究綜述[J].浙江大學(xué)學(xué)報，2014，46(6)：957- 972.

　　[2]嚴(yán)霄鳳，張德馨.大數(shù)據(jù)研究[J].計算機技術(shù)與發(fā)展，2013，23(4)：168-172.

　　[3]劉俊.基于大數(shù)據(jù)流的Multi-Agent系統(tǒng)模型研究[J].計算機技術(shù)與發(fā)展， 2007，17(5)：166-169.