對于“大數據”（Big data）研究機構Gartner給出了這樣的定義。“大數據”是需要新處理模式才能具有更強的決策力、洞察發(fā)現力和流程優(yōu)化能力的海量、高增長(cháng)率和多樣化的信息資產(chǎn)。

大數據技術(shù)的戰略意義不在于掌握龐大的數據信息，而在于對這些含有意義的數據進(jìn)行專(zhuān)業(yè)化處理。換言之，如果把大數據比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實(shí)現盈利的關(guān)鍵，在于提高對數據的“加工能力”，通過(guò)“加工”實(shí)現數據的“增值”。

從技術(shù)上看，大數據與云計算的關(guān)系就像一枚硬幣的正反面一樣密不可分。大數據必然無(wú)法用單臺的計算機進(jìn)行處理，必須采用分布式架構。它的特色在于對海量數據進(jìn)行分布式數據挖掘，但它必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術(shù)。

隨著(zhù)云時(shí)代的來(lái)臨，大數據（Big data）也吸引了越來(lái)越多的關(guān)注?！吨?zhù)云臺》的分析師團隊認為，大數據（Big data）通常用來(lái)形容一個(gè)公司創(chuàng )造的大量非結構化數據和半結構化數據，這些數據在下載到關(guān)系型數據庫用于分析時(shí)會(huì )花費過(guò)多時(shí)間和金錢(qián)。大數據分析常和云計算聯(lián)系到一起，因為實(shí)時(shí)的大型數據集分析需要像MapReduce一樣的框架來(lái)向數十、數百或甚至數千的電腦分配工作。

大數據需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過(guò)時(shí)間內的數據。適用于大數據的技術(shù)，包括大規模并行處理（MPP）數據庫、數據挖掘電網(wǎng)、分布式文件系統、分布式數據庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統。

HadoopMapReduce

思維模式轉變的催化劑是大量新技術(shù)的誕生，它們能夠處理大數據分析所帶來(lái)的3個(gè)V的挑戰。扎根于開(kāi)源社區，Hadoop已經(jīng)是目前大數據平臺中應用率最高的技術(shù)，特別是針對諸如文本、社交媒體訂閱以及視頻等非結構化數據。除分布式文件系統之外，伴隨Hadoop一同出現的還有進(jìn)行大數據集處理MapReduce架構。根據權威報告顯示，許多企業(yè)都開(kāi)始使用或者評估Hadoop技術(shù)來(lái)作為其大數據平臺的標準。

NoSQL數據庫

我們生活的時(shí)代，相對穩定的數據庫市場(chǎng)中還在出現一些新的技術(shù)，而且在未來(lái)幾年，它們會(huì )發(fā)揮作用。事實(shí)上，NoSQL數據庫在一個(gè)廣義上派系基礎上，其本身就包含了幾種技術(shù)?？傮w而言，他們關(guān)注關(guān)系型數據庫引擎的限制，如索引、流媒體和高訪(fǎng)問(wèn)量的網(wǎng)站 服務(wù)。在這些領(lǐng)域，相較關(guān)系型數據庫引擎，NoSQL的效率明顯更高。

內存分析

在Gartner公司評選的2012年十大戰略技術(shù)中，內存分析在個(gè)人消費電子設備以及其他嵌入式設備中的應用將會(huì )得到快速的發(fā)展。隨著(zhù)越來(lái)越多的價(jià)格低廉的內存用到數據中心中，如何利用這一優(yōu)勢對軟件進(jìn)行最大限度的優(yōu)化成為關(guān)鍵的問(wèn)題。內存分析以其實(shí)時(shí)、高性能的特性，成為大數據分析時(shí)代下的“新寵兒”。如何讓大數據轉化為最佳的洞察力，也許內存分析就是答案。大數據背景下，用戶(hù)以及IT提供商應該將其視為長(cháng)遠發(fā)展的技術(shù)趨勢。

集成設備

隨著(zhù)數據倉庫設備(Data Warehouse Appliance)的出現，商業(yè)智能以及大數據分析的潛能也被激發(fā)出來(lái)，許多企業(yè)將利用數據倉庫新技術(shù)的優(yōu)勢提升自身競爭力。集成設備將企業(yè)的數據倉庫硬件軟件整合在一起，提升查詢(xún)性能、擴充存儲空間并獲得更多的分析功能，并能夠提供同傳統數據倉庫系統一樣的優(yōu)勢。在大數據時(shí)代，集成設備將成為企業(yè)應對數據挑戰的一個(gè)重要利器。

大數據就是互聯(lián)網(wǎng)發(fā)展到現今階段的一種表象或特征而已，沒(méi)有必要神話(huà)它或對它保持敬畏之心，在以云計算為代表的技術(shù)創(chuàng )新大幕的襯托下，這些原本很難收集和使用的數據開(kāi)始容易被利用起來(lái)了，通過(guò)各行各業(yè)的不斷創(chuàng )新，大數據會(huì )逐步為人類(lèi)創(chuàng )造更多的價(jià)值。

其次，想要系統的認知大數據，必須要全面而細致的分解它，我著(zhù)手從三個(gè)層面來(lái)展開(kāi)：

第一層面是理論，理論是認知的必經(jīng)途徑，也是被廣泛認同和傳播的基線(xiàn)。在這里從大數據的特征定義理解行業(yè)對大數據的整體描繪和定性；從對大數據價(jià)值的探討來(lái)深入解析大數據的珍貴所在；洞悉大數據的發(fā)展趨勢；從大數據隱私這個(gè)特別而重要的視角審視人和數據之間的長(cháng)久博弈。

第二層面是技術(shù)，技術(shù)是大數據價(jià)值體現的手段和前進(jìn)的基石。在這里分別從云計算、分布式處理技術(shù)、存儲技術(shù)和感知技術(shù)的發(fā)展來(lái)說(shuō)明大數據從采集、處理、存儲到形成結果的整個(gè)過(guò)程。

第三層面是實(shí)踐，實(shí)踐是大數據的最終價(jià)值體現。在這里分別從互聯(lián)網(wǎng)的大數據，政府的大數據，企業(yè)的大數據和個(gè)人的大數據四個(gè)方面來(lái)描繪大數據已經(jīng)展現的美好景象及即將實(shí)現的藍圖。

大數據分析相比于傳統的數據倉庫應用，具有數據量大、查詢(xún)分析復雜等特點(diǎn)?！队嬎銠C學(xué)報》刊登的“架構大數據：挑戰、現狀與展望”一文列舉了大數據分析平臺需要具備的幾個(gè)重要特性，對當前的主流實(shí)現平臺——并行數據庫、MapReduce及基于兩者的混合架構進(jìn)行了分析歸納，指出了各自的優(yōu)勢及不足，同時(shí)也對各個(gè)方向的研究現狀及作者在大數據分析方面的努力進(jìn)行了介紹，對未來(lái)研究做了展望。

大數據的4個(gè)“V”，或者說(shuō)特點(diǎn)有四個(gè)層面：第一，數據體量巨大。從TB級別，躍升到PB級別；第二，數據類(lèi)型繁多。前文提到的網(wǎng)絡(luò )日志、視頻、圖片、地理位置信息等等。第三，處理速度快，1秒定律，可從各種類(lèi)型的數據中快速獲得高價(jià)值的信息，這一點(diǎn)也是和傳統的數據挖掘技術(shù)有著(zhù)本質(zhì)的不同。第四，只要合理利用數據并對其進(jìn)行正確、準確的分析，將會(huì )帶來(lái)很高的價(jià)值回報。業(yè)界將其歸納為4個(gè)“V”——Volume（數據體量大）、Variety（數據類(lèi)型繁多）、Velocity（處理速度快）、Value（價(jià)值密度低）。

從某種程度上說(shuō)，大數據是數據分析的前沿技術(shù)。簡(jiǎn)言之，從各種各樣類(lèi)型的數據中，快速獲得有價(jià)值信息的能力，就是大數據技術(shù)。明白這一點(diǎn)至關(guān)重要，也正是這一點(diǎn)促使該技術(shù)具備走向眾多企業(yè)的潛力。

大數據最核心的價(jià)值就是在于對于海量數據進(jìn)行存儲和分析。相比起現有的其他技術(shù)而言，大數據的“廉價(jià)、迅速、優(yōu)化”這三方面的綜合成本是最優(yōu)的。

1.變革價(jià)值的力量

未來(lái)十年，決定中國是不是有大智慧的核心意義標準（那個(gè)”思想者”），就是國民幸福。一體現到民生上，通過(guò)大數據讓事情變得澄明，看我們在人與人關(guān)系上，做得是否比以前更有意義；二體現在生態(tài)上，看我們在天與人關(guān)系上，做得是否比以前更有意義?？傊?，讓我們從前10年的意義混沌時(shí)代，進(jìn)入未來(lái)10年意義澄明時(shí)代。

2.變革經(jīng)濟的力量

生產(chǎn)者是有價(jià)值的，消費者是價(jià)值的意義所在。有意義的才有價(jià)值，消費者不認同的，就賣(mài)不出去，就實(shí)現不了價(jià)值；只有消費者認同的，才賣(mài)得出去，才實(shí)現得了價(jià)值。大數據幫助我們從消費者這個(gè)源頭識別意義，從而幫助生產(chǎn)者實(shí)現價(jià)值。這就是啟動(dòng)內需的原理。

3.變革組織的力量

隨著(zhù)具有語(yǔ)義網(wǎng)特征的數據基礎設施和數據資源發(fā)展起來(lái)，組織的變革就越來(lái)越顯得不可避免。大數據將推動(dòng)網(wǎng)絡(luò )結構產(chǎn)生無(wú)組織的組織力量。最先反映這種結構特點(diǎn)的，是各種各樣去中心化的WEB2.0應用，如RSS、維基、博客等。 大數據之所以成為時(shí)代變革力量，在于它通過(guò)追隨意義而獲得智慧。

大數據可分成大數據技術(shù)、大數據工程、大數據科學(xué)和大數據應用等領(lǐng)域。目前人們談?wù)撟疃嗟氖谴髷祿夹g(shù)和大數據應用。工程和科學(xué)問(wèn)題尚未被重視。大數據工程指大數據的規劃建設運營(yíng)管理的系統工程；大數據科學(xué)關(guān)注大數據網(wǎng)絡(luò )發(fā)展和運營(yíng)過(guò)程中發(fā)現和驗證大數據的規律及其與自然和社會(huì )活動(dòng)之間的關(guān)系。

物聯(lián)網(wǎng)、云計算、移動(dòng)互聯(lián)網(wǎng)、車(chē)聯(lián)網(wǎng)、手機、平板電腦、PC以及遍布地球各個(gè)角落的各種各樣的傳感器，無(wú)一不是數據來(lái)源或者承載的方式。
 有些例子包括網(wǎng)絡(luò )日志，RFID，傳感器網(wǎng)絡(luò )，社會(huì )網(wǎng)絡(luò )，社會(huì )數據（由于數據革命的社會(huì )），互聯(lián)網(wǎng)文本和文件;互聯(lián)網(wǎng)搜索索引;呼叫詳細記錄，天文學(xué)，大氣科學(xué)，基因組學(xué)，生物地球化學(xué)，生物，和其他復雜和/或跨學(xué)科的科研，軍事偵察，醫療記錄;攝影檔案館視頻檔案;和大規模的電子商務(wù)。

雖然大數據的擁護者看到了使用大數據的巨大潛力，但也有隱私倡導者擔心，因為越來(lái)越多的人開(kāi)始收集相關(guān)數據，無(wú)論是他們是否會(huì )故意透露這些數據或通過(guò)社交媒體張貼，甚至他們在不知不覺(jué)中通過(guò)分享自己的生活而公布了一些具體的數字細節。

分析這些巨大的數據集會(huì )使我們的預測能力產(chǎn)生虛假的信心，將導致作出許多重大和有害的錯誤決定。此外，數據被強大的人或機構濫用，自私的操縱議程達到他們想要的結果。