公海赌赌船官网jc710北京

本文針對研究人員(非技術人員)的實際情況，介紹當前大數據研究涉及的一些主要工具軟件，並進一步闡述其應用特點和適合的場景，以便於(yu) 研究人員能有的放矢的學習(xi) 和使用。

如今，大數據日益成為(wei) 研究行業(ye) 的重要研究目標。麵對其高數據量、多維度與(yu) 異構化的特點，以及分析方法思路的擴展，傳(chuan) 統統計工具已經難以應對。

工欲善其事，必先利其器。眾(zhong) 多新的軟件分析工具作為(wei) 深入大數據洞察研究的重要助力， 也成為(wei) 數據科學家所必須掌握的知識技能。

然而，現實情況的複雜性決(jue) 定了並不存在解決(jue) 一切問題的終極工具。實際研究過程中，需要根據實際情況靈活選擇最合適的工具(甚至多種工具組合使用)，才能更好的完成研究探索。

為(wei) 此，本文針對研究人員(非技術人員)的實際情況，介紹當前大數據研究涉及的一些主要工具軟件(因為(wei) 相關(guan) 軟件眾(zhong) 多，隻介紹常用的)，並進一步闡述其應用特點和適合的場景，以便於(yu) 研究人員能有的放矢的學習(xi) 和使用。

基礎篇

01 傳(chuan) 統分析/商業(ye) 統計

Excel、SPSS、SAS 這三者對於(yu) 研究人員而言並不陌生。

Excel作為(wei) 電子表格軟件，適合簡單統計(分組/求和等)需求，由於(yu) 其方便好用，功能也能滿足很多場景需要，所以實際成為(wei) 研究人員最常用的軟件工具。其缺點在於(yu) 功能單一，且可處理數據規模小(這一點讓很多研究人員尤為(wei) 頭疼)。這兩(liang) 年Excel在大數據方麵(如地理可視化和網絡關(guan) 係分析)上也作出了一些增強，但應用能力有限。

SPSS(SPSS Statistics)和SAS作為(wei) 商業(ye) 統計軟件，提供研究常用的經典統計分析(如回歸、方差、因子、多變量分析等)處理。SPSS輕量、易於(yu) 使用，但功能相對較少，適合常規基本統計分析

SAS功能豐(feng) 富而強大(包括繪圖能力)，且支持編程擴展其分析能力，適合複雜與(yu) 高要求的統計性分析。

上述三個(ge) 軟件在麵對大數據環境出現了各種不適，具體(ti) 不再贅述。但這並不代表其沒有使用價(jia) 值。如果使用傳(chuan) 統研究方法論分析大數據時，海量原始數據資源經過前期處理(如降維和統計匯總等)得到的中間研究結果，就很適合使用它們(men) 進行進一步研究。

02 數據挖掘

數據挖掘作為(wei) 大數據應用的重要領域，在傳(chuan) 統統計分析基礎上，更強調提供機器學習(xi) 的方法，關(guan) 注高維空間下複雜數據關(guan) 聯關(guan) 係和推演能力。代表是SPSS Modeler(注意不是SPSS Statistics，其前身為(wei) Clementine)

SPSS Modeler的統計功能相對有限, 主要是提供麵向商業(ye) 挖掘的機器學習(xi) 算法(決(jue) 策樹、神經元網絡、分類、聚類和預測等)的實現。同時，其數據預處理和結果輔助分析方麵也相當方便，這一點尤其適合商業(ye) 環境下的快速挖掘。不過就處理能力而言，實際感覺難以應對億(yi) 級以上的數據規模。

另一個(ge) 商業(ye) 軟件 Matlab也能提供大量數據挖掘的算法，但其特性更關(guan) 注科學與(yu) 工程計算領域。而著名的開源數據挖掘軟件Weka，功能較少，且數據預處理和結果分析也比較麻煩，更適合學術界或有數據預處理能力的使用者。

中級篇

01 通用大數據可視化分析

近兩(liang) 年來出現了許多麵向大數據、具備可視化能力的分析工具，在商業(ye) 研究領域，TableAU無疑是卓越代表。

TableAU的優(you) 勢主要在於(yu) 支持多種大數據源/格式，眾(zhong) 多的可視化圖表類型，加上拖拽式的使用方式，上手快，非常適合研究員使用，能夠涵蓋大部分分析研究的場景。不過要注意，其並不能提供經典統計和機器學習(xi) 算法支持， 因此其可以替代Excel, 但不能代替統計和數據挖掘軟件。另外，就實際處理速度而言，感覺麵對較大數據(實例超過3000萬(wan) 記錄)時，並沒有官方介紹的那麽(me) 迅速。

02 關(guan) 係分析

關(guan) 係分析是大數據環境下的一個(ge) 新的分析熱點(比如信息傳(chuan) 播圖、社交關(guan) 係網等)，其本質計算的是點之間的關(guan) 聯關(guan) 係。相關(guan) 工具中，適合數據研究人員的是一些可視化的輕量桌麵型工具，最常用的是Gephi。

Gephi是免費軟件，擅長解決(jue) 圖網絡分析的很多需求，其插件眾(zhong) 多，功能強且易用。我們(men) 經常看到的各種社交關(guan) 係/傳(chuan) 播譜圖, 很多都是基於(yu) 其力導向圖(Force directed graph)功能生成。

但由於(yu) 其由java編寫(xie) ，限製了處理性能(感覺處理超過10萬(wan) 節點/邊時常陷入假死)，如分析百萬(wan) 級節點(如微博熱點傳(chuan) 播路徑)關(guan) 係時，需先做平滑和剪枝處理。 而要處理更大規模(如億(yi) 級以上)的關(guan) 係網絡(如社交網絡關(guan) 係)數據，則需要專(zhuan) 門的圖關(guan) 係數據庫(如GraphLab/GraphX)來支撐了，其技術要求較高，此處不再介紹。

03 時空數據分析

當前很多軟件(包括TableAU)都提供了時空數據的可視化分析功能。但就使用感受來看，其大都隻適合較小規模(萬(wan) 級)的可視化展示分析，很少支持不同粒度的快速聚合探索。

如果要分析千萬(wan) 級以上的時空數據，比如新浪微博上億(yi) 用戶發文的時間與(yu) 地理分布(從(cong) 省到街道多級粒度的探索)時，推薦使用 NanoCubes(https://www.nanocubes.net/)。該開源軟件可在日常的辦公電腦上提供對億(yi) 級時空數據的快速展示和多級實時鑽取探索分析。下圖是對芝加哥犯罪時間地點的分析，網站有更多的實時分析的演示例子。

04 文本/非結構化分析

基於(yu) 自然語言處理(NLP)的文本分析，在非結構化內(nei) 容(如互聯網/社交媒體(ti) /電商評論)大數據的分析方麵(甚至調研開放題結果分析)有重要用途。其應用處理涉及分詞、特征抽取、情感分析、多主題模型等眾(zhong) 多內(nei) 容。

由於(yu) 實現難度與(yu) 領域差異，當前市麵上隻有一些開源函數包或者雲(yun) API(如BosonNLP)提供一些基礎處理功能，尚未看到適合商業(ye) 研究分析中文文本的集成化工具軟件(如果有誰知道煩請通知我)。在這種情況下，各商業(ye) 公司(如HCR)主要依靠內(nei) 部技術實力自主研發適合業(ye) 務所需的分析功能。

高級篇

前麵介紹的各種大數據分析工具，可應對的數據都在億(yi) 級以下，也以結構化數據為(wei) 主。當實際麵臨(lin) 以下要求： 億(yi) 級以上/半實時性處理/非標準化複雜需求，通常就需要借助編程(甚至借助於(yu) Hadoop/Spark等分布式計算框架)來完成相關(guan) 的分析。 如果能掌握相關(guan) 的編程語言能力，那研究員的分析能力將如虎添翼。

當前適合大數據處理的編程語言，包括：前麵的內(nei) 容介紹了麵向大數據研究的不同工具軟件/語言的特點和適用場景。 這些工具能夠極大增強研究員在大數據環境下的分析能力，但更重要的是研究員要發揮自身對業(ye) 務的深入理解，從(cong) 數據結果中洞察發現有深度的結果，這才是最有價(jia) 值的。