如今，為了滿足企業(yè)的主要需求，大數(shù)據(jù)工具正在迅速得到應用。

在大數(shù)據(jù)技術(shù)作為概念和業(yè)務戰(zhàn)略出現(xiàn)的十年中，涌現(xiàn)了執(zhí)行各種任務和流程的數(shù)千種工具。

而推出這些工具的提供商都承諾可以為企業(yè)節(jié)省時間和成本，并發(fā)現(xiàn)能夠讓企業(yè)獲利的商業(yè)洞察力。

顯然，大數(shù)據(jù)分析工具的市場正在不斷增長。　　

許多大數(shù)據(jù)分析工具最初像大數(shù)據(jù)軟件框架Hadoop一樣都是開源項目，但商業(yè)實體迅速涌現(xiàn)，為開源產(chǎn)品提供了新工具或商業(yè)的支持和開發(fā)。　　

而在這些工具中選擇是一個挑戰(zhàn)，特別是許多大數(shù)據(jù)工具只具有單一用途，而企業(yè)需要使用大數(shù)據(jù)完成許多不同的任務，因此企業(yè)的分析工具箱會變得過于充實。

根據(jù)這個行業(yè)領(lǐng)域的專家顧問的建議，以下列出一系列主要的大數(shù)據(jù)分析工具，并列出三個主要類別。　　

主要的大數(shù)據(jù)工具　　

如上所述，大數(shù)據(jù)工具都傾向于單一使用類別，并且有多種使用大數(shù)據(jù)的方式。

所以可以按類別分類，然后分析每個分析工具。　　

|| 大數(shù)據(jù)工具：數(shù)據(jù)存儲和管理　　

大數(shù)據(jù)都是從數(shù)據(jù)存儲開始。這意味著從大數(shù)據(jù)框架Hadoop開始。

它是由Apache Foundation開發(fā)的開源軟件框架，用在計算機集群上分布式存儲非常大的數(shù)據(jù)集。　　

顯然，存儲對于大數(shù)據(jù)所需的大量信息至關(guān)重要。

但更重要的是，需要有一種方式來將所有這些數(shù)據(jù)集中到某種形成/管理結(jié)構(gòu)中，以產(chǎn)生洞察力。

因此，大數(shù)據(jù)存儲和管理是真正的基礎，而沒有這樣的分析平臺是行不通的。

在某些情況下，這些解決方案包括員工培訓。　　

而這個領(lǐng)域的主要的大數(shù)據(jù)工具有：

1. Cloudera　　

基本上，Hadoop增加了一些額外的服務，企業(yè)將需要這些服務，因為大數(shù)據(jù)并不是一個簡單的練習。 Cloudera的服務團隊不僅可以幫助企業(yè)構(gòu)建大數(shù)據(jù)集群，還可以幫助培訓員工更好地訪問數(shù)據(jù)。　　

2. MongoDB　　

MongoDB是最流行的大數(shù)據(jù)數(shù)據(jù)庫，因為它適用于管理大數(shù)據(jù)經(jīng)常出現(xiàn)的非結(jié)構(gòu)化數(shù)據(jù)或頻繁更改的數(shù)據(jù)。　　

3. Talend　　

作為一家提供廣泛解決方案的公司，Talend的產(chǎn)品是圍繞集成平臺構(gòu)建的，該平臺結(jié)合了大數(shù)據(jù)、云計算、應用程序，以及實時數(shù)據(jù)集成、數(shù)據(jù)準備和主數(shù)據(jù)管理。

Talend大數(shù)據(jù)集成包括數(shù)據(jù)質(zhì)量和治理功能　　

|| 大數(shù)據(jù)工具：數(shù)據(jù)清理　　

在企業(yè)真正處理大量數(shù)據(jù)以獲取洞察信息之前，先需要對其進行清理、轉(zhuǎn)換并將其轉(zhuǎn)變?yōu)榭蛇h程檢索的內(nèi)容。

大數(shù)據(jù)集往往是非結(jié)構(gòu)化和無組織的，因此需要進行某種清理或轉(zhuǎn)換。　　

在這個時代，數(shù)據(jù)的清理變得更加必要，因為數(shù)據(jù)可以來自任何地方：移動網(wǎng)絡、物聯(lián)網(wǎng)、社交媒體。

并不是所有這些數(shù)據(jù)都容易被“清理”，以產(chǎn)生其見解，因此一個良好的數(shù)據(jù)清理工具可以改變所有的差異。

事實上，在未來的幾年中，將有效清理的數(shù)據(jù)視為是一種可接受的大數(shù)據(jù)系統(tǒng)與真正出色的數(shù)據(jù)系統(tǒng)之間的競爭優(yōu)勢。　　

4. OpenRefine　　

OpenRefine是一款易于使用的開源工具，通過刪除重復項、空白字段和其他錯誤來清理凌亂的數(shù)據(jù)。

它是開源的軟件，但它有一個可以提供幫助的大型社區(qū)。　　

5. DataCleaner　　

與OpenRefine類似，DataCleaner將半結(jié)構(gòu)化數(shù)據(jù)集轉(zhuǎn)換為數(shù)據(jù)可視化工具可讀取的干凈可讀的數(shù)據(jù)集。該公司還提供數(shù)據(jù)倉庫和數(shù)據(jù)管理服務。　　

6. Microsoft Excel　　

人們可以從各種數(shù)據(jù)源導入數(shù)據(jù)。

Excel對手動數(shù)據(jù)輸入和復制/粘貼操作特別有用。

它可以消除重復、查找、替換，拼寫檢查以及用于轉(zhuǎn)換數(shù)據(jù)的許多公式。

但它很快陷入困境，并不適用于大數(shù)據(jù)集。　　

|| 大數(shù)據(jù)工具：數(shù)據(jù)挖掘　　

一旦數(shù)據(jù)被清理并準備好進行檢查，就可以通過數(shù)據(jù)挖掘開始搜索過程。

這就是企業(yè)進行實際發(fā)現(xiàn)、決策和預測的過程。　　

數(shù)據(jù)挖掘在很多方面都是大數(shù)據(jù)流程的真正核心。

數(shù)據(jù)挖掘解決方案通常非常復雜，但力求提供一個令人關(guān)注和用戶友好的用戶界面，這說起來容易做起來難。

數(shù)據(jù)挖掘工具面臨的另一個挑戰(zhàn)是：它們的確需要工作人員開發(fā)查詢，所以數(shù)據(jù)挖掘工具的能力并不比使用它的專業(yè)人員強。

7. RapidMiner　　

RapidMiner是一款易于使用的預測分析工具，具有非常用戶友好的可視化界面，這意味著企業(yè)無需編寫代碼，即可運行分析產(chǎn)品。　　

8. IBM SPSS Modeler　　

IBM SPSS Modeler是一套適用于企業(yè)級的高級分析的產(chǎn)品，用于數(shù)據(jù)挖掘。

而IBM的服務和咨詢無疑是首屈一指的。　　

9. Teradata　　

Teradata為數(shù)據(jù)倉庫、大數(shù)據(jù)和分析以及市場營銷應用提供端到端解決方案。

這一切意味著企業(yè)的業(yè)務可以真正成為一個數(shù)據(jù)驅(qū)動的業(yè)務，并提供商業(yè)服務、咨詢、培訓和支持。　

像許多當前的大數(shù)據(jù)工具一樣，RapidMiner解決方案也包含云計算解決方案　　

|| 大數(shù)據(jù)工具：數(shù)據(jù)可視化　　

數(shù)據(jù)可視化是企業(yè)的數(shù)據(jù)以可讀的格式顯示的方式。

這是企業(yè)查看圖表和圖形以及將數(shù)據(jù)放入透視圖中的方法。　　

數(shù)據(jù)的可視化與科學一樣，是一種藝術(shù)形式。

而大數(shù)據(jù)公司將擁有越來越多的數(shù)據(jù)科學家和高級管理人員，很重要的一點是可以為員工提供更加廣泛的可視化服務。

銷售代表、IT支持、中層管理等這些團隊中的每一個成員都需要理解它，因此重點在于可用性。

但是，易于閱讀的可視化有時與深度特征集的讀取不一致，這成為了數(shù)據(jù)可視化工具的一個主要挑戰(zhàn)。　　

10. Tableau　　

作為這一領(lǐng)域的領(lǐng)導者之一，其數(shù)據(jù)可視化工具專注于商業(yè)智能，無需編程即可創(chuàng)建各種地圖、圖表、圖形等等。

Tableau總共有五款產(chǎn)品，其中有一個名為Tableau Public的免費版本供潛在客戶試用。　　

11. Silk　　

Silk是一種簡單版本的Tableau，Silk可讓企業(yè)將數(shù)據(jù)可視化為地圖和圖表，而無需任何編程。

它甚至會嘗試在第一次加載時自動將數(shù)據(jù)可視化。

它還使得在線發(fā)布結(jié)果變得容易。　　

12. Chartio　　

Chartio使用自己的可視化查詢語言，只需點擊幾下即可創(chuàng)建功能強大的儀表板，而無需了解SQL或其他建模語言。

與其他不同的是，企業(yè)直接連接到數(shù)據(jù)庫，因此不需要數(shù)據(jù)倉庫。　　

|| IBM Watson Analytics　　

IBM Watson Analytics是機器學習(ML)和人工智能(AI)的結(jié)合，可幫助提供智能數(shù)據(jù)科學助理，為業(yè)務分析師和數(shù)據(jù)科學家提供廣泛的數(shù)據(jù)科學技能集的用戶指南。　　

|| 三層大數(shù)據(jù)工具　　

普華永道移動數(shù)據(jù)和分析計劃首席技術(shù)官Ritesh Ramesh說，就精密程度和市場戰(zhàn)略而言，大數(shù)據(jù)工具分解為三層。　　

第一層：也是最大的一層，是一系列開源工具。每家公司都以這種方式開始，像Cloudera和Hortonworks。

除了基本的基礎設施。服務器和存儲之外，價值非常小。大多數(shù)云計算廠商已經(jīng)將這一層實現(xiàn)商品化。　　

第二層：這是大多數(shù)這些供應商已經(jīng)意識到需要增加他們的市場份額的地方，他們必須在開放源代碼工具之上構(gòu)建一些專有應用程序，從而與其他供應商區(qū)分開。

例如，Cloudera公司構(gòu)建了一些類似于Hadoop內(nèi)核中的數(shù)據(jù)科學平臺。　　

第三層：這些是垂直專用的應用程序。

這些公司大多與普華永道、Cognizant或埃森哲等系統(tǒng)集成商合作。

這就是真正的價值所在，而且這也是大數(shù)據(jù)工具制造商非常有效的競爭策略。　　

Ramesh說，除了基本功能之外，還有三個工具需求領(lǐng)域。

首先是數(shù)據(jù)處理工具。

他說，“數(shù)據(jù)學習工具是客戶進行數(shù)據(jù)質(zhì)量和性能分析的工具包中的重要工具，可處理5000萬行數(shù)據(jù)，以發(fā)現(xiàn)洞察力。”　　

他說，行業(yè)領(lǐng)先的供應商還包括Trifacta，Paxata和Talend公司。　　

第二大類應用程序是治理的應用程序，例如企業(yè)如何擁有元數(shù)據(jù)定義。

“很多人都為此而努力。人們將大量垃圾轉(zhuǎn)儲到數(shù)據(jù)湖中。市場上沒有多少工具可以在數(shù)據(jù)湖中有效地工作。由于大部分這項工作都是由IT人員完成的，他們更有興趣將數(shù)據(jù)輸入到數(shù)據(jù)湖中，而不是將治理結(jié)構(gòu)置于其周圍。”Ramesh說。　　

這個行業(yè)領(lǐng)域的頂級供應商：Waterline Data，Tamr的數(shù)據(jù)編目工具和Collibra。　　

經(jīng)常出現(xiàn)的第三類需求是安全性的應用程序。

Ramesh說，“人們希望單一產(chǎn)品具有所有安全訪問層、列、行和對象。他們希望支持差異數(shù)據(jù)對象的用戶訪問和安全性的產(chǎn)品。”　　

這個行業(yè)領(lǐng)域的主要供應商是Wandisco公司和FireEye公司。