企業如何避免大數據分析項目失敗
大數據及其分析項目計劃或將能夠改變游戲規則,為您企業提供相應的洞察分析能力,幫助您企業贏得市場競爭,創造新的收入來源,并得以更好地為客戶服務。
但與此同時,大數據及其分析活動也可能面臨巨大的失敗,甚而導致浪費掉大量的資金和時間投入——更不用說,還有可能造成那些在令人沮喪的管理失誤中身心受損的有才能的專業技術人員的流失。
那么,企業組織究竟應當如何避免大數據分析項目的失敗呢?從基本的業務管理的角度來看,一些具有可操作性的最佳實踐方案是最為明顯的:例如,首先,要從企業最高級別的高管們那里獲得對于大數據分析項目的充分認可,確保為該大數據分析項目爭取到所有所需要的技術投資以及足夠的資金財務支持,并根據實際需要實施相關專業知識或技能方面的培訓。如果您企業沒有首先很好的解決這些基礎性的問題,那么,后續的其他方面的問題真的也就沒有進一步探討的必要了。
而假設您企業已經完成了上述基本面領域的工作,那么,區別大數據分析項目成敗的關鍵原因就在于,您企業將如何處理大數據分析的技術問題和挑戰。由此,你企業可以遵循如下幾大策略,以盡量確保貴公司大數據分析項目的成功。
1、仔細為您企業的項目選擇大數據分析工具
許多技術方面的失敗均源于這樣一個事實:企業所采購和部署實施的產品被證明非常不適合于他們所正在努力完成的工作項目。任何一家供應商都會將“大數據”或“高級分析”等所謂高大上的術語印到他們的產品說明上,以便圍繞這些術語進行高度炒作。
但是,不同產品之間的差異不僅僅只存在于其質量和有效性方面,而同時還存在于各種不同產品所專攻的重點領域方面。因此,即使您企業選擇了在技術上可能相當強大的一款產品,但該產品很有可能并不擅長于您企業當下實際所需要做的工作任務。
幾乎所有的大數據分析工具都具備一些基本性的功能,比如數據轉換和存儲架構(例如,Hadoop和Apache Spark)。但是,在大數據分析工具產品的市場上其實也會有很多細分的市場,故而您企業必須針對您的技術戰略實際所涉及的領域采購產品。這些具體的領域包括流程挖掘、預測分析、實時解決方案、人工智能和商業智能儀表板。
在決定購買任何大數據分析工具產品或存儲平臺之前,您務必需要弄清楚企業真正的業務需求和問題,選擇旨在能夠有效解決這些特定問題的產品。
例如,由于編譯龐大的數據集的復雜性,您企業可以選擇使用認知大數據產品,如人工智能來分析非結構化數據的分析工具產品。但是,您企業肯定不會將認知工具用于結構化和標準化的數據,為此您可以部署眾多有助于以更合理的價格實時獲得高質量的洞察力的分析產品之一,電信公司沃達豐的大數據全球流程主管Israel Exposito表示說。
Exposito表示,在為您企業的生產環境選擇一款分析工具之前,請務必至少使用兩種產品來運行概念證明是較為明智的。該產品還應該能夠與您企業的相關平臺進行交互。
每款大數據分析工具都需要在后端系統中開發數據模型。這是該分析項目中最為重要的部分。所以,您企業將需要確保系統集成商和業務主題專家能夠攜手合作。務必確保從一開始就選對了工具。
重要的是要記住,必須始終保持恰當數據的可用性,并將其翻譯轉化成業務語言,使得用戶得以能夠充分理解輸出,從而可以使用這些分析洞察來推動對于市場機會的把握或流程的改進。
2、確保分析工具易于使用
大數據和高級分析是復雜的,但是商業用戶所依賴于訪問和理解數據的產品卻并不一定必須是復雜的。
請務必為企業的業務分析團隊提供簡單有效的工具,以便能夠更好的用于數據發現以及數據分析和可視化。
對于全球知名的互聯網域名注冊商GoDaddy公司而言,找到合適的工具組合是相當困難的。該公司的商業智能工具企業數據布道者Sharon Graves表示說,對于快速可視化來說,其操作必須非常的簡單,而且足以進行深入的分析。 GoDaddy能夠找到讓商業用戶們得以輕松的找到適當的數據,然后自行生成可視化的產品。這就將其分析團隊解放出來,以便能夠執行更為高級的分析任務。
除此之外,最為重要的是,切記不要為非技術業務用戶提供程序員級別的工具。他們操作起來會感到力不從心,可能會訴諸使用他們以前的工具,而這些工具并不能真正的奏效(否則,你企業就不會大費周章的實施大數據分析項目了)。
3、將項目和數據與企業實際的業務需求相匹配
錯誤的數據分析工作可能失敗的另一大原因是:因為這些分析工作最終淪為了尋找并不存在的問題的解決方案。這就是為什么你企業無比需要把你正在尋求解決的業務挑戰/需求擺在正確的分析問題上的原因所在了,信息服務提供商Experian公司的全球數據實驗室的首席科學家Shanji Xiong說。
關鍵是要在大數據分析項目實施的早期就邀請具有強大分析背景的主題專家與數據科學家合作,來幫助您企業確定真正問題的所在。
如下,是Experian公司自己的一個大數據分析項目的例子。該公司在開發分析解決方案以打擊身份欺詐行為時,他們所面臨的挑戰是評估客戶所提交的一套個人身份信息(PII)(如姓名、地址和社會安全號碼)是否合法;或者說,挑戰可能存在于評估使用一套身份信息的組合來申請貸款的客戶是否是該身份的合法擁有者。又或者兩種挑戰都可能存在。
第一個挑戰是“綜合身份”的問題,故而該公司需要一款分析模型來評估在消費者級別或PII級別評估一套整合的身份信息的風險。第二個挑戰是應用程序欺詐問題,需要在應用程序級別進行模型的開發,以評估是否存在欺詐風險的評分。Experian公司必須了解到這些是不同的問題,盡管其最初可能被看作是同樣的問題,但卻需要建立恰當的模型和分析來解決這些問題。
當一套個人身份信息被提交給兩家金融機構以申請貸款時,通常的要求是將返回相同的綜合身份信息風險評分,但這通常并不是應用程序欺詐評分的必要特征。
必須將正確的算法應用于恰當的數據信息才能提取商業智能,并做出準確的預測。在建模過程中收集和包含相關數據集幾乎總是比微調機器學習算法更為重要,所以數據工作應該被視為重中之重。
4、建立一個數據湖,不要吝嗇帶寬
正如“大數據”這一術語所暗示的那樣,其涉及到大量的數據信息。過去,很少有企業組織有能力可以存儲這么多的數據,更不用說對這些數據進行組織和分析了。但是現在,高性能的存儲技術和大規模并行處理在云中和通過本地系統都早已經是廣泛可用的了。
但是,存儲本身是不夠的。您企業將需要一種方法來處理供您進行大數據分析的各種不同類型的數據。這便是Apache Hadoop充分發揮其用武之地的時候了,其允許企業得以能夠存儲和映射巨大的、不同的數據集。這樣的庫通常被稱為數據湖。在現實生活中,一個實際的湖泊通常是由多條流入的河流來形成的,其還將包含許多的植物、魚類和其他生物。而數據湖通常由多個數據源構成,并包含許多不同類型的數據。
但數據湖絕不應該簡單的成為企業各種繁雜數據的傾倒地。亞利桑那州立大學研究計算主任Jay Etchings表示說,你企業需要考慮如何匯總數據,以便以有意義的方式擴展其屬性。數據可以是完全不同的,但是如何使用MapReduce和Apache Spark等工具來將其轉換為分析數據,企業組織應該使用可靠的數據架構。
企業應建立一個數據湖,在這個數據湖中,采集、索引和規范化數據是精心策劃大數據策略的組成部分。Etchings表示說,企業組織如若沒有清晰的理解和明確的藍圖,那么大多數數據密集型的計劃都注定將會失敗。
同樣,有足夠的帶寬也是至關重要的; 否則數據不會足夠快的從各種不同的數據來源傳輸到數據湖,進而為業務用戶所用。為了充分利用貴公司所收集的海量數據資源,Etchings說,企業不僅需要每秒能夠處理數百萬I/O的快速磁盤,而且還需要相互連接的節點和處理引擎,以便隨時訪問數據。
從社交媒體的發展趨勢到流量路由,速度對于實時分析尤為重要。 因此,企業無比要建立您的數據湖,以確保最快的互連可用。
5、將安全性設計到大數據的各個方面
計算基礎設施架構組件的高度異質性大大加速了企業組織從他們所收集到的數據信息中提取有意義的見解的能力。但有一大缺點:對于系統的管理和保護要復雜得多,Etchings說。由于涉及大量的數據和大多數大數據分析系統的關鍵任務,使得很多企業未能在保護系統和數據方面采取足夠的預防措施,進而正在大規模的帶來問題和麻煩。
企業所收集、存儲、分析和共享的大部分數據都是關于客戶數據信息,其中一些是私人的和可識別的。如果這些數據落入了壞人的手中,其結果是可預測的:企業必將面臨法律方面的訴訟、金錢的損失以及隨之而來的的監管機構的罰款、企業品牌和聲譽受損,以及客戶的憤怒和不滿。
故而您企業的安全措施應該包括部署基本的企業工具:切實的數據加密,身份和訪問管理以及網絡安全。同時,您企業的安全措施還應包括對相關工作人員就如何正確訪問和使用數據的政策的教育和培訓。
6、把數據管理和質量放在首要位置
確保良好的數據管理和質量應該是所有大數據分析項目的重要指標,否則面臨的失敗的可能性要大得多。
您企業需要實施相應的控制措施,以確保數據按時、準確并及時的交付。作為大數據分析舉措的一部分,GoDaddy公司實施了警報,以便通知相關的管理人員數據的更新是否失敗或運行較晚。此外,GoDaddy公司還對關鍵指標實施了數據質量檢查,并在這些指標與預期不符時發出警報。
確保數據質量和良好管理的一個重要部分就是聘用熟練的數據管理專業人員,這其中包括數據管理總監或其他方面的高管來監督這些領域。鑒于這些舉措的戰略重要性,企業組織將會對于數據的管理、監控和策略方面的擁有權方面具有真正的需求。
責任編輯:售電衡衡
-
碳中和戰略|趙英民副部長致辭全文
2020-10-19碳中和,碳排放,趙英民 -
兩部門:推廣不停電作業技術 減少停電時間和停電次數
2020-09-28獲得電力,供電可靠性,供電企業 -
國家發改委、國家能源局:推廣不停電作業技術 減少停電時間和停電次數
2020-09-28獲得電力,供電可靠性,供電企業
-
碳中和戰略|趙英民副部長致辭全文
2020-10-19碳中和,碳排放,趙英民 -
深度報告 | 基于分類監管與當量協同的碳市場框架設計方案
2020-07-21碳市場,碳排放,碳交易 -
碳市場讓重慶能源轉型與經濟發展并進
2020-07-21碳市場,碳排放,重慶
-
兩部門:推廣不停電作業技術 減少停電時間和停電次數
2020-09-28獲得電力,供電可靠性,供電企業 -
國家發改委、國家能源局:推廣不停電作業技術 減少停電時間和停電次數
2020-09-28獲得電力,供電可靠性,供電企業 -
2020年二季度福建省統調燃煤電廠節能減排信息披露
2020-07-21火電環保,燃煤電廠,超低排放
-
四川“專線供電”身陷違法困境
2019-12-16專線供電 -
我國能源替代規范法律問題研究(上)
2019-10-31能源替代規范法律 -
區域鏈結構對于數據中心有什么影響?這個影響是好是壞呢!