辨析氣象大數據
2015年9月5日,《國務院關于印發促進大數據發展行動綱要的通知》正式發布,在全社會引起廣泛影響。在此前后,社會上的大數據浪潮洶涌澎湃,推動著每一個行業、部門和企業。一些單位和部門急于“搶占大數據制高點”,紛紛出臺了一系列政策、措施、機構和項目。氣象部門也不例外,以氣象大數據為名上項目、搞工程的苗頭已經出現。
如何認識大數據,大數據是否適用于氣象部門,以及適用于哪些領域,是氣象部門決策機構需要思考、分析和綜合歸納的問題,因為厘清這些問題有助于避免工作中的盲目性并減少失誤。
從應用看數據
數據是服務于應用的,大數據也不例外。
當一個新的應用出現,現有業務數據無法滿足其數據需求時,必須尋找新的數據源。在尋找過程中,如果自行采集數據能夠滿足需求,且成本能夠接受,則采取該方式是最好的選擇,因為采集的過程和方法受需求者控制,所采集的數據最接近需求(如“十一五”、“十二五”期間氣象部門建設的全國天氣雷達站網及遍布全國所有鄉鎮的地面自動氣象站等)。
而當自行采集的成本過于昂貴,以致無法承受時,選用替代數據便是將工作繼續進行下去的唯一選擇了。
以往信息相對貧乏的年代,可供選擇的合適的替代數據不多,許多工作因而無法開展。互聯網時代信息量暴增,替代數據的選擇范圍有了很大改善,使得許多過去無法開展的工作,現在有可能開展起來了。
然而,由于這些替代數據自身不是因本需求而產生的,故不可避免地存在諸如體量雖大但針對本需求所需的信息稀薄,信息質量不高,故難以得到確切結論,許多現象和結論難以解釋等痼疾。
于是,“是全體數據而不是樣本數據、是模糊結論而不是精確結論、是相關關系而不是因果關系”的大數據的理念和方法由此產生。
從應用的角度評價大數據,我們可以得出以下結論:
雖然就數據血統而言,大數據在實際應用中往往不屬于專為本應用采
集的血統純正的數據,但它的存在和被使用卻是使得眾多創新應用得以實現。因此大數據是資源。
當今新的時代已經進入信息經濟和知識經濟的新時代,這是一個以信息和知識為基礎的經濟,是一個在更大程度上依賴于在生產、分配和使用等各個環節中知識和信息所作貢獻的新的經濟。因此大數據是新的生產力要素。
大數據可能提供有價值的參考信息,包括:
■大數據可能為政府的科學決策提供有價值的參考信息。
■大數據可能對企業的業務改進提供數據支持和信息支持。
■大數據可能為一些社會科學領域的學科研究提供有價值的信息。
■大數據甚至有可能對自然科學研究中的一些新的科學機理的發現提供參考信息。
與此同時,不能指望單靠大數據就能全面提高政府決策水平。因為決策依賴于多方面信息的綜合,大數據只是提供信息的途徑之一,僅靠它是無法解決政府決策的諸多問題的。
高層決策主要面對的是諸多不確定性環境,需要廣闊的視野與豐富的經驗。深厚的歷史背景、細微的地緣差異、復雜的宗教派系之爭以及民族間的矛盾等,這些因素交織在一起,關系復雜而頭緒繁多,遠非數據統計分析那樣簡單。
大數據能夠為行政決策提供一項或多項較為準確的參考信息,改善影響決策的信息的質量,但信息的綜合和最終的決策必須依靠人。
另外,大數據不可能直接解決科學機理問題。從大數據“模糊而非精確”、“只求相關而非探究因果”的理念可以看出,大數據只關注于現象之間的關聯性,但不探究這些關聯背后的因果關系,但求知其然,而不愿,甚至不屑探究其所以然。
之所以如此,是與大數據的理論構建者所固有的對世界的認知:“混亂構成了世界的本質,也構成了人腦的本質”的哲學觀所決定的。
本文無意在此探討哲學問題,但由此可以推斷:就認識論而言,大數據屬于經驗主義范疇,它無法直接解決科學問題,尤其是以科學機理(即所謂因果關系)為核心的氣象預報科學問題。
在氣象理論研究領域,大數據可能的貢獻在于提供參考信息(如具有一定關聯度的氣象要素組合等),以供氣象科學家們分析研究。
數據的管理和處理技術不是問題
就數據本身而言,氣象大數據是指所有與氣象工作相關的數據總和;從來源渠道劃分,氣象大數據可分為“氣象行業大數據”和“氣象互聯網大數據”兩類。
其中,“氣象行業大數據”由與氣象部門各項工作相關、且產生自氣象部門內部的所有數據組成,包括由氣象部門建設的、具有國內最高專業水準的氣象探測體系所產生的氣象專業探測數據,其他部門自行采集、通過數據共享/交換等方式匯聚到氣象部門、且經過氣象部門嚴格質量控制的氣象要素探測數據,由氣象業務部門和業務系統產生的各類氣象服務產品數據、派生數據及中間產品數據,職能部門各管理系統(如財務系統、人力資源系統、項目管理系統等)所產生和管理的數據,各業務和管理系統的狀態數據和日志數據等。
“氣象互聯網大數據”由互聯網上與氣象相關的所有數據組成,包括移動終端搭載的氣象要素傳感設備的探測數據,網友隨手拍并上傳的天氣狀態照片,搜索引擎對氣象相關敏感詞的統計分析數據,其他所有可供氣象部門業務和服務應用的互聯網數據等。
“氣象行業大數據”與“氣象互聯網大數據”間存在很大差異,簡言之,“氣象行業大數據”屬于氣象業務數據,其生成的直接目標是服務于氣象業務和工作的,故其氣象信息濃度高、各種技術指標亦最為符合氣象業務和工作的各項要求。“氣象互聯網大數據”則不然,它不是專為氣象工作而生成的,它產自于其他非氣象部門的行業、企業,是為滿足這些行業和企業自身業務目標而生成的。這些數據之所以被納入“氣象互聯網大數據”的范圍,是因為這些數據包含有與特定氣象應用相關的信息內容,而這些內容是氣象行業大數據所缺乏的;也就是說,這些數據是為彌補氣象行業大數據在內容和時空密度等方面的不足而從互聯網上收集來的;故其氣象信息的濃度、數據質量等參差不齊,各項技術指標也往往差強人意。
即便就氣象要素而言,兩者之間也存在明顯差異。從性質上考察,氣象行業大數據屬于“氣象業務數據”范疇,即每類數據都有其特定的使用目的、使用對象及數據形態,且所有數據的初始目的都是圍繞滿足氣象部門自身運轉所特有的數據需求的。
從體量上衡量,“氣象行業大數據”雖可勉強躋身大數據行列(PB級),但較之互聯網公司而言,仍有至少2~4個數量級之間的差距。以目前業界現有處理技術,完全可以滿足“氣象行業大數據”在分析處理方面的時效要求(數值預報除外)。因此對于“氣象行業大數據”而言,單純的管理和處理技術不是問題所在。
不是提高預報準確率的終南捷徑
將大數據理念和方法全面應用到氣象部門,在部門內開展氣象大數據工作,能否有效提高預報準確率,這是我們首先必須正面回答的問題。
觀測數據和科學研究是氣象學科的主要支撐。如果沒有氣象科學家天才卓越的分析研究成果,氣象觀測資料便僅僅是一堆天氣現象的記錄數據。因此對于氣象學科而言,觀測數據/產品和科學分析研究,二者缺一不可。
氣象業務的現代化水平最終體現在氣象預報的準確率,所追求的恰恰就是精確和及時。如果不掌握天氣變化的內在規律,單憑現象要素之間相關性的強弱,是很難達到及時精確預報的要求的。
“大數據”所推崇的統計分析方法,氣象部門早在數十年前便已悉數使用,并不陌生。
但這并不意味著氣象部門在該領域的科學研究止步于此。事實上,目前基于動力框架的氣候數值預報模式(尤其是集合預報模式等)等方法一直在積極地試驗和嘗試使用之中,目的就在于探索能夠有效發現氣候變化規律的路徑和方法——雖然氣候統計預測方法仍在使用之中。目前數值天氣預報和數值氣候預測中所大量采用的集合預報方法,就是“因果”與“相關”、機理與統計之間有機結合的一種嘗試。
與一般大數據所使用的數據源不同,氣象行業大數據中的氣象觀測數據及產品是專門為氣象預報業務工作而采集的,其時空分布、數據質量及其他各種技術指標最符合氣象業務的各項要求,氣象業務所需信息的濃度也最高。
比較而言,氣象互聯網大數據的氣象信息密度不高,數據質量也難以保證,其他技術指標更是難以保證滿足氣象應用的需求。因此,從氣象行業大數據中的氣象觀測數據和產品產生出來的統計分析結論以及學科科學機理的發現是具有權威性的。就預報準確率而言,氣象觀測數據/產品是所有數據中最重要的貢獻者,氣象互聯網大數據是它的補充而絕非替代者。
大數據理念和方法并非提高預報準確率的終南捷徑。當然,筆者并不否認大數據方法在客觀預報產品解釋應用方面對預報效果的改善有所幫助等正面作用,但這終究是輔助性、修飾性的,不是提高預報準確率的根本途徑,且效果難以具體量化。
追求預報準確率只能靠觀測數據和產品在時空密度和質量上的不斷提高以及科學家們辛勤的分析研究。對提高預報準確率貢獻價值最高的仍然是氣象觀測數據及產品,因此研制出高質量、高時空密度的氣象觀測產品數據,仍將是提高預報準確率以及氣象科學研究最重要的基礎性工作。科學研究工作,沒有捷徑可走,在這里“工匠精神”永遠不會過時。
價值分析
氣象部門之所以引進大數據理念和方法,并非為了大數據而大數據,而是為了解決實際工作中存在的問題。因此,氣象大數據必須以業務和工作需求為引領。當業務或工作中出現的問題沒有合適的數據信息,或者雖有數據但常規處理方法無助于問題的解決時,氣象大數據也許是一種可以嘗試的解決途徑。
“氣象行業大數據”產生自氣象部門,是氣象部門賴以運轉的最主要資源,同時也是氣象部門各項工作的記錄載體,在所有數據資源中,它所含有的氣象信息最濃;故其應用領域首先應在于氣象部門業務工作的有效運轉,其次才是社會服務。“氣象行業大數據”潛在價值的挖掘和發揮,也應當以提高氣象部門工作能力為首要目標。用好“氣象行業大數據”,是開展氣象大數據工作的重要內容和檢驗指標。
與此同時,“氣象行業大數據”與“氣象互聯網大數據”之間的有效融合,有可能大幅提高氣象觀探測的時空密度。
數據是為應用服務的,氣象大數據必須將業務和工作做為最主要的引領。氣象大數據戰略的首要內容,不是數據的收集、數據源的拓展以及海量數據的管理技術,而是氣象工作的持續創新。在技術創新、原理創新、概念創新和思想創新的氛圍中,不斷涌現出新的應用,根據新應用在信息和數據需求方面的特點,充分發掘現有數據資源的價值,同時有針對性地尋找并拓展新的數據資源,合理運用大數據有關技術,處理并提煉出新的有價值的信息,以推進創新的不斷實現。與此同時,由于創新本身是不同概念之間的有機連接和融合,多角度的觀察會增加概念連接的機會,大數據所固有的關聯分析以及由此產生的相關事物的現象信息,對開拓概念連接的范圍會有所幫助,對氣象部門在新形勢下的創新當有所裨益。
于是,初始創新啟動大數據應用,大數據應用促進新的創新——這應該是氣象大數據戰略的基本輪廓。
責任編輯:大云網
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網
-
新基建助推 數據中心建設將迎爆發期
2020-06-16數據中心,能源互聯網,電力新基建 -
泛在電力物聯網建設下看電網企業數據變現之路
2019-11-12泛在電力物聯網 -
泛在電力物聯網建設典型實踐案例
2019-10-15泛在電力物聯網案例
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業發展
-
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網 -
5G新基建助力智能電網發展
2020-06-125G,智能電網,配電網 -
從智能電網到智能城市