辨析氣象大數(shù)據(jù)

2015年9月5日,《國務院關于印發(fā)促進大數(shù)據(jù)發(fā)展行動綱要的通知》正式發(fā)布,在全社會引起廣泛影響。在此前后,社會上的大數(shù)據(jù)浪潮洶涌澎湃,推動著每一個行業(yè)、部門和企業(yè)。一些單位和部門急于“搶占大數(shù)據(jù)制高點”,紛紛出臺了一系列政策、措施、機構和項目。氣象部門也不例外,以氣象大數(shù)據(jù)為名上項目、搞工程的苗頭已經(jīng)出現(xiàn)。
如何認識大數(shù)據(jù),大數(shù)據(jù)是否適用于氣象部門,以及適用于哪些領域,是氣象部門決策機構需要思考、分析和綜合歸納的問題,因為厘清這些問題有助于避免工作中的盲目性并減少失誤。
從應用看數(shù)據(jù)
數(shù)據(jù)是服務于應用的,大數(shù)據(jù)也不例外。
當一個新的應用出現(xiàn),現(xiàn)有業(yè)務數(shù)據(jù)無法滿足其數(shù)據(jù)需求時,必須尋找新的數(shù)據(jù)源。在尋找過程中,如果自行采集數(shù)據(jù)能夠滿足需求,且成本能夠接受,則采取該方式是最好的選擇,因為采集的過程和方法受需求者控制,所采集的數(shù)據(jù)最接近需求(如“十一五”、“十二五”期間氣象部門建設的全國天氣雷達站網(wǎng)及遍布全國所有鄉(xiāng)鎮(zhèn)的地面自動氣象站等)。
而當自行采集的成本過于昂貴,以致無法承受時,選用替代數(shù)據(jù)便是將工作繼續(xù)進行下去的唯一選擇了。
以往信息相對貧乏的年代,可供選擇的合適的替代數(shù)據(jù)不多,許多工作因而無法開展。互聯(lián)網(wǎng)時代信息量暴增,替代數(shù)據(jù)的選擇范圍有了很大改善,使得許多過去無法開展的工作,現(xiàn)在有可能開展起來了。
然而,由于這些替代數(shù)據(jù)自身不是因本需求而產(chǎn)生的,故不可避免地存在諸如體量雖大但針對本需求所需的信息稀薄,信息質(zhì)量不高,故難以得到確切結論,許多現(xiàn)象和結論難以解釋等痼疾。
于是,“是全體數(shù)據(jù)而不是樣本數(shù)據(jù)、是模糊結論而不是精確結論、是相關關系而不是因果關系”的大數(shù)據(jù)的理念和方法由此產(chǎn)生。
從應用的角度評價大數(shù)據(jù),我們可以得出以下結論:
雖然就數(shù)據(jù)血統(tǒng)而言,大數(shù)據(jù)在實際應用中往往不屬于專為本應用采
集的血統(tǒng)純正的數(shù)據(jù),但它的存在和被使用卻是使得眾多創(chuàng)新應用得以實現(xiàn)。因此大數(shù)據(jù)是資源。
當今新的時代已經(jīng)進入信息經(jīng)濟和知識經(jīng)濟的新時代,這是一個以信息和知識為基礎的經(jīng)濟,是一個在更大程度上依賴于在生產(chǎn)、分配和使用等各個環(huán)節(jié)中知識和信息所作貢獻的新的經(jīng)濟。因此大數(shù)據(jù)是新的生產(chǎn)力要素。
大數(shù)據(jù)可能提供有價值的參考信息,包括:
■大數(shù)據(jù)可能為政府的科學決策提供有價值的參考信息。
■大數(shù)據(jù)可能對企業(yè)的業(yè)務改進提供數(shù)據(jù)支持和信息支持。
■大數(shù)據(jù)可能為一些社會科學領域的學科研究提供有價值的信息。
■大數(shù)據(jù)甚至有可能對自然科學研究中的一些新的科學機理的發(fā)現(xiàn)提供參考信息。
與此同時,不能指望單靠大數(shù)據(jù)就能全面提高政府決策水平。因為決策依賴于多方面信息的綜合,大數(shù)據(jù)只是提供信息的途徑之一,僅靠它是無法解決政府決策的諸多問題的。
高層決策主要面對的是諸多不確定性環(huán)境,需要廣闊的視野與豐富的經(jīng)驗。深厚的歷史背景、細微的地緣差異、復雜的宗教派系之爭以及民族間的矛盾等,這些因素交織在一起,關系復雜而頭緒繁多,遠非數(shù)據(jù)統(tǒng)計分析那樣簡單。
大數(shù)據(jù)能夠為行政決策提供一項或多項較為準確的參考信息,改善影響決策的信息的質(zhì)量,但信息的綜合和最終的決策必須依靠人。
另外,大數(shù)據(jù)不可能直接解決科學機理問題。從大數(shù)據(jù)“模糊而非精確”、“只求相關而非探究因果”的理念可以看出,大數(shù)據(jù)只關注于現(xiàn)象之間的關聯(lián)性,但不探究這些關聯(lián)背后的因果關系,但求知其然,而不愿,甚至不屑探究其所以然。
之所以如此,是與大數(shù)據(jù)的理論構建者所固有的對世界的認知:“混亂構成了世界的本質(zhì),也構成了人腦的本質(zhì)”的哲學觀所決定的。
本文無意在此探討哲學問題,但由此可以推斷:就認識論而言,大數(shù)據(jù)屬于經(jīng)驗主義范疇,它無法直接解決科學問題,尤其是以科學機理(即所謂因果關系)為核心的氣象預報科學問題。
在氣象理論研究領域,大數(shù)據(jù)可能的貢獻在于提供參考信息(如具有一定關聯(lián)度的氣象要素組合等),以供氣象科學家們分析研究。
數(shù)據(jù)的管理和處理技術不是問題
就數(shù)據(jù)本身而言,氣象大數(shù)據(jù)是指所有與氣象工作相關的數(shù)據(jù)總和;從來源渠道劃分,氣象大數(shù)據(jù)可分為“氣象行業(yè)大數(shù)據(jù)”和“氣象互聯(lián)網(wǎng)大數(shù)據(jù)”兩類。
其中,“氣象行業(yè)大數(shù)據(jù)”由與氣象部門各項工作相關、且產(chǎn)生自氣象部門內(nèi)部的所有數(shù)據(jù)組成,包括由氣象部門建設的、具有國內(nèi)最高專業(yè)水準的氣象探測體系所產(chǎn)生的氣象專業(yè)探測數(shù)據(jù),其他部門自行采集、通過數(shù)據(jù)共享/交換等方式匯聚到氣象部門、且經(jīng)過氣象部門嚴格質(zhì)量控制的氣象要素探測數(shù)據(jù),由氣象業(yè)務部門和業(yè)務系統(tǒng)產(chǎn)生的各類氣象服務產(chǎn)品數(shù)據(jù)、派生數(shù)據(jù)及中間產(chǎn)品數(shù)據(jù),職能部門各管理系統(tǒng)(如財務系統(tǒng)、人力資源系統(tǒng)、項目管理系統(tǒng)等)所產(chǎn)生和管理的數(shù)據(jù),各業(yè)務和管理系統(tǒng)的狀態(tài)數(shù)據(jù)和日志數(shù)據(jù)等。
“氣象互聯(lián)網(wǎng)大數(shù)據(jù)”由互聯(lián)網(wǎng)上與氣象相關的所有數(shù)據(jù)組成,包括移動終端搭載的氣象要素傳感設備的探測數(shù)據(jù),網(wǎng)友隨手拍并上傳的天氣狀態(tài)照片,搜索引擎對氣象相關敏感詞的統(tǒng)計分析數(shù)據(jù),其他所有可供氣象部門業(yè)務和服務應用的互聯(lián)網(wǎng)數(shù)據(jù)等。
“氣象行業(yè)大數(shù)據(jù)”與“氣象互聯(lián)網(wǎng)大數(shù)據(jù)”間存在很大差異,簡言之,“氣象行業(yè)大數(shù)據(jù)”屬于氣象業(yè)務數(shù)據(jù),其生成的直接目標是服務于氣象業(yè)務和工作的,故其氣象信息濃度高、各種技術指標亦最為符合氣象業(yè)務和工作的各項要求。“氣象互聯(lián)網(wǎng)大數(shù)據(jù)”則不然,它不是專為氣象工作而生成的,它產(chǎn)自于其他非氣象部門的行業(yè)、企業(yè),是為滿足這些行業(yè)和企業(yè)自身業(yè)務目標而生成的。這些數(shù)據(jù)之所以被納入“氣象互聯(lián)網(wǎng)大數(shù)據(jù)”的范圍,是因為這些數(shù)據(jù)包含有與特定氣象應用相關的信息內(nèi)容,而這些內(nèi)容是氣象行業(yè)大數(shù)據(jù)所缺乏的;也就是說,這些數(shù)據(jù)是為彌補氣象行業(yè)大數(shù)據(jù)在內(nèi)容和時空密度等方面的不足而從互聯(lián)網(wǎng)上收集來的;故其氣象信息的濃度、數(shù)據(jù)質(zhì)量等參差不齊,各項技術指標也往往差強人意。
即便就氣象要素而言,兩者之間也存在明顯差異。從性質(zhì)上考察,氣象行業(yè)大數(shù)據(jù)屬于“氣象業(yè)務數(shù)據(jù)”范疇,即每類數(shù)據(jù)都有其特定的使用目的、使用對象及數(shù)據(jù)形態(tài),且所有數(shù)據(jù)的初始目的都是圍繞滿足氣象部門自身運轉所特有的數(shù)據(jù)需求的。
從體量上衡量,“氣象行業(yè)大數(shù)據(jù)”雖可勉強躋身大數(shù)據(jù)行列(PB級),但較之互聯(lián)網(wǎng)公司而言,仍有至少2~4個數(shù)量級之間的差距。以目前業(yè)界現(xiàn)有處理技術,完全可以滿足“氣象行業(yè)大數(shù)據(jù)”在分析處理方面的時效要求(數(shù)值預報除外)。因此對于“氣象行業(yè)大數(shù)據(jù)”而言,單純的管理和處理技術不是問題所在。
不是提高預報準確率的終南捷徑
將大數(shù)據(jù)理念和方法全面應用到氣象部門,在部門內(nèi)開展氣象大數(shù)據(jù)工作,能否有效提高預報準確率,這是我們首先必須正面回答的問題。
觀測數(shù)據(jù)和科學研究是氣象學科的主要支撐。如果沒有氣象科學家天才卓越的分析研究成果,氣象觀測資料便僅僅是一堆天氣現(xiàn)象的記錄數(shù)據(jù)。因此對于氣象學科而言,觀測數(shù)據(jù)/產(chǎn)品和科學分析研究,二者缺一不可。
氣象業(yè)務的現(xiàn)代化水平最終體現(xiàn)在氣象預報的準確率,所追求的恰恰就是精確和及時。如果不掌握天氣變化的內(nèi)在規(guī)律,單憑現(xiàn)象要素之間相關性的強弱,是很難達到及時精確預報的要求的。
“大數(shù)據(jù)”所推崇的統(tǒng)計分析方法,氣象部門早在數(shù)十年前便已悉數(shù)使用,并不陌生。
但這并不意味著氣象部門在該領域的科學研究止步于此。事實上,目前基于動力框架的氣候數(shù)值預報模式(尤其是集合預報模式等)等方法一直在積極地試驗和嘗試使用之中,目的就在于探索能夠有效發(fā)現(xiàn)氣候變化規(guī)律的路徑和方法——雖然氣候統(tǒng)計預測方法仍在使用之中。目前數(shù)值天氣預報和數(shù)值氣候預測中所大量采用的集合預報方法,就是“因果”與“相關”、機理與統(tǒng)計之間有機結合的一種嘗試。
與一般大數(shù)據(jù)所使用的數(shù)據(jù)源不同,氣象行業(yè)大數(shù)據(jù)中的氣象觀測數(shù)據(jù)及產(chǎn)品是專門為氣象預報業(yè)務工作而采集的,其時空分布、數(shù)據(jù)質(zhì)量及其他各種技術指標最符合氣象業(yè)務的各項要求,氣象業(yè)務所需信息的濃度也最高。
比較而言,氣象互聯(lián)網(wǎng)大數(shù)據(jù)的氣象信息密度不高,數(shù)據(jù)質(zhì)量也難以保證,其他技術指標更是難以保證滿足氣象應用的需求。因此,從氣象行業(yè)大數(shù)據(jù)中的氣象觀測數(shù)據(jù)和產(chǎn)品產(chǎn)生出來的統(tǒng)計分析結論以及學科科學機理的發(fā)現(xiàn)是具有權威性的。就預報準確率而言,氣象觀測數(shù)據(jù)/產(chǎn)品是所有數(shù)據(jù)中最重要的貢獻者,氣象互聯(lián)網(wǎng)大數(shù)據(jù)是它的補充而絕非替代者。
大數(shù)據(jù)理念和方法并非提高預報準確率的終南捷徑。當然,筆者并不否認大數(shù)據(jù)方法在客觀預報產(chǎn)品解釋應用方面對預報效果的改善有所幫助等正面作用,但這終究是輔助性、修飾性的,不是提高預報準確率的根本途徑,且效果難以具體量化。
追求預報準確率只能靠觀測數(shù)據(jù)和產(chǎn)品在時空密度和質(zhì)量上的不斷提高以及科學家們辛勤的分析研究。對提高預報準確率貢獻價值最高的仍然是氣象觀測數(shù)據(jù)及產(chǎn)品,因此研制出高質(zhì)量、高時空密度的氣象觀測產(chǎn)品數(shù)據(jù),仍將是提高預報準確率以及氣象科學研究最重要的基礎性工作。科學研究工作,沒有捷徑可走,在這里“工匠精神”永遠不會過時。
價值分析
氣象部門之所以引進大數(shù)據(jù)理念和方法,并非為了大數(shù)據(jù)而大數(shù)據(jù),而是為了解決實際工作中存在的問題。因此,氣象大數(shù)據(jù)必須以業(yè)務和工作需求為引領。當業(yè)務或工作中出現(xiàn)的問題沒有合適的數(shù)據(jù)信息,或者雖有數(shù)據(jù)但常規(guī)處理方法無助于問題的解決時,氣象大數(shù)據(jù)也許是一種可以嘗試的解決途徑。
“氣象行業(yè)大數(shù)據(jù)”產(chǎn)生自氣象部門,是氣象部門賴以運轉的最主要資源,同時也是氣象部門各項工作的記錄載體,在所有數(shù)據(jù)資源中,它所含有的氣象信息最濃;故其應用領域首先應在于氣象部門業(yè)務工作的有效運轉,其次才是社會服務。“氣象行業(yè)大數(shù)據(jù)”潛在價值的挖掘和發(fā)揮,也應當以提高氣象部門工作能力為首要目標。用好“氣象行業(yè)大數(shù)據(jù)”,是開展氣象大數(shù)據(jù)工作的重要內(nèi)容和檢驗指標。
與此同時,“氣象行業(yè)大數(shù)據(jù)”與“氣象互聯(lián)網(wǎng)大數(shù)據(jù)”之間的有效融合,有可能大幅提高氣象觀探測的時空密度。
數(shù)據(jù)是為應用服務的,氣象大數(shù)據(jù)必須將業(yè)務和工作做為最主要的引領。氣象大數(shù)據(jù)戰(zhàn)略的首要內(nèi)容,不是數(shù)據(jù)的收集、數(shù)據(jù)源的拓展以及海量數(shù)據(jù)的管理技術,而是氣象工作的持續(xù)創(chuàng)新。在技術創(chuàng)新、原理創(chuàng)新、概念創(chuàng)新和思想創(chuàng)新的氛圍中,不斷涌現(xiàn)出新的應用,根據(jù)新應用在信息和數(shù)據(jù)需求方面的特點,充分發(fā)掘現(xiàn)有數(shù)據(jù)資源的價值,同時有針對性地尋找并拓展新的數(shù)據(jù)資源,合理運用大數(shù)據(jù)有關技術,處理并提煉出新的有價值的信息,以推進創(chuàng)新的不斷實現(xiàn)。與此同時,由于創(chuàng)新本身是不同概念之間的有機連接和融合,多角度的觀察會增加概念連接的機會,大數(shù)據(jù)所固有的關聯(lián)分析以及由此產(chǎn)生的相關事物的現(xiàn)象信息,對開拓概念連接的范圍會有所幫助,對氣象部門在新形勢下的創(chuàng)新當有所裨益。
于是,初始創(chuàng)新啟動大數(shù)據(jù)應用,大數(shù)據(jù)應用促進新的創(chuàng)新——這應該是氣象大數(shù)據(jù)戰(zhàn)略的基本輪廓。

責任編輯:大云網(wǎng)
-
權威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產(chǎn)業(yè),設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務,新能源消納,能源互聯(lián)網(wǎng)
-
新基建助推 數(shù)據(jù)中心建設將迎爆發(fā)期
2020-06-16數(shù)據(jù)中心,能源互聯(lián)網(wǎng),電力新基建 -
泛在電力物聯(lián)網(wǎng)建設下看電網(wǎng)企業(yè)數(shù)據(jù)變現(xiàn)之路
2019-11-12泛在電力物聯(lián)網(wǎng) -
泛在電力物聯(lián)網(wǎng)建設典型實踐案例
2019-10-15泛在電力物聯(lián)網(wǎng)案例
-
新基建之充電樁“火”了 想進這個行業(yè)要“心里有底”
2020-06-16充電樁,充電基礎設施,電力新基建 -
燃料電池汽車駛入尋常百姓家還要多久?
-
備戰(zhàn)全面電動化 多部委及央企“定調(diào)”充電樁配套節(jié)奏
-
權威發(fā)布 | 新能源汽車產(chǎn)業(yè)頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產(chǎn)業(yè),設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業(yè)發(fā)展
-
探索 | 既耗能又可供能的數(shù)據(jù)中心 打造融合型綜合能源系統(tǒng)
2020-06-16綜合能源服務,新能源消納,能源互聯(lián)網(wǎng) -
5G新基建助力智能電網(wǎng)發(fā)展
2020-06-125G,智能電網(wǎng),配電網(wǎng) -
從智能電網(wǎng)到智能城市