大數據的32個核心算法
奧地利符號計算研究所(Research Institute for Symbolic Computation,簡稱RISC)的Christoph Koutschan博士在自己的頁面上發布了一篇
奧地利符號計算研究所(Research Institute for Symbolic Computation,簡稱RISC)的Christoph Koutschan博士在自己的頁面上發布了一篇文章,提到他做了一個調查,參與者大多數是計算機科學家,他請這些科學家投票選出最重要的算法,以下是這次調查的結果,按照英文名稱字母順序排序。
大數據
- 1、A* 搜索算法——圖形搜索算法,從給定起點到給定終點計算出路徑。其中使用了一種啟發式的估算,為每個節點估算通過該節點的最佳路徑,并以之為各個地點排定次序。算法以得到的次序訪問這些節點。因此,A*搜索算法是最佳優先搜索的范例。
- 2、集束搜索(又名定向搜索,Beam Search)——最佳優先搜索算法的優化。使用啟發式函數評估它檢查的每個節點的能力。不過,集束搜索只能在每個深度中發現最前面的m個最符合條件的節點,m是固定數字——集束的寬度。
- 3、二分查找(Binary Search)——在線性數組中找特定值的算法,每個步驟去掉一半不符合要求的數據。
- 4、分支界定算法(Branch and Bound)——在多種最優化問題中尋找特定最優化解決方案的算法,特別是針對離散、組合的最優化。
- 5、Buchberger算法——一種數學算法,可將其視為針對單變量最大公約數求解的歐幾里得算法和線性系統中高斯消元法的泛化。
- 6、數據壓縮——采取特定編碼方案,使用更少的字節數(或是其他信息承載單元)對信息編碼的過程,又叫來源編碼。
- 7、Diffie-Hellman密鑰交換算法——一種加密協議,允許雙方在事先不了解對方的情況下,在不安全的通信信道中,共同建立共享密鑰。該密鑰以后可與一個對稱密碼一起,加密后續通訊。
- 8、Dijkstra算法——針對沒有負值權重邊的有向圖,計算其中的單一起點最短算法。
- 9、離散微分算法(Discrete differentiation)。
- 10、動態規劃算法(Dynamic Programming)——展示互相覆蓋的子問題和最優子架構算法
- 11、歐幾里得算法(Euclidean algorithm)——計算兩個整數的最大公約數。最古老的算法之一,出現在公元前300前歐幾里得的《幾何原本》。
- 12、期望-最大算法(Expectation-maximization algorithm,又名EM-Training)——在統計計算中,期望-最大算法在概率模型中尋找可能性最大的參數估算值,其中模型依賴于未發現的潛在變量。EM在兩個步驟中交替計算,第一步是計算期望,利用對隱藏變量的現有估計值,計算其最大可能估計值;第二步是最大化,最大化在第一步上求得的最大可能值來計算參數的值。
- 13、快速傅里葉變換(Fast Fourier transform,FFT)——計算離散的傅里葉變換(DFT)及其反轉。該算法應用范圍很廣,從數字信號處理到解決偏微分方程,到快速計算大整數乘積。
- 14、梯度下降(Gradient descent)——一種數學上的最優化算法。
- 15、哈希算法(Hashing)。
- 16、堆排序(Heaps)。
- 17、Karatsuba乘法——需要完成上千位整數的乘法的系統中使用,比如計算機代數系統和大數程序庫,如果使用長乘法,速度太慢。該算法發現于1962年。
- 18、LLL算法(Lenstra-Lenstra-Lovasz lattice reduction)——以格規約(lattice)基數為輸入,輸出短正交向量基數。LLL算法在以下公共密鑰加密方法中有大量使用:背包加密系統(knapsack)、有特定設置的RSA加密等等。
- 19、最大流量算法(Maximum flow)——該算法試圖從一個流量網絡中找到最大的流。它優勢被定義為找到這樣一個流的值。最大流問題可以看作更復雜的網絡流問題的特定情況。最大流與網絡中的界面有關,這就是最大流-最小截定理(Max-flow min-cut theorem)。Ford-Fulkerson 能找到一個流網絡中的最大流。
- 20、合并排序(Merge Sort)。
- 21、牛頓法(Newton's method)——求非線性方程(組)零點的一種重要的迭代法。
- 22、Q-learning學習算法——這是一種通過學習動作值函數(action-value function)完成的強化學習算法,函數采取在給定狀態的給定動作,并計算出期望的效用價值,在此后遵循固定的策略。Q-leanring的優勢是,在不需要環境模型的情況下,可以對比可采納行動的期望效用。
- 23、兩次篩法(Quadratic Sieve)——現代整數因子分解算法,在實踐中,是目前已知第二快的此類算法(僅次于數域篩法Number Field Sieve)。對于110位以下的十位整數,它仍是最快的,而且都認為它比數域篩法更簡單。
- 24、RANSAC——是“RANdom SAmple Consensus”的縮寫。該算法根據一系列觀察得到的數據,數據中包含異常值,估算一個數學模型的參數值。其基本假設是:數據包含非異化值,也就是能夠通過某些模型參數解釋的值,異化值就是那些不符合模型的數據點。
- 25、RSA——公鑰加密算法。首個適用于以簽名作為加密的算法。RSA在電商行業中仍大規模使用,大家也相信它有足夠安全長度的公鑰。
- 26、Schönhage-Strassen算法——在數學中,Schönhage-Strassen算法是用來完成大整數的乘法的快速漸近算法。其算法復雜度為:O(N log(N) log(log(N))),該算法使用了傅里葉變換。
- 27、單純型算法(Simplex Algorithm)——在數學的優化理論中,單純型算法是常用的技術,用來找到線性規劃問題的數值解。線性規劃問題包括在一組實變量上的一系列線性不等式組,以及一個等待最大化(或最小化)的固定線性函數。
- 28、奇異值分解(Singular value decomposition,簡稱SVD)——在線性代數中,SVD是重要的實數或復數矩陣的分解方法,在信號處理和統計中有多種應用,比如計算矩陣的偽逆矩陣(以求解最小二乘法問題)、解決超定線性系統(overdetermined linear systems)、矩陣逼近、數值天氣預報等等。
- 29、求解線性方程組(Solving a system of linear equations)——線性方程組是數學中最古老的問題,它們有很多應用,比如在數字信號處理、線性規劃中的估算和預測、數值分析中的非線性問題逼近等等。求解線性方程組,可以使用高斯—約當消去法(Gauss-Jordan elimination),或是柯列斯基分解( Cholesky decomposition)。
- 30、Strukturtensor算法——應用于模式識別領域,為所有像素找出一種計算方法,看看該像素是否處于同質區域( homogenous region),看看它是否屬于邊緣,還是是一個頂點。
- 31、合并查找算法(Union-find)——給定一組元素,該算法常常用來把這些元素分為多個分離的、彼此不重合的組。不相交集(disjoint-set)的數據結構可以跟蹤這樣的切分方法。合并查找算法可以在此種數據結構上完成兩個有用的操作:
- 查找:判斷某特定元素屬于哪個組。
- 合并:聯合或合并兩個組為一個組。
- 32、維特比算法(Viterbi algorithm)——尋找隱藏狀態最有可能序列的動態規劃算法,這種序列被稱為維特比路徑,其結果是一系列可以觀察到的事件,特別是在隱藏的Markov模型中。
責任編輯:售電衡衡
免責聲明:本文僅代表作者個人觀點,與本站無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。
我要收藏
個贊
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網
-
新基建助推 數據中心建設將迎爆發期
2020-06-16數據中心,能源互聯網,電力新基建 -
泛在電力物聯網建設下看電網企業數據變現之路
2019-11-12泛在電力物聯網 -
泛在電力物聯網建設典型實踐案例
2019-10-15泛在電力物聯網案例
-
權威發布 | 新能源汽車產業頂層設計落地:鼓勵“光儲充放”,有序推進氫燃料供給體系建設
2020-11-03新能源,汽車,產業,設計 -
中國自主研制的“人造太陽”重力支撐設備正式啟運
2020-09-14核聚變,ITER,核電 -
能源革命和電改政策紅利將長期助力儲能行業發展
-
探索 | 既耗能又可供能的數據中心 打造融合型綜合能源系統
2020-06-16綜合能源服務,新能源消納,能源互聯網 -
5G新基建助力智能電網發展
2020-06-125G,智能電網,配電網 -
從智能電網到智能城市