2010年4月9日 星期五

SSVM

平滑方式,廣泛地用於重要的數學規劃問題的求解和應用,是應用在這裡產生和解決一個不受約束的順利重新支持向量機模式分類方法完全任意內核。

長期這樣,我們重新順利支持向量機(平滑支撐)。

快速牛頓阿米霍算法求解平滑支撐全球和二次收斂。

數值模擬結果和比較,給出證明的效力和速度的算法。在六大公開數據集,10倍交叉驗證正確性平滑支撐最高,較其他四個方法以及最快。

在較大的問題,是比較平滑支撐或高於 SVMlight [17],長遠發展策略研究[23]和SMO [27]。

平滑支撐還可以生成一個高度非線性的分離表面,如棋盤。


=========================================================================
平滑方法已廣泛用於解決重要的數學規劃問題 [8,9,7,10,11,16,29,13]。 本文介紹了一種新配方的支持向量機的線性(5)和非線性內核(24)[30,5,6,21]的模式分類。 我們開始與線性案件可以被轉換為一個無約束最優化問題(7)。 由於目標函數的約束優化問題是這不是兩次微,我們採用平滑技術引入光滑支持向量機(平滑支撐)(9)。 光滑的支持向量機具有重要的數學性質如強凸性和無限經常微性。 基於這些特性,我們可以證明,當在平滑支撐平滑參數的方法無限,獨特的解決方案的平滑支撐收斂於唯一解原優化問題(5)。


我們還訂明牛頓阿米霍算法(即牛頓法一步長確定的簡單阿米霍規則,最終成為多餘),以解決平滑支撐,並表明該算法在全球和二次收斂的獨特解決方案的平滑支撐。 要構造一個非線性分類器,一個非線性內核 [30 21]用於獲取非線性支持向量機(24)和其相應的平穩版(25)與一個完全任意內核。 光滑的配方(25)同一個內核保留了強大的非線性凸和兩次可微的,因此我們可以運用牛頓阿米霍算法來解決它。


我們簡單介紹一下該文件的內容了。
第2節我們國家的模式分類問題,並推導出平滑無約束支持向量機(9)從一個約束優化配方(5)。
定理2.2表明,獨特的解決方案我們的光滑逼近問題(9)將接近的獨特解決方案的原始豪放優化問題(7)為平滑參數趨於無窮大。
阿牛頓阿米霍算法3.1解決平滑支撐全局收斂與二次所示定理3.2。
在第4節,我們擴大平滑支撐,構建一個非線性分類器通過一個非線性的內核。
所有牛頓阿米霍的匯合點,適用於本非線性核心的提法。
數值試驗和比較,給出第5節。
對於中等規模的數據集,平滑支撐了最高10倍交叉驗證正確性六公開的數據集,以及最快的時候,比其他四個方法得到[2,4]。
為了證明平滑支撐的能力,解決大問題,我們比較平滑支撐與超鬆弛法(SOR)算法[23],序列最小優化(SMO)算法[27]和SVMlight [17]關於歐文機器學習數據庫倉庫成人數據集[26]。
原來,與線性平滑支撐是非常有效的內核這個大集。通過使用非線性內核,平滑支撐可以得到非常尖銳分離的高度非線性棋盤格局[18]作為描繪在圖 4和5。

 
為了使這個文件自足,證明我們國家和全球二次收斂性定理的牛頓阿米霍方法在附錄是受僱於定理3.2。
關於我們的一個字符號和背景材料。將所有的向量列向量,除非移植到一個行向量由總理上標'。
對於一個向量x的n維實空間氡,加函數 x +是 定義為(x +)=我最大(0,)第十一,我= 1,。 。 。 ,注
標量(內)產品兩個向量x和y的n -維實空間 Rn的將記為 x'y和P -範的X將記為 kxkp。
對於一個矩陣 A∈室×氮,愛是第i行的A是一個行向量的氡。阿列向量的任意尺寸由E.將記
我們將運用 MATLAB的“點”符號 [25],以顯示應用程序的功能,所有組件的一個矩陣或向量。例如,如果A∈室× n,則酶A2•∈室× n的矩陣表示將得到A的每個元素平方
對於一個∈室和B∈× n的氡× L時,核K(甲,乙)地圖室的n × × ×升成氡室×湖特別是,如果x和y是列向量,然後在氡,鉀(十',y)是一個實數,鉀(十',一個')是一個行向量在室和K(甲,甲')是一米× m矩陣。
如果f是一個實值函數定義在n維實空間 Rn的,梯度的f在x是記為∇函數 f(x),這是一個行向量中氡和黑森州的n × n矩陣的第二部分衍生物f在x是記為∇2樓(十)。
水平集的F被定義為Lμ(六)=序列(X |函數 f(x)≤μ)為給定的實數μ。該基地 自然對數將被記為“。



===========================================================
在第二節的平滑支撐向量機建造的制定線性分離面(3)我們的分類問題。

 
現在,我們描述了如何構建一個非線性隱式分離表面,定義一個內核函數。
現在,我們簡要介紹如何廣義支持向量機(GSVM)[21]產生的非線性分離表面使用完全任意內核。
該 GSVM解決了以下的數學方案一般核K(甲,甲'):



=======================================================
現在我們證明的效力和速度的平滑支撐向量機(平滑支撐)的方式,比較它與其他數值方法。
所有參數的平滑支撐算法被選為最佳性能在調整集,替代了測試集。

 
對於一個線性內核,我們分為兩部分的比較,中等規模的問題和更大的問題。
我們還測試了在創造能力的平滑支撐一個高度非線性表面分離。
雖然我們建立全球性和二次收斂的牛頓算法根據阿米霍步長規則,在實踐中阿米霍步長已關閉所有數值試驗沒有任何明顯的改變。

沒有留言:

張貼留言