hmm在股票市場指數中的應用

1. 求論文（語音識別）

與機器進行語音交流，讓機器明白你說什麼，這是人們長期以來夢寐以求的事情。語音識別技術就是讓機器通過識別和理解過程把語音信號轉變為相應的文本或命令的高技術。語音識別是一門交叉學科。近二十年來，語音識別技術取得顯著進步，開始從實驗室走向市場。人們預計，未來10年內，語音識別技術將進入工業、家電、通信、汽車電子、醫療、家庭服務、消費電子產品等各個領域。
語音識別聽寫機在一些領域的應用被美國新聞界評為1997年計算機發展十件大事之一。很多專家都認為語音識別技術是2000年至2010年間信息技術領域十大重要的科技發展技術之一。
語音識別技術所涉及的領域包括：信號處理、模式識別、概率論和資訊理論、發聲機理和聽覺機理、人工智慧等等。 任務分類和應用 根據識別的對象不同，語音識別任務大體可分為3類，即孤立詞識別（isolated word recognition)，關鍵詞識別（或稱關鍵詞檢出，keyword spotting)和連續語音識別。其中，孤立詞識別 的任務是識別事先已知的孤立的詞，如「開機」、「關機」等；連續語音識別的任務則是識別任意的連續語音，如一個句子或一段話；連續語音流中的關鍵詞檢測針對的是連續語音，但它並不識別全部文字，而只是檢測已知的若干關鍵詞在何處出現，如在一段話中檢測「計算機」、「世界」這兩個詞。
根據針對的發音人，可以把語音識別技術分為特定人語音識別和非特定人語音識別，前者只能識別一個或幾個人的語音，而後者則可以被任何人使用。顯然，非特定人語音識別系統更符合實際需要，但它要比針對特定人的識別困難得多。
另外，根據語音設備和通道，可以分為桌面（PC）語音識別、電話語音識別和嵌入式設備（手機、PDA等）語音識別。不同的採集通道會使人的發音的聲學特性發生變形，因此需要構造各自的識別系統。
語音識別的應用領域非常廣泛，常見的應用系統有：語音輸入系統，相對於鍵盤輸入方法，它更符合人的日常習慣，也更自然、更高效；語音控制系統，即用語音來控制設備的運行，相對於手動控制來說更加快捷、方便，可以用在諸如工業控制、語音撥號系統、智能家電、聲控智能玩具等許多領域；智能對話查詢系統，根據客戶的語音進行操作，為用戶提供自然、友好的資料庫檢索服務，例如家庭服務、賓館服務、旅行社服務系統、訂票系統、醫療服務、銀行服務、股票查詢服務等等。 前端前端處理是指在特徵提取之前，先對原始語音進行處理，部分消除雜訊和不同說話人帶來的影響，使處理後的信號更能反映語音的本質特徵。最常用的前端處理有端點檢測和語音增強。端點檢測是指在語音信號中將語音和非語音信號時段區分開來，准確地確定出語音信號的起始點。經過端點檢測後，後續處理就可以只對語音信號進行，這對提高模型的精確度和識別正確率有重要作用。語音增強的主要任務就是消除環境雜訊對語音的影響。目前通用的方法是採用維納濾波，該方法在雜訊較大的情況下效果好於其它濾波器。處理聲學特徵 聲學特徵的提取與選擇是語音識別的一個重要環節。聲學特徵的提取既是一個信息大幅度壓縮的過程，也是一個信號解卷過程，目的是使模式劃分器能更好地劃分。由於語音信號的時變特性，特徵提取必須在一小段語音信號上進行，也即進行短時分析。這一段被認為是平穩的分析區間稱之為幀，幀與幀之間的偏移通常取幀長的1/2或1/3。通常要對信號進行預加重以提升高頻，對信號加窗以避免短時語音段邊緣的影響。常用的一些聲學特徵* 線性預測系數LPC：線性預測分析從人的發聲機理入手，通過對聲道的短管級聯模型的研究，認為系統的傳遞函數符合全極點數字濾波器的形式，從而n 時刻的信號可以用前若干時刻的信號的線性組合來估計。通過使實際語音的采樣值和線性預測采樣值之間達到均方差最小LMS，即可得到線性預測系數LPC。對 LPC的計算方法有自相關法（德賓Durbin法）、協方差法、格型法等等。計算上的快速有效保證了這一聲學特徵的廣泛使用。與LPC這種預測參數模型類似的聲學特徵還有線譜對LSP、反射系數等等。
* 倒譜系數CEP：利用同態處理方法，對語音信號求離散傅立葉變換DFT後取對數，再求反變換iDFT就可得到倒譜系數。對LPC倒譜（LPCCEP），在獲得濾波器的線性預測系數後，可以用一個遞推公式計算得出。實驗表明，使用倒譜可以提高特徵參數的穩定性。
* Mel倒譜系數MFCC和感知線性預測PLP：不同於LPC等通過對人的發聲機理的研究而得到的聲學特徵，Mel倒譜系數MFCC和感知線性預測 PLP是受人的聽覺系統研究成果推動而導出的聲學特徵。對人的聽覺機理的研究發現，當兩個頻率相近的音調同時發出時，人只能聽到一個音調。臨界帶寬指的就是這樣一種令人的主觀感覺發生突變的帶寬邊界，當兩個音調的頻率差小於臨界帶寬時，人就會把兩個音調聽成一個，這稱之為屏蔽效應。Mel刻度是對這一臨界帶寬的度量方法之一。
MFCC的計算首先用FFT將時域信號轉化成頻域，之後對其對數能量譜用依照Mel刻度分布的三角濾波器組進行卷積，最後對各個濾波器的輸出構成的向量進行離散餘弦變換DCT，取前N個系數。PLP仍用德賓法去計算LPC參數，但在計算自相關參數時用的也是對聽覺激勵的對數能量譜進行DCT的方法。聲學模型語音識別系統的模型通常由聲學模型和語言模型兩部分組成，分別對應於語音到音節概率的計算和音節到字概率的計算。本節和下一節分別介紹聲學模型和語言模型方面的技術。
HMM聲學建模：馬爾可夫模型的概念是一個離散時域有限狀態自動機，隱馬爾可夫模型HMM是指這一馬爾可夫模型的內部狀態外界不可見，外界只能看到各個時刻的輸出值。對語音識別系統，輸出值通常就是從各個幀計算而得的聲學特徵。用HMM刻畫語音信號需作出兩個假設，一是內部狀態的轉移只與上一狀態有關，另一是輸出值只與當前狀態（或當前的狀態轉移）有關，這兩個假設大大降低了模型的復雜度。HMM的打分、解碼和訓練相應的演算法是前向演算法、Viterbi演算法和前向後向演算法。
語音識別中使用HMM通常是用從左向右單向、帶自環、帶跨越的拓撲結構來對識別基元建模，一個音素就是一個三至五狀態的HMM，一個詞就是構成詞的多個音素的HMM串列起來構成的HMM，而連續語音識別的整個模型就是詞和靜音組合起來的HMM。上下文相關建模：協同發音，指的是一個音受前後相鄰音的影響而發生變化，從發聲機理上看就是人的發聲器官在一個音轉向另一個音時其特性只能漸變，從而使得後一個音的頻譜與其他條件下的頻譜產生差異。上下文相關建模方法在建模時考慮了這一影響，從而使模型能更准確地描述語音，只考慮前一音的影響的稱為Bi- Phone，考慮前一音和後一音的影響的稱為Tri-Phone。
英語的上下文相關建模通常以音素為基元，由於有些音素對其後音素的影響是相似的，因而可以通過音素解碼狀態的聚類進行模型參數的共享。聚類的結果稱為senone。決策樹用來實現高效的triphone對senone的對應，通過回答一系列前後音所屬類別（元/輔音、清/濁音等等）的問題，最終確定其HMM狀態應使用哪個senone。分類回歸樹CART模型用以進行詞到音素的發音標注。 語言模型語言模型主要分為規則模型和統計模型兩種。統計語言模型是用概率統計的方法來揭示語言單位內在的統計規律，其中N-Gram簡單有效，被廣泛使用。
N-Gram：該模型基於這樣一種假設，第n個詞的出現只與前面N-1個詞相關，而與其它任何詞都不相關，整句的概率就是各個詞出現概率的乘積。這些概率可以通過直接從語料中統計N個詞同時出現的次數得到。常用的是二元的Bi-Gram和三元的Tri-Gram。
語言模型的性能通常用交叉熵和復雜度（Perplexity）來衡量。交叉熵的意義是用該模型對文本識別的難度，或者從壓縮的角度來看，每個詞平均要用幾個位來編碼。復雜度的意義是用該模型表示這一文本平均的分支數，其倒數可視為每個詞的平均概率。平滑是指對沒觀察到的N元組合賦予一個概率值，以保證詞序列總能通過語言模型得到一個概率值。通常使用的平滑技術有圖靈估計、刪除插值平滑、Katz平滑和Kneser-Ney平滑。 搜索連續語音識別中的搜索，就是尋找一個詞模型序列以描述輸入語音信號，從而得到詞解碼序列。搜索所依據的是對公式中的聲學模型打分和語言模型打分。在實際使用中，往往要依據經驗給語言模型加上一個高權重，並設置一個長詞懲罰分數。
Viterbi：基於動態規劃的Viterbi演算法在每個時間點上的各個狀態，計算解碼狀態序列對觀察序列的後驗概率，保留概率最大的路徑，並在每個節點記錄下相應的狀態信息以便最後反向獲取詞解碼序列。Viterbi演算法在不喪失最優解的條件下，同時解決了連續語音識別中HMM模型狀態序列與聲學觀察序列的非線性時間對准、詞邊界檢測和詞的識別，從而使這一演算法成為語音識別搜索的基本策略。
由於語音識別對當前時間點之後的情況無法預測，基於目標函數的啟發式剪枝難以應用。由於Viterbi演算法的時齊特性，同一時刻的各條路徑對應於同樣的觀察序列，因而具有可比性，束Beam搜索在每一時刻只保留概率最大的前若干條路徑，大幅度的剪枝提高了搜索的效率。這一時齊Viterbi- Beam演算法是當前語音識別搜索中最有效的演算法。 N-best搜索和多遍搜索：為在搜索中利用各種知識源，通常要進行多遍搜索，第一遍使用代價低的知識源，產生一個候選列表或詞候選網格，在此基礎上進行使用代價高的知識源的第二遍搜索得到最佳路徑。此前介紹的知識源有聲學模型、語言模型和音標詞典，這些可以用於第一遍搜索。為實現更高級的語音識別或口語理解，往往要利用一些代價更高的知識源，如4階或5階的N-Gram、4階或更高的上下文相關模型、詞間相關模型、分段模型或語法分析，進行重新打分。最新的實時大詞表連續語音識別系統許多都使用這種多遍搜索策略。
N-best搜索產生一個候選列表，在每個節點要保留N條最好的路徑，會使計算復雜度增加到N倍。簡化的做法是只保留每個節點的若干詞候選，但可能丟失次優候選。一個折衷辦法是只考慮兩個詞長的路徑，保留k條。詞候選網格以一種更緊湊的方式給出多候選，對N-best搜索演算法作相應改動後可以得到生成候選網格的演算法。
前向後向搜索演算法是一個應用多遍搜索的例子。當應用簡單知識源進行了前向的Viterbi搜索後，搜索過程中得到的前向概率恰恰可以用在後向搜索的目標函數的計算中，因而可以使用啟發式的A演算法進行後向搜索，經濟地搜索出N條候選。 系統實現 語音識別系統選擇識別基元的要求是，有準確的定義，能得到足夠數據進行訓練，具有一般性。英語通常採用上下文相關的音素建模，漢語的協同發音不如英語嚴重，可以採用音節建模。系統所需的訓練數據大小與模型復雜度有關。模型設計得過於復雜以至於超出了所提供的訓練數據的能力，會使得性能急劇下降。
聽寫機：大詞彙量、非特定人、連續語音識別系統通常稱為聽寫機。其架構就是建立在前述聲學模型和語言模型基礎上的HMM拓撲結構。訓練時對每個基元用前向後向演算法獲得模型參數，識別時，將基元串接成詞，詞間加上靜音模型並引入語言模型作為詞間轉移概率，形成循環結構，用Viterbi演算法進行解碼。針對漢語易於分割的特點，先進行分割再對每一段進行解碼，是用以提高效率的一個簡化方法。
對話系統：用於實現人機口語對話的系統稱為對話系統。受目前技術所限，對話系統往往是面向一個狹窄領域、詞彙量有限的系統，其題材有旅遊查詢、訂票、資料庫檢索等等。其前端是一個語音識別器，識別產生的N-best候選或詞候選網格，由語法分析器進行分析獲取語義信息，再由對話管理器確定應答信息，由語音合成器輸出。由於目前的系統往往詞彙量有限，也可以用提取關鍵詞的方法來獲取語義信息。 自適應與強健性 語音識別系統的性能受許多因素的影響，包括不同的說話人、說話方式、環境噪音、傳輸信道等等。提高系統魯棒性，是要提高系統克服這些因素影響的能力，使系統在不同的應用環境、條件下性能穩定；自適應的目的，是根據不同的影響來源，自動地、有針對性地對系統進行調整，在使用中逐步提高性能。以下對影響系統性能的不同因素分別介紹解決辦法。
解決辦法按針對語音特徵的方法（以下稱特徵方法）和模型調整的方法（以下稱模型方法）分為兩類。前者需要尋找更好的、高魯棒性的特徵參數，或是在現有的特徵參數基礎上，加入一些特定的處理方法。後者是利用少量的自適應語料來修正或變換原有的說話人無關（SI）模型，從而使其成為說話人自適應（SA）模型。
說話人自適應的特徵方法有說話人規一化和說話人子空間法，模型方法有貝葉斯方法、變換法和模型合並法。
語音系統中的雜訊，包括環境雜訊和錄音過程加入的電子雜訊。提高系統魯棒性的特徵方法包括語音增強和尋找對雜訊干擾不敏感的特徵，模型方法有並行模型組合PMC方法和在訓練中人為加入雜訊。信道畸變包括錄音時話筒的距離、使用不同靈敏度的話筒、不同增益的前置放大和不同的濾波器設計等等。特徵方法有從倒譜矢量中減去其長時平均值和RASTA濾波，模型方法有倒譜平移。 微軟語音識別引擎 微軟在office和vista中都應用了自己開發的語音識別引擎，微軟語音識別引擎的使用是完全免費的，所以產生了許多基於微軟語音識別引擎開發的語音識別應用軟體，例如《語音游戲大師》《語音控制專家》《芝麻開門》等等軟體。 語音識別系統的性能指標 語音識別系統的性能指標主要有四項。①詞彙表范圍：這是指機器能識別的單詞或片語的范圍，如不作任何限制，則可認為詞彙表范圍是無限的。②說話人限制：是僅能識別指定發話者的語音，還是對任何發話人的語音都能識別。③訓練要求：使用前要不要訓練，即是否讓機器先「聽」一下給定的語音，以及訓練次數的多少。④正確識別率：平均正確識別的百分數，它與前面三個指標有關。
小結
以上介紹了實現語音識別系統的各個方面的技術。這些技術在實際使用中達到了較好的效果，但如何克服影響語音的各種因素還需要更深入地分析。目前聽寫機系統還不能完全實用化以取代鍵盤的輸入，但識別技術的成熟同時推動了更高層次的語音理解技術的研究。由於英語與漢語有著不同的特點，針對英語提出的技術在漢語中如何使用也是一個重要的研究課題，而四聲等漢語本身特有的問題也有待解決。

2. 如何用簡單易懂的例子解釋條件隨機場模型它和HMM有什麼區別

概率模型與條件隨機場

1、概率模型
機器學習中的很多模型可以根據概率分布形式分為生成模型和判別模型，其中生成模型以輸入輸出的聯合分布P(X,Y)為基礎建模，如樸素貝葉斯、隱馬爾可夫模型；判別模型以條件概率分布P(Y|X)為基礎建模，如最大熵模型、條件隨機場等。這幾個模型之間有一定的關系，它們的關系如下：

其中，NB表示樸素貝葉斯，ME表示最大熵，HMM表示隱馬爾科夫，CRF表示條件隨機場。joint聯合分布，conditional條件分布。single class輸出單一類別，sequence輸出序列。例如，樸素貝葉斯將輸出y擴展成序列(y1,y2,...,yn)，就可以以此為基礎構造HMM；在滿足輸入條件下的HMM可以擴展成CRF。

這裡面，樸素貝葉斯假設最強 ，因為它要求所有輸入特徵之間條件獨立，如P(y|x1,x2,...,xn)=∏i=1nP(y|xi)；這是一種為計算方便而做的近似假設，然而現實中基本不會有模型符合輸入特徵間的獨立，因此以樸素貝葉斯建模一般會有精度損失。
隱馬爾科夫模型進了一步，它考慮一定的變數相關性，如馬爾科夫假設狀態序列中，當前狀態只與其前一個狀態有關，如：

P(X,Y)=∏i=0nP(yi|yi−1P(xi|yi)
但是HMM只考慮了狀態之間的鄰接關系，沒有考慮觀測序列間的關系，條件隨機場剛好彌補了這個缺陷。所以條件隨機場是一個相對比較完善的模型，但代價是計算復雜性的提高。

2、概率圖模型
上面講到的概率模型可以用圖的形式表示出來，稱為概率圖模型。概率圖模型用圖中結點表示隨機變數，結點之間的邊表示變數間的概率相關關系。

在概率圖中，兩結點沒有邊相連，說明兩節點是條件獨立的，比如P(a,b|c)=P(a|c)⋅P(b|c)。在概率圖中，結點間全連接是不包含任何概率分布信息的，所以我們更關注的是哪些邊是缺失的，這些缺失的邊表示邊連接的結點條件獨立。

下圖中的兩個圖是概率圖的兩種表示形式，一個是獨立圖，一個是因子圖。通過條件獨立的條件，可以將一個復雜的概率分布分解成簡單的概率分布乘積，如下圖中（a）,聯合概率分布P(x1,x2,y)=P(x1)⋅P(x2)⋅P(y|x1,x2)。
若定義因子，也稱勢函數Ψs為概率分布的分解因子，對任意概率圖G=（V,E）,有：

p(V)=∏sΨs(Vs)

其中，s表示隨機變數構成的集合，Vs表示該集合中包含的變數。
則可以將P(x1,x2,y)寫成P(x1,x2,y)=Ψ1⋅Ψ2⋅Ψ3，這里的Ψi分別與獨立圖中的概率對應。

概率圖模型可大致分為兩類：一類是有向圖模型，表示變數間的依賴關系，也稱為貝葉斯網；一類是無向圖模型，表示變數間的相關關系，也稱為馬爾科夫網或馬爾科夫隨機場。
2.1 有向圖模型
在有向圖中，邊表示了變數之間的一種依賴關系。聯合分布概率可以寫作是所有變數在在父節點條件下的概率乘積：

P(V)=∏i=1KP(vk|vnk)

如下圖所示的隱馬爾可夫有向圖，聯合概率可以寫作：

P(x1,x2,x3,y1,y2,y3)=Ψ1(y1)⋅Ψ2(x1,y1)⋅Ψ3(x2,y2)⋅Ψ4(x3,y3)⋅Ψ5(y1,y2)⋅Ψ6(y2,y3)

2.2 無向圖模型
在無向圖模型中，有個團和最大團的概念，表示了變數之間的關系。團的意思是一些隨機變數結點構成的子集中，兩兩結點都有邊相連，如下圖中(1,2)、（1,2,5）等；最大團表示結點構成的團中再添加任何一個新結點後都不會構成團，如（1,4,5）。在一些線性鏈結構的無向圖，如線性鏈條件隨機場中，最大團只考慮(yj−1,yj,x)。

像有向圖的分解一樣，無向圖也可以分解，無向圖是基於最大團進行分解，如下：

P(V)=1Z∏C∈CΨC(VC)

其中每個最大團對應一個勢函數ΨC。是不是跟最大熵模型的形式很相似？因為最大熵模型也是一個無向圖模型。像在最大熵模型中一樣，Z是一個歸一化因子，如下：

Z=∑V∏C∈CΨC(VC)

一般，勢函數要求嚴格非負，所以在使用中會選擇指數函數作為勢函數。如下圖的一個最大熵模型，可以寫作：

P(y|x)=1Zλ(x)eλ1f1⋅eλ2f2⋅eλ3f3

有向圖與無向圖的一個主要區別在於概率分布的分解不同，在概率有向圖中，分解因子是條件概率分布；在無向圖中，分解因子可以是任意函數，無向圖不需要說明變數間是如何關聯的，而是將在一個團中的變數作為一個整體來看。
**3、條件隨機場**
在前面，我們說可以把隱馬爾科夫模型看作是對貝葉斯模型的序列化；類似地，我們可以把條件隨機場看作是對最大熵模型的序列化。條件隨機場並不要求線性序列，即它可以是任意結構的，通常我們使用較多的是線性鏈隨機場，它可以看作是有條件的HMM(即加入了觀測序列x的條件)。
條件隨機場屬於判別模型，即它要求出在觀測序列x的條件下得到可能輸出序列y的概率P(y|x)。
由上面的無向圖分解公式

P(V)=1Z∏C∈CΨC(VC)

條件概率P(y|x)可以寫作：

p(y|x)=p(x,y)p(x)
=p(x,y)∑y′p(y′,x)
=1Z∏C∈CΨC(xC,yC)1Z∑y′∏C∈CΨC(xC,yC)
=1Z(x)∏C∈CΨC(xC,yC)

其中，

Z(x)=∑y′∏C∈CΨC(xC,yC)

下面介紹一下常用的線性鏈條件隨機場，
線性鏈CRFs是條件隨機場中的一種特殊結構，與隱馬爾科夫一樣，輸出形成一個線性序列，如下圖：

根據上面的公式，其條件概率可以寫作，

p(y|x)=1Z(x)∏j=1nΨj(x,y)

其中，n+1表示輸出狀態序列長度，n為勢函數個數。
由圖可知，狀態yj與輸入x和yj−1有關，特徵函數可以寫作：
f(yj−1,yj,x,j)
勢函數：
Ψj(x,y)=exp(∑i=1mλifi(yj−1,yj,x,j))
進而，線性鏈CRFs的條件概率分布可以寫作，

pλ(y|x)=1Zλ(x)exp(∑nj=1∑i=1mλifi(yj−1,yj,x,j))

其中，Zλ(x)是歸一化因子，