最大熵模型在股票市場中的應用

A. 最大熵模型的概述

「熵」最初是熱力學中的一個概念，上世紀40年代，香農首先在資訊理論中引入了信息熵的概念。信息熵用來表示不確定度的度量，不確定度越大，熵值越大。極限情況，當一個隨機變數均勻分布時，熵值最大；完全確定時，熵值為0
第一次系統提出最大熵的原理的一般認為是Jaynes，後來有人提出了相應的演算法來估計對應的統計模型的參數。由於當時計算條件的限制，最大熵模型在人工智慧和自然語言處理領域都沒有得到廣泛應用。上世紀90年代，IBM的研究員應用重新深入的研究了這個問題，系統地描述了條件最大熵的框架和實現演算法，並在自然語言處理任務上取得了非常好的效果，引起了人們的重視。很快條件最大熵模型技術得到了廣泛的傳播，在自然語言處理的各個領域都取得了巨大的成功，在此基礎上的一些深入研究工作也不斷展開。最大熵模型已經成為近年來自然語言處理領域最成功的機器學習方法。
假設我們的分類任務或者預測任務的類別為y，而我們能夠依據的上下文信息記為x。我們希望在不同的給定的上下文x條件下，統計模型能夠給出判為不同類別y的概率值。因此，我們希望能夠建立一種區分性的條件概率模型（注意，我們這里仍然用了的表示形式，但是此處的意義表示的是整個的概率分布，也不再表示具體的實例）。我們用來表示所有這種條件概率模型的集合，而我們期望得到的模型就是中的一種。所謂的條件最大熵模型，就是在一定約束下條件熵最大的模型。
所謂的約束，也就是我們已知的信息，可以認為我們希望模型在這些信息上能和訓練數據匹配。而熵最大，則表明除約束外，我們不再做未知的假設。在條件最大熵模型中，約束是通過特徵的形式來體現的。這里的特徵和語音識別等領域的特徵有所不同，它表示成和的函數的形式，表示了x的某種屬性和y的共現情況。特徵函數理論上可以取任何實數值（早期因為訓練演算法的原因只能取正值），在自然語言處理領域一般表示為0-1的指示函數的形式，例如：
我們定義特徵函數f的經驗期望如下：
表示樣本在訓練語料中出現的經驗概率：
而特徵函數f的模型期望為：
最大熵模型的約束就是使得任意特徵的經驗期望和模型期望相等：
我們認為我們定義的特徵集合描述了訓練樣本的信息，而我們的模型在這些信息的層面上和訓練數據保持了一致。
我們將滿足這些約束的條件概率的中的一個子集定義為，而條件熵的定義為：
那我們需要得到的就是在中條件熵最大的模型p：
根據概率公式的定義，我們還有另外一個約束：
那麼[]和[]構成了一個約束最優化問題，可以用拉格朗日乘子法來計算：
可以解得模型p的形式為：
這就是條件最大熵模型的形式，而對應的
這里的拉格朗日乘子相當於特徵的權重，為了以後討論的方便，換用表示：
如果已知模型是上式的形式，那麼在訓練數據上的log似然值為：
通過上式我們可以發現，通過最大似然求解最優權將和的結果是一樣的。也就是說在約束下的條件熵最大的模型也就是具有形式且使得在訓練數據上似然值最大的模型。

B. 誰知道最大熵原理在投資中的應用如何建立模型呢

test1234567890

C. 最大熵在社會生活中有什麼哪些應用呢

簡單說,就是若是一個封閉環境,專制下的等級制度(低熵)到民主下的自由平等(高熵)是一個自發過程和必然轉變。專制等級制度(低熵)下,每一個個體被禁錮在特定的位置,自由度很低。要維持維護這種專制等級的低熵,就必須要有武裝暴力、思想禁錮、言論管制等等強加的牆和壁壘,而這一切維穩需要不停地耗費資源、能量來輸入,從而形成正反饋循環,直至崩潰瓦解到狀態的改變。(最壞結果是變成所有個體都死亡寂滅,人人絕對平等的高熵狀態。)而完全自由平等(高熵)下,每一個個體在每一個位置的概率都是一樣的,沒有特權、沒有壁壘,從而維護這樣一個狀態,無需額外的輸入和消耗。(當然也會是一個極度混亂沒有秩序的社會,你擁有的東西也是別人擁有的。)然而社會不能真正的絕對自由和無政府,為了保障每一個人的自由而不侵犯他人的權利,就需要基本的契約、法治和敬畏,政府法治、道德規范、宗教信仰的作用就是以較小的輸入和消耗,從而維護每個人被保障的自由。所以,一個有秩序的社會,根據其對每個個體自由的尊重和秩序維護成本的高低,可基本判斷這個穩定的持續性。
滿意請採納

D. 最大熵原理的發展狀況

前段時間，Google 中國研究院的劉駿總監談到在網路搜索排名中，用到的信息有上百種。更普遍地講，在自然語言處理中，我們常常知道各種各樣的但是又不完全確定的信息，我們需要用一個統一的模型將這些信息綜合起來。如何綜合得好，是一門很大的學問。
讓我們看一個拼音轉漢字的簡單的例子。假如輸入的拼音是wang-xiao-bo，利用語言模型，根據有限的上下文(比如前兩個詞)，我們能給出兩個最常見的名字「王小波」和「王曉波」。至於要唯一確定是哪個名字就難了，即使利用較長的上下文也做不到。當然，我們知道如果通篇文章是介紹文學的，作家王小波的可能性就較大；而在討論兩岸關系時，台灣學者王曉波的可能性會較大。在上面的例子中，我們只需要綜合兩類不同的信息，即主題信息和上下文信息。雖然有不少湊合的辦法，比如：分成成千上萬種的不同的主題單獨處理，或者對每種信息的作用加權平均等等，但都不能准確而圓滿地解決問題，這樣好比以前我們談到的行星運動模型中的小圓套大圓打補丁的方法。在很多應用中，我們需要綜合幾十甚至上百種不同的信息，這種小圓套大圓的方法顯然行不通。

E. 能夠用數學模型預測股市嗎

能，如最大熵模型。決定股票漲跌的因素可能有幾十甚至上百種，而最大熵模型恰恰能找到一個同時滿足成千上萬種不同條件的模型。本答案摘自《數學之美》（第二版）（吳軍 著），如想了解詳細情況可參看本書第20章《不要把雞蛋放到一個籃子里——談談最大熵模型》

F. 最大熵原理的應用實例

例3.1為一隨機變數, ,利用最大熵原理來估計 。
解:系統的熵值
約束條件為
構造Lagrange函數
求解6元方程組(將作為變數)
沒有約束條件時的最大熵分布為
此時的熵為。由於約束條件提供了更多的信息,減小了系統的不確定性。
例3.2
解:由定理2.1,作泛函其歐拉方程為
解得:
將這一結果回代入兩個約束條件當中,可解得使目標泛函達到極值的概率密度
這是正態分布的概率密度。
得泛函 取極值的概率密度 應滿足
對應此式的輔助泛函
可解得
可回代上式入約束條件解出。
連續熵的極大問題比較復雜,約束條件多種多樣整形約束、微分約束、等周約束等等。可能有些問題還會附加一些邊界條件,上面的例子只是一些基本算例。對於復雜問題,在誤差允許范圍內進行數值計算也是解決問題的一個途徑。

G. 如何理解最大熵模型裡面的特徵

「熵」最初是熱力學中的一個概念，上世紀40年代，香農首先在資訊理論中引入了信息熵的概念。信息熵用來表示不確定度的度量，不確定度越大，熵值越大。極限情況，當一個隨機變數均勻分布時，熵值最大；完全確定時，熵值為0第一次系統提出最大熵的原理。

H. ARCH模型在股票收益率分析中的應用是怎樣的

假設用標准差表示的條件波動率在某一期間圍繞0.5%和3%之間波動。如果投資者有一個對應與標准普爾500指數的資產組合，那麼明天該投資者有多少資本面臨損失？假設預測標准差是0.5%，他的損失(99%的概率)將不會超過資產組合價值的1.2%。如果預測標准差是3%，相應的資本損失將高達6.7%。同樣，在銀行和其他金融機構計算資產組合的市場風險時，在險價值(VaR：ValueatRisk)也至關重要。從1996以來，巴塞爾(Basle)國際協議規定了銀行在控制資本充足率時要使用在險價值。ARCH成為金融部門風險評估中不可缺少的工具。

I. 最大熵模型有什麼用

最大熵模型可以用來解決分類問題，思路是所有分類模型中熵最大的模型就是最優的模型

J. 最大熵原理的相關模型

最漂亮的辦法是最大熵(maximum entropy)模型，它相當於行星運動的橢圓模型。「最大熵」這個名詞聽起來很深奧，但是它的原理很簡單，我們每天都在用。說白了，就是要保留全部的不確定性，將風險降到最小。讓我們來看一個實際例子。
有一次，我去 AT&T 實驗室作關於最大熵模型的報告，我帶去了一個色子。我問聽眾「每個面朝上的概率分別是多少」，所有人都說是等概率，即各點的概率均為1/6。這種猜測當然是對的。我問聽眾們為什麼，得到的回答是一致的：對這個「一無所知」的色子，假定它每一個朝上概率均等是最安全的做法。（你不應該主觀假設它象韋小寶的色子一樣灌了鉛。）從投資的角度看，就是風險最小的做法。從資訊理論的角度講，就是保留了最大的不確定性，也就是說讓熵達到最大。接著，我又告訴聽眾，我的這個色子被我特殊處理過，已知四點朝上的概率是三分之一，在這種情況下，每個面朝上的概率是多少？這次，大部分人認為除去四點的概率是 1/3，其餘的均是 2/15，也就是說已知的條件（四點概率為 1/3）必須滿足，而對其餘各點的概率因為仍然無從知道，因此只好認為它們均等。注意，在猜測這兩種不同情況下的概率分布時，大家都沒有添加任何主觀的假設，諸如四點的反面一定是三點等等。（事實上，有的色子四點反面不是三點而是一點。）這種基於直覺的猜測之所以准確，是因為它恰好符合了最大熵原理。
最大熵原理指出，當我們需要對一個隨機事件的概率分布進行預測時，我們的預測應當滿足全部已知的條件，而對未知的情況不要做任何主觀假設。（不做主觀假設這點很重要。）在這種情況下，概率分布最均勻，預測的風險最小。因為這時概率分布的信息熵最大，所以人們稱這種模型叫「最大熵模型」。我們常說，不要把所有的雞蛋放在一個籃子里，其實就是最大熵原理的一個樸素的說法，因為當我們遇到不確定性時，就要保留各種可能性。
回到我們剛才談到的拼音轉漢字的例子，我們已知兩種信息，第一，根據語言模型，wang-xiao-bo 可以被轉換成王曉波和王小波；第二，根據主題，王小波是作家，《黃金時代》的作者等等，而王曉波是台灣研究兩岸關系的學者。因此，我們就可以建立一個最大熵模型，同時滿足這兩種信息。匈牙利著名數學家、資訊理論最高獎香農獎得主希薩（Csiszar）證明，對任何一組不自相矛盾的信息，這個最大熵模型不僅存在，而且是唯一的。而且它們都有同一個非常簡單的形式 --指數函數。