機器學習到底是如何預測股市的

⑴ 基於微信大數據的股票預測研究

基於微信大數據的股票預測研究
大數據是近些年來的熱門話題，無論國際上還是國內，影響很大。經濟學、政治學、社會學和許多科學門類都會發生巨大甚至是本質上的變化和發展，進而影響人類的價值體系、知識體系和生活方式。而全球經濟目前生成了史無前例的大量數據，如果把每天產生的大量數據比作神話時期的大洪水是完全正確的，這個數據洪流是我們前所未見的，他是全新的、強大的、當然，也是讓人恐慌但又極端刺激的。
而我所分享的話題，正是在互聯網環境下，如何利用大數據技術，進行股票預測的研究。–今天，我想分享我認為有意義的四點。
1.大數據下的商業預測
根據大數據，我們可以有效地進行故障、人流、流量、用電量、股票市場、疾病預防、交通、食物配送、產業供需等方面的預測。而本文我們所關心的內容是股票市場的預測。
大數據的核心是預測，預測依賴於對數據的分析。那麼分析的方法是否是基於隨機采樣的結果而設計的，這樣的分析方法是否會有誤差？
從傳統認識上，由於資源和科技的局限，如人和計算資源受限、從計算機處理能力來講無法處理全部數據來獲取人們所關注的結果。因此隨機采樣應運而生，通過所選取的個體來代表全體，如使用隨機抽取的方式來使得推論結果更科學。但既然提到了大數據，它是資源發展到一定程度、以及技術發展到一定階段產生的一個新的認識。如同電力的出現，使人類進入了一個快速發展階段，大數據也一樣，它的含義是全體樣本，從整體樣本來做推論。在本文大數據的含義是所有股票在整個社交網路上的流動信息，從數據源上講，本文沒有採用所有社交網路上的數據，只分析了微信這個最具代表性的社交媒體作為信息源。
互動數據能反映用戶情緒，搜索數據能反映用戶的關注點和意圖，在股市預測時這兩種數據哪種更具有參考價值？
我認為都有價值，互動數據反映了用戶對某一特定股票的喜好和厭惡，可以簡單描述為對該股票的操作是繼續持有還是賣出；而搜索數據則代表用戶在收集該股票信息的過程，它是關注度的概念，某隻股票搜索度高則意味著消息的影響力大。互動代表著方向，搜索代表著振幅。
我們知道這兩種數據得出的結論會有差異，您是如何平衡這兩種數據反映的情況來進行預測的？
正如上一個問題里提到的，如果是股票推薦，買進賣出等原則問題，則應該考慮互動數據，但如果已經買到手了，搜索數據可以提供一個幅度的概念，類似債券評級A級、AA級、AAA級等，供投資者參考，因為不同投資者對風險的承受度是不同的。
將股票和市場的消息整理成140字的短消息發布，是否意味著主要發布渠道是微博？現在微信公眾號很火，有沒有考慮通過這個渠道也發布消息？
事實上，信息傳播的方式很多，微信作為新媒體當然影響力不容小覷，但目前技術投入最小的還是郵件、簡訊等方式，未來會考慮使用公眾號來推送股票和市場消息。
如果在未來通過微信公眾號推送消息，那麼推送的消息會不會作為數據來源被再次採集？這會有多大的影響？
會被採集，但互聯網上的每日關於個股的信息數量會達到很大，該推送會增加推薦股票1點權重，每隻股票的權重成百上千，因此影響極小。
數據來源是微信公眾號，除了准確性的考慮之外，是否還考慮過這樣收集數據會較少觸犯個人隱私？
從法律角度來看，搜索微信或其他個人聊天記錄，是侵犯個人隱私權的，因此如果騰訊開放了這樣的介面，每個公民都可以對這樣的行為進行投訴、抗議、甚至進行法律起訴直至其改正過錯、賠償損失的。
這樣是否意味著即使存在違法的行為，其結果也是由騰訊來承擔，而我們作為數據的使用方不需要承擔任何法律責任？
在整個社會，我們作為系統技術提供方，應恪守大數據的倫理道德，遵守國家法律，如侵犯個人隱私，系統不會採集，谷歌有一句座右銘「谷歌不作惡」，本文提到的系統也一樣。
2.基於大數據進行股票推薦實驗
股票的及時度反應了微信文章所發布的時效性，及時度越高，數據價值就越大。
股票的熱度反應了當前某隻股票被關注的頻度，關注頻度越大，上漲的可能性越高。

數據的完整性：我們採用循環的方式對所有深滬兩地發行約2236隻股票（創業版除外）在微信搜索網站上的搜索結果進行保存。
數據的一致性：文件格式由負責保存數據文件的程序決定，單一的流程保障了文件的一致性。
數據的准確性：由於所分析的訂閱號文章的是由微信公共平台的公眾號所提供，在一定程度上杜絕了虛假消息對於預測系統的破壞。
數據的及時性：考慮到磁碟讀寫以及採集程序所處的網路帶寬，以及搜索引擎對於採集程序的屏蔽，程序中採集兩條信息之間間隔了5秒，因此理論上11180秒（3.1個小時）可收集完當日推薦所需要的數據。對於每個交易日，在9點-9點30分之間採集所有數據，需要7台以上的設備可達到最佳效果。本次試驗受限於試驗設備，在一台設備上，交易日每天早六時開始進行數據採集，也滿足及時性要求。
數據分析：查看三個高優先順序的股票，該股票當日的開盤價與收盤價，再與當日（2015-4-8）上證綜指進行比較，可得在收益上該演算法是優於上證綜指為樣本的整體股票的股價差收益的。
實驗結論：按照上述方式，系統每天推薦出當日股票，在開盤時進行買進，在第二個交易日進行賣出。經過一個月21個交易日（2015-3-1至2015-3-31），系統的收益為20%/月。通過微信搜索公眾號來預測市場走勢和投資情緒呈現出正相關性，因此可以作為股票甄選的因子。
3.股票預測的大數據發展趨勢
網路數據分成三種：
一是瀏覽數據，主要用於電商領域的消費者行為分析，瀏覽數據反映了用戶每一步的訪問腳步，進一步刻畫出用戶的訪問路徑，分析不同頁面的跳轉概率等。
二是搜索數據，主要指搜索引擎記錄的關鍵詞被搜索頻次的時間序列數據，能反映數億用戶的興趣、關注點、意圖。
三是互動數據，主要是微博、微信、社交網站的數據，反映用戶的傾向性和情緒因素。
2013年諾貝爾經濟學獎得主羅伯特?席勒的觀點被無數采訪對象引述。席勒於上世紀80年代設計的投資模型至今仍被業內稱道。在他的模型中，主要參考三個變數：投資項目計劃的現金流、公司資本的估算成本、股票市場對投資的反應（市場情緒）。他認為，市場本身帶有主觀判斷因素，投資者情緒會影響投資行為，而投資行為直接影響資產價格。
計算機通過分析新聞、研究報告、社交信息、搜索行為等，藉助自然語言處理方法，提取有用的信息；而藉助機器學習智能分析，過去量化投資只能覆蓋幾十個策略，大數據投資則可以覆蓋成千上萬個策略。
基於互聯網搜索數據和社交行為的經濟預測研究，已逐漸成為一個新的學術熱點，並在經濟、社會以及健康等領域的研究中取得了一定成果。在資本市場應用上，研究發現搜索數據可有效預測未來股市活躍度（以交易量指標衡量）及股價走勢的變化。
對於搜索數據：互聯網搜索行為與股票市場的關聯機理。這個研究屬於行為金融與互聯網的交叉領域，其原理是：股票量價調整是投資者行為在股票市場上的反應；與此同時，投資者行為在互聯網搜索市場也有相應地行為跡象，我們要做到是：找到互聯網搜索市場中領先於股票交易的行為指標，綜合眾多投資者的先行搜索指標，對未來的股票交易做出預判。
如同天氣預報那樣，不斷優化模型、灌入海量信息，然後給出結果。並且在處理的信息中，有80%是「非結構化」數據，例如政策文件、自然事件、地理環境、科技創新等，這類信息通常是電腦和模型難以消化的。採用了語義分析法，可以將互動數據里的金融對話量化為「-1（極度看空）」到「1（極度看多）」之間的投資建議，通過分析互動數據的數據文本，作為股市投資的信號。
4.正在發生的未來
大數據並不是一個充斥著演算法和機器的冰冷世界，人類的作用依然無法被完全替代。大數據為我們提供的不是最終答案，只是參考答案，幫助是暫時的，而更好的方法和答案還在不久的將來。
大數據在實用層面的影響很廣泛，解決了大量的日常問題。大數據更是利害攸關的，它將重塑我們的生活、工作和思維方式。在某些方面，我們面臨著一個僵局，比其他劃時代創新引起的社會信息范圍和規模急劇擴大所帶來的影響更大。我們腳下的地面在移動。過去確定無疑的事情正在受到質疑。大數據需要人們重新討論決策、命運和正義的性質。擁有知識曾意味著掌握過去，現在則意味著能夠預測未來。
大數據並不是一個充斥著演算法和機器的冰冷世界，其中仍需要人類扮演重要角色。人類獨有的弱點、錯覺、錯誤都是十分必要的，因為這些特性的另一頭牽著的是人類的創造力、直覺和天賦。這提示我們應該樂於接受類似的不準確，因為不準確正是我們之所以為人的特徵之一。就好像我們學習處理混亂數據一樣，因為這些數據服務的是更加廣大的目標。必將混亂構成了世界的本質，也構成了人腦的本職，而無論是世界的混亂還是人腦的混亂，學會接受和應用他們才能得益。
我相信，利用基礎數據、搜索數據、互動數據再進行加權計算，可以對所有股票進行大數據遴選，從而給出投資建議。我認為，我們的肉身剛剛步入大數據時代，但我們的精神還滯留在小數據、采樣思維之中，率先用理性擊碎固有思維的人，也將率先獲得大數據帶來的益處。

⑵ 股票不能通過機器學習來預測，你知道是為什麼嗎

因為股票市場是非線性的，而且是變化多端的，所以是沒有辦法進行人為預測的。而機器一般都是被人設定好的程序，所以也沒有辦法對股票來進行預測。現在很多人都對理財比較感興趣，所以大家都會對自己的財產進行合理的分配有些人就會拿出自己一些財產來進行炒股。炒股是一門學問，所以並不是每一個人都能夠在故事當中獲得大量的收益的。

機器只能夠模擬過去的股票市場，讓大家在學習股票的時候對股票行情和市場有一個基本的了解。但是機器是沒有辦法預測未來的，所以想要通過機器來預測股市是根本不可能的事情。所以那些想要走捷徑，想通過機器預測股票行情的人還是腳踏實地的自己買一些相關的書籍和課程自己學習吧。

⑶ 機器學習在量化交易裡面有多大的用處

曾有朋友問過，國內現在量化領域機器學習應用的少，是否因為效果不如簡單的策略。其實，把機器學習應用在量化交易上始終面臨著兩難，卻並不是無解的兩難。很多時候並不是機器學習不work，而是真正懂如何用正確科學的統計思維使用Machine Learning的人才太少。
機器學習涉及到特徵選擇、特徵工程、模型選擇、數據預處理、結果的驗證和分析等一整套建模流程，廣義角度來說就不單單是模型選擇的問題。所以，如果認為「用支持向量機成功預測股票漲跌」 這樣的研究，就是把機器學習應用於量化交易，這種狹義的認識無疑是買櫝還珠，對機器學習領域散落遍地的珍珠視而不見。如果把機器學習的崛起放在歷史進程中考量，無非就是趨勢的延續：現在，可通過系統的數據分析證實過去模糊不定的經驗，機器學習演算法將未曾被察覺的規律得以浮現紙面。
在我看來，未來的發展概有兩個方向：
1.針對量化交易的統計學習演算法被提出，使其適合於雜訊大，分布不穩定的金融數據分析；
2.對於機器學習的熱情回歸理性，從工具為導向回歸到問題為導向。
針對如何以問題為導向，在機器學習演算法中挑選合適的工具，分享一些思路。
1.多因子模型的因子權重計算
當我們在構建多因子模型且已經選定了一系列因子之後，要如何根據不同的市場情況調整各個因子的權重呢？在以往的研究中發現，與其它演算法相比較，隨機森林演算法對於存在非線性、噪音和自變數共線性的訓練集的分析結果更出色。所以，目前在多因子模型的權重上，採用當期收益率對上期因子進行隨機森林回歸分析，以確定下一期多因子模型的因子權重。
2.缺失值處理
處理缺失值在金融的量化分析中是個無可避免的問題。選取合理的缺失值處理方法，依賴於數據本身的特點、數據缺失的情況、其對應的經濟學意義，以及我們需要使用數據進行何種計算。在嘗試構建多因子模型時，我們選擇了兩種缺失值替換方法：（1）採用期望最大化演算法 來用同一變數的已知數據對缺失值進行極大似然估計。（2）把模型中包含的所有因子作為特徵變數，並賦予其相同的權重，再採用機器學習中的K-近鄰演算法來尋找最相似的標的，保證缺失值替換後，不會強化一部分因子的影響力。
其實在量化領域，機器學習解決著線性模型天生的缺陷或弊端，所以還是有著很深的介入的。除去凸優化、降維(提取市場特徵)等領域的應用，目前「非動態性」和「非線性」是兩個重要的弊端。金融關系之間並非靜態，很多時候也不是線性的。統計學習的優勢此時就會體現出來，它們能夠迅速地適應市場，或者用一種更「准確的」方式來描述市場。
在國內，機器學習在量化內應用跟領域有很大的關系，跟頻率也有很大的關系。比如，CTA的運用可能就要多於股票，它處理數據的維度要遠小於股票，獲取市場的長度和動態又強於股票。股票市場的momentum要弱於期貨市場的momentum，它的趨勢與股票相比更明顯和低雜訊。這些特徵對於機器學習發揮作用都更加有利。
很可能國內一些交易執行演算法的設計上就借鑒了機器學習。我們可以通過學習訂單薄特徵，對下一期盤口變化做一些概率上的預測，經過一定樣本的訓練之後，可以顯著地提升演算法表現。
而我仍謹慎看好深度學習等機器學習方法的原因在於，在認識市場上，現行的大部分方法與這些方法並不在一個維度上，這個優勢讓它們與其他方法相比，捕捉到更多的收益。也就是說，一個新的認識市場的角度才能帶來alpha。

⑷ 機器學習可以預測股票走向，靠譜么

可以參考，但是我覺得也應該有自己的一套股市思路，綜合起來才能在股市穩定盈利

⑸ 股票風險預測時，如何才能知道預測結果是否正確

隨著機器學習和人工智慧的興起，預測：只需幾行代碼，就可以在初露頭角的數據愛好者處輕松訪問最新模型，且他們已經准備好隨時攻克可能遇到的一切任務。

但是一知半解是危險的，雖然機器學習的大部分可以歸因於統計和編程，但同樣重要的是領域知識，但它往往被忽略。這一點在投資領域最為明顯。

金融時間序列數據的信噪比一直都非常低，這種細微差別令人難以置信，從業人員花費了大量的精力來嘗試實現難以捉摸的目標，但只有少數成功。因此，需要對數據進行更深入的了解，並且找出其成功的共通之處。

很多項目都是從選擇一隻股票開始的，這只股票通常是蘋果(Apple)或亞馬遜(Amazon)等科技公司的股票，原因很簡單，這些公司眾所周知，並在消費者的日常生活中根深蒂固。

這是有問題的，因為選股不是一個任意的過程，它是投資決策過程的一部分，本身需要一個模型。

以蘋果為例，如果我們將其表現與更廣泛的標准普爾500指數(SP 500)進行對比，我們會發現蘋果的表現比該指數高出近60%。

乍一看，EWMA對標普500指數的預測非常准確，但如果我們仔細觀察市場下滑的時期，就會發現情況並非看上去那樣。

盡管藍線和橙線似乎緊密相連，但EWMA策略僅能融合過去的信息，即它只包含了過去的信息，無法應對日內波動的信息，因此往往導致它預測上漲，但實際是下跌，反之亦然。在此期間採取這種策略，其表現將遜於標普500指數。

結論

在開始一個股票預測項目之前，特別是在你打算投入實際資金的項目之前，先對這個主題做一些研究並了解數據是有好處的。

如果結果好得令人難以置信。由於參與者的數量越來越多，而且參與者的水平也越來越高，市場在價格發現方面極其有效，尤其是在股票方面。

盡管這可能不會排除潛在機會的可能性，但這意味著需要比即時可用的演算法和標准預處理技術更多的努力才能找到它。

⑹ 深度學習做股票預測靠譜嗎

之前，利用DBN去做股票市場的收益預測，輸入變數是市場行情數據，財務報表數據和一些技術因子，效果僅僅勉強跑贏hs300. 當時希望利用DBN，像處理圖片一樣，可以detect complex and nonlinear relationship between this variables，但是結果並不滿意，甚至同樣輸入了，RF，GBDT都跑到了不錯。現在感覺主要問題還是因為這些原始變數的雜訊大，另外還有就是正則化並沒有做好。
Data pre－processing 非常的重要。
之前研究過Barra 因子，裡面的每一個因子，雖然在生成上並沒有什麼技巧，剔除outlier，歸一化，線性回歸，正交化。基本上都是這些運算元。但是每一個都有一些logic。回看一些股票多因子的Fama French,1992,1993 的研究框架，更是感覺做金融計量的人和做機器學習的人思維的不同，做金融計量的人在數據分析上預處理很多，邏輯比較嚴密，並且logic大於統計技巧。我想如果在股票量化策略上，借鑒這種金融計量的思想，對於機器學習的技巧取得成功是必不可少的。

結論就是不可以

⑺ 有沒有大佬能利用機器學習預測30天後股票漲跌情況啊，我實現不出來，頭都大了

考慮兩個最簡單的模型，第一個是趨勢跟隨，也就是正在上漲的股票後面大概率還會延續上漲，正在下跌的股票後面大概率還會延續下跌。第二個是均值回歸，就是跌得多了，一定會漲；漲的過頭了，一定會跌。用這兩個作為輸出，實現預測。