如何爬取股票软件数据库
1. 如何下载股票历史成交数据到Excel或txt
网络搜：大富翁数据中心，他们有提供这个，价格也不贵，花点小钱办大事，历史一分钟，五分钟，任意分钟都有，还有分笔，逐笔等，股票期货外汇全有。 还有每天盘后提供下载
2. 如何利用一些 finance 数据库 api 批量获取股票信息
使用Yahoo API获取股票信息。
3. 如何提取股票软件中的实时数据
盘后数据下载！选择即时数据。不过有些软件只提供分钟数据，而不提供分时数据
4. 如何获取股票数据与历史数据以数据库方式存储的
股票历史数据查询有个很不错的网页工具可以推荐，地址是http://tool.cnfunny.cn/#/打开就可以直接使用，还可以大批量下载，方便省事！
5. 如何利用一些 finance 数据库 api 批量获取股票信息
1、通过API获取实时数据
请求地址
http://finance.yahoo.com/d/quotes.csv?s=<股票名称>&f=<数据列选项>
参数
s –表示股票名称，多个股票之间使用英文加号分隔，如”XOM+BBDb.TO+JNJ+MSFT”，罗列了四个公司的股票：XOM,BBDb.TO, JNJ, MSFT。
f – 表示返回数据列，如”snd1l1yr”。更详细的参见雅虎股票 API f参数对照表。
2、通过API获取历史数据
请求地址
http://ichart.yahoo.com/table.csv?s=<string>&a=<int>&b=<int>&c=<int>&d=<int>&e=<int>&f=<int>&g=d&ignore=.csv
参数
s – 股票名称
a – 起始时间，月
b – 起始时间，日
c – 起始时间，年
d – 结束时间，月
e – 结束时间，日
f – 结束时间，年
g – 时间周期。Example: g=w, 表示周期是’周’。d->’日’(day),w->’周’(week)，m->’月’(mouth)，v->’dividendsonly’
一定注意月份参数，其值比真实数据-1。如需要9月数据，则写为08。
3、通过API获取深沪股票数据
雅虎的API是国际性的，支持查询国内沪深股市的数据，但代码稍微变动一下，如浦发银行的代号是：600000.SS。规则是：上海市场末尾加.ss，深圳市场末尾加.sz。
最近股市甚火，受聘开发一股票网站，股票的数据从哪里来成了一个大问题，股票软件一般都是加密处理的，还有一些webservices也是要帐号 的，免费的方法只有一种了，抓别人网站的数据。好在经我研究，发现yahoo提供国内和国外股市每天的交易数据资料，这可谓一大幸事啊。
http://table.finance.yahoo.com/table.csv?s=ibm&d=6&e=22&f=2006&g=d&a=11&b=16&c=1991&ignore=.csv
上面的链接可以抓取IBM股票从1991年11月16日起到2006年6月22的数据。把ibm改成sohu，就可以抓到sohu的股票数据了。
http://table.finance.yahoo.com/table.csv?s=sohu&d=6&e=22&f=2008&g=d&a=11&b=16&c=2008&ignore=.csv
上面链接可以抓搜狐股票的数据。
那么中国股市的数据有没有呢？答案是肯定的，不过要按照下面的参数做些调整，下面提供全球证券交易所的资料。
上证股票是股票代码后面加上.ss，深证股票是股票代码后面加上.sz
例如：000001 = 000001.sz
深市数据链接：http://table.finance.yahoo.com/table.csv?s=000001.sz
上市数据链接：http://table.finance.yahoo.com/table.csv?s=600000.ss
上证综指代码：000001.ss，深证成指代码：399001.SZ，沪深300代码：000300.ss
下面就是世界股票交易所的网址和缩写，要查找哪个股票交易所的数据，就按照上面的格式以此类推。
上海交易所=cn.finance.yahoo.com,.SS,Chinese,sl1d1t1c1ohgv
深圳交易所=cn.finance.yahoo.com,.SZ,Chinese,sl1d1t1c1ohgv
美国交易所=finance.yahoo.com,,United States,sl1d1t1c1ohgv
加拿大=ca.finance.yahoo.com,.TO,Toronto,sl1d1t1c1ohgv
新西兰=au.finance.yahoo.com,.NZ,sl1d1t1c1ohgv
新加坡=sg.finance.yahoo.com,.SI,Singapore,sl1d1t1c1ohgv
香港=hk.finance.yahoo.com,.HK,Hong Kong,sl1d1t1c1ohgv
台湾=tw.finance.yahoo.com,.TW,Taiwan,sl1d1t1c1ohgv
印度=in.finance.yahoo.com,.BO,Bombay,sl1d1t1c1ohgv
伦敦=uk.finance.yahoo.com,.L,London,sl1d1t1c1ohgv
澳洲=au.finance.yahoo.com,.AX,Sydney,sl1d1t1c1ohgv
巴西=br.finance.yahoo.com,.SA,Sao Paulo,sl1d1t1c1ohgv
瑞典=se.finance.yahoo.com,.ST,Stockholm,sl1d1t1c1ohgv
6. 如何实时获取大智慧之类股票软件的数据源
我的股票分析软件组合是： 大智慧+谦穗
1、看盘用谦穗超强版，因为谦穗超强版提供的信息多，尤其是盘中能实时的发出买卖点提示。
2、大智慧提供了重要的交易信息——股东数。谦穗的风险提示和彪股指标都能反映个股每日动向，这些功能有重要的参考价值。
7. 开发炒股软件，从哪里获得股票数据
行情数据源在上交所和深交所。需要购买。而且很贵。
象我们平常看到行情，是券商营业部所买，我们连到他们服务器，而接收到数据。
P2P数据接口使用说明(1)2009-03-18 08:58接口使用说明:
1. 压缩包包含四个文件，分别为P2P.exe，P2P.CFG，zlib.dll和使用说明.txt，可以解压到任意盘任意目录下使用。
2. 支持的行情分析软件有:
(1) 分析家2006，2005等，要求分析家主窗口标题最前面的几个字是"分析家 -"，是否是破解版关系不大，最好是下载分析家官方网站的正版分析家，网址是http://www.fxj.com.cn，分析家其他版本号是否支持，我也没全做试验。
(2) 飞狐交易师，支持飞狐交易师，要求飞狐交易师主窗口标题最前面的几个字是"飞狐交易师"或"证券分析师"，是否是破解版关系不大，最好是支持正版，用正版的。
(3) 大智慧新一代，要求大智慧主窗口标题最前面的几个字是"大智慧Level" 支持的版本号有 09.0226，08.0907，08.0801，07.0205 共四个。
注：如果分析软件的窗口标题不符合上面说的，则分析软件无法接收数据。以上三个分析软件最好都是正版的，只要下载正版的软件，安装后，无需做任何修改即可使用。接口再次说明一下，接口中的四个文件解压到任意目录下使用都可以，而无需解压到某个分析软件的某个目录下，或替代某个分析软件的某个文件。接口完全是绿色的，无需安装，也不会在注册表中留下任何信息。
3. 每天9:15分以后用行情软件中的数据管理功能先清除当天的行情数据，然后把右下角“发送数据”发送数据前面的钩选上。
4. 如果不能在开盘前打开该软件，比如10点半才打开，那么该接口会自动补充10点半之前的行情数据，为了能够尽快的把前面的数据补充完毕，请把速度调节到100以上。但如果是飞狐，则把该值调低一些，否则飞狐会来不及处理数据，把大量的数据放到内存中，造成飞狐使用内存越来越大，最后由于内存耗完造成飞狐或接口非法退出。大智慧和分析家则不存在这个问题。
5. 收盘后，该接口具有白天行情的回放功能，回放前，最好先清除行情软件中当天的行情数据。
6. 该接口由于是P2P接收数据，因此数据接收需要种子，只有和别的种子连上了，你就能接收数据了，你至少要和一个种子连上，当然，你连上别的种子后，你也就能称为种子了，你也就能为别的人提供数据服务功能了。
7. 两个人要连接成功，最好两个人中有一个人的IP地址是公网地址，如果两个全是内网地址则相互无法直接联通，必须借助第三方才能联通，该方法这里不再介绍了。
8. 如果网络情况比较良好，则行情数据的延时一般不会大于0.5秒。
9. 接口的P2P连接信息中的字段说明
(1). 远程完成--为该IP接收到完整数据包的个数。
(2). 远程请求--为该IP请求你发送的数据包序号。
(3). 本机请求--为本机请求远程发送数据包序号。
(4). 请求返回--远程响应本机请求的次数。
8. 如何编程从免费股票软件中提取实时数据
自己写程序的话，一种方法是从已提供的信息源，例如webservice获取数据。还有种办法就是去连接提供即时信息的网页硬解析。
代码举例如下：
Created on Thu Jul 23 09:17:27 2015
@author: jet
"""
DAY_PRICE_COLS = ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20', 'turnover']
DAY_PRICE_URL = '%sapi.finance.%s/%s/?code=%s&type=last'
INDEX_KEY = ['SH', 'SZ', 'HS300', 'SZ50', 'GEB', 'SMEB']
INDEX_LIST = {'SH': 'sh000001', 'SZ': 'sz399001', 'HS300': 'sz399300',
'SZ50': 'sh000016', 'GEB': 'sz399006', 'SMEB': 'sz399005'}
INDEX_DAY_PRICE_COLS= ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20']
K_TYPE_KEY = ['D', 'W', 'M']
K_TYPE_MIN_KEY = ['5', '15', '30', '60']
K_TYPE = {'D': 'akdaily', 'W': 'akweekly', 'M': 'akmonthly'}
MIN_PRICE_URL = '%sapi.finance.%s/akmin?scode=%s&type=%s'
PAGE_TYPE = {'http': 'http://', 'ftp': 'ftp://'}
PAGE_DOMAIN = {'sina': 'sina.com.cn', 'ifeng': 'ifeng.com'}
URL_ERROR_MSG = '获取失败，请检查网络状态，或者API端口URL已经不匹配！'
get_hist_data.py
# -*- coding: utf-8 -*-
"""
Created on Thu Jul 23 09:15:40 2015
@author: jet
"""
import const as ct
import pandas as pd
import json
from urllib2 import urlopen,Request
def get_hist_data(code = None, start = None, end = None, ktype = 'D'):
"""
功能:
获取个股历史交易数据
--------
输入:
--------
code:string
股票代码 比如:601989
start:string
开始日期 格式:YYYY-MM-DD 为空时取到API所提供的最早日期数据
end:string
结束日期 格式:YYYY-MM-DD 为空时取到最近一个交易日数据
ktype:string(default=D, 函数内部自动统一为大写)
数据类型 D=日K线，W=周K线，M=月K线，5=5分钟，15=15分钟
30=30分钟，60=60分钟
输出:
--------
DataFrame
date 日期
open 开盘价
high 最高价
close 收盘价
low 最低价
chg 涨跌额
p_chg 涨跌幅
ma5 5日均价
ma10 10日均价
ma20 20日均价
vma5 5日均量
vma10 10日均量
vma20 20日均量
turnover换手率(指数无此项)
"""
code = code_to_APIcode(code.upper())
ktype = ktype.upper()
url = ''
url = get_url(ktype, code)
print(url)
js = json.loads(ping_API(url))
cols = []
if len(js['record'][0]) == 14:
cols = ct.INDEX_DAY_PRICE_COLS
else:
cols = ct.DAY_PRICE_COLS
df = pd.DataFrame(js['record'], columns=cols)
if ktype in ct.K_TYPE_KEY:
df = df.applymap(lambda x:x.replace(u',', u''))
for col in cols[1:]:
df[col]=df[col].astype(float)
if start is not None:
df = df [df.date >= start]
if end is not None:
df = df[df.date <= end]
df = df.set_index('date')
return df
def code_to_APIcode(code):
"""
功能：
验证输入的股票代码是否正确，若正确则返回API对应使用的股票代码
"""
print(code)
if code in ct.INDEX_KEY:
return ct.INDEX_LIST[code]
else:
if len(code) != 6:
raise IOError('code input error!')
else:
return 'sh%s'%code if code[:1] in ['5', '6'] else 'sz%s'%code
def get_url(ktype, code):
"""
功能：
验证输入的K线类型是否正确，若正确则返回url
"""
if ktype in ct.K_TYPE_KEY:
url = ct.DAY_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
ct.K_TYPE[ktype], code)
return url
elif ktype in ct.K_TYPE_MIN_KEY:
url = ct.MIN_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
code, ktype)
return url
else:
raise IOError('ktype input error!')
def ping_API(url):
"""
功能：
向API发送数据请求，若链接正常返回数据
"""
text = ''
try:
req = Request(url)
text = urlopen(req,timeout=10).read()
if len(text) < 15:
raise IOError('no data!')
except Exception as e:
print(e)
else:
return text
#测试入口
print(get_hist_data('601989','2015-07-11','2015-07-22'))
9. 如何使用python抓取炒股软件中资金数据
这个说来有点复杂，用fiddle监控软件跟服务器间的通讯，找到数据源地址，然后用excel或python抓这个源地址数据，可能还要加上反扒代码，构造时间戳等等，你网上找python网抓视频教程看看就知道了。
10. 怎么获取股票数据c++ api
基本都是自己封装CTP接口，程序端实现多账户、多策略的行情信号接收和委托提交/回报处理。也可以用 QuantBox/QuantBox_XAPI · GitHub 这样的封装的比较好、多接口统一API的项目直接整合到程序化平台的项目中使用。
通过程序接口用证券、期货账号登录后订阅品种的行情，证券、商品期货、股指期货、期权（全真模拟，9号就有实盘行情）都可以接收交易所的快照数据（例如商
品、股指都是500ms一个快照，数据结构也比较完整）。然后交易平台可以把行情数据广播给各个策略程序，程序根据量化策略的逻辑判断是否下单？挂单的方
式如何？挂单失败是否追单？如何追单？
策略程序判断要下单，则提交指令到程序化交易平台，平台把各个帐号各个品种中策略的逻辑持仓汇总为实际持仓，然后通过接口提交委托，并且处理委托回报。
行情数据一方面广播给策略程序，一方面自己存数据库，存下来的数据通过完整性检测后，可以自己合成低频率的数据，如
1分钟、30分钟、1小时、日度等等，这些数据会被用于策略回测，也可以用于市场微观结构的观察和研究，例如可以通过优化挂单方式来降低交易滑点。
Matlab可以做一些回测，实盘可能是比较不易用的。一般可以用C++, Java, C#来利用CTP程序化交易接口实现实盘平台，策略研究推荐用R做数据分析、统计、处理、可视化、策略分析、自动报告，用Rcpp（R调用C++）或者直接C++实现高性能回测，用单机并行或集群实现批量回测。