量化股票投资免费NoSQL数据库适合
A. 如何建立一个股票量化交易模型并仿真
研究量化投资模型的目的是找出那些具体盈利确定性的时空价格形态,其最重要手段的概率取胜,最重要的技术是概率统计,最主要的研究方向是市场行为心理。那么我们在选择用于研究的参数时,也应该用我们的经验来确定是否把某技术参数放进去,因为一般来说定性投资比较好用的参数指标对量化投资同样适用。
量化投资区别于传统定性投资的主要特征在于模型。我打个比方,我们看病,中医与西医的诊疗方法是不同,中医是望、闻、问、切,最后判断出的结果,很大程度上基于中医的经验,主观定性程度大一些;西医就不同了,先要病人去拍片子、化验等,这些都要依托于医学仪器,最后得出结论,对症下药。中医对医生的经验要求非常高,他们的主观判断往往决定了治疗效果,而西医则要从容得多,按事先规定好的程序走就行了。量化投资就是股票投资中的西医,它可以比较有效地矫正理智与情绪的不兼容现象。
量化投资的一般思路:选定某些技术指标(我们称之为参数,往往几个组成一组),并将每一个参数的数据范围进行分割,成几等份。然后,用计算机编程写出一段能对这些参数组对股票价格造成的影响进行数据统计的程序,连接至大型数据库进行统计计算,自动选择能够达到较高收益水平的参数组合。但是选出这些参数组后还不能马上应用,因为这里涉及到一个概率陷阱的问题,比如说,有1到100这一百个数字放在那里,现在让你选择,请问你选到100的可能性是多大?是的,就是1/100,如果较幸运你选到了100并不能说明你比别人聪明,而是概率的必然。所以,在进行统计时要特别关注统计的频率与选出的结果组数量之间的关系。在选出符合要求的参数组后我们还应留出至少三年的原始市场数据进行验证,只有验证合格后才能试用。
量化投资原始数据策略:我们选用96年后的市场数据,因为96年股市有过一次交易政策改革(你可以自己查询了解一下),为了不影响研究结果我们不采纳96年以前的数据进数据库。
量化投资研究的硬设备:高计算性能电脑,家用电脑也可以,不过运算时间会很长,我曾经用家用电脑计算了三个月时间才得到想要的数据。
统计方法:可以选用遗传算法,但我在这里陪大家做的是比较简单的模型,所以采用普通统计方法就可以了。
用于量化研究的软件:我采用的是免费的大型数据库MYSQL,ASP网络编程语言,以及可以设置成网络服务器的旗舰版WIN7操作系统。
B. 请教一下,现在比较流行的免费数据库有哪些呢哪些比较适合小公司里用呢
3.1 MySQL简介
SQL Server数据库是目前最流行的关系数据库系统之一,它对服务器的要求比较低,并包含了视图的灵活运用、触发器与存储过程、用户自定义数据类型与自定义函数、维护数据的完整性等功能,有很强的实用性。
SQL Server是一个多用户、多线程SQL数据库服务器。SQL(结构化查询语言)是世界上最流行的和标准化的数据库语言。MySQL是凭一个客户机/服务器结构的形式来实现的,它由一个服务器守护程序和很多不同的客户程序和库组成。
SQL是一种标准化的语言,它使得存储、更新和存取信息更容易。例如,你能用SQL语言为一个网站检索产品信息及存储顾客信息,同时MySQL也足够快和灵活以允许你存储记录文件和图像MySQL与其他数据库管理系统相比,它具有许多的优势:
(1)MySQL是一个关系数据库管理系统。
(2)MySQL是开源的,也就是所它是免费的,可以减少许多企业的成本。
(3)MySQL系统的速度非常快,同时它的性能也是十分优良的。
(4)MySQL服务器实用性很强,能够工作在客户/服务器或嵌入系统中。
(5)我们可以有大量的MySQL软件可以使用,。
由于其体积小、速度快、成本低,世界上许多中小型网站选择了MySQL作为网站数据库。
C. 选择哪种nosql数据库
NoSQL不像传统关系型库那样有统一的标准,也不具有普适性。所以要根据应用和数据的存取特征来选择适合的NoSQL。
如果以前没有接触过NoSQL,MongoDB是一个比较好的选择,他支持的所以和查询能力是所有NoSQL中最强大的,缺点是索引的成本和文档大小限制。
如果是使用Hadoop大数据分析,数据基本上不存在修改,只是插入和查询,并且需要配合Hadoop的MR任务,HBase会是很好的选择。
如果要求有很强的扩展能力,高并发读写和维护方便,Casaandra则是不错的选择。
当然除了上面三个流行的NoSQL,还有很多优秀的NoSQL数据库,而且他们都有各自擅长领域,所以需要了解你们产品自身的特点然后分析选择哪种才是最适合的,往往在大型系统中不是单一的数据库,而是使用多种数据库组合。
D. nosql数据库的基本要求
Nosql全称是Not Only SQL,是一种不同于关系型数据库的数据库管理系统设计方式。对NoSQL最普遍的解释是“非关系型的”,强调Key-Value Stores和文档数据库的优点,而不是单纯的反对RDBMS
E. python量化哪个平台可以回测模拟实盘还不要钱
Python量化投资框架:回测+模拟+实盘
Python量化投资 模拟交易 平台 1. 股票量化投资框架体系 1.1 回测 实盘交易前,必须对量化交易策略进行回测和模拟,以确定策略是否有效,并进行改进和优化。作为一般人而言,你能想到的,一般都有人做过了。回测框架也如此。当前小白看到的主要有如下五个回测框架: Zipline :事件驱动框架,国外很流行。缺陷是不适合国内市场。 PyAlgoTrade : 事件驱动框架,最新更新日期为16年8月17号。支持国内市场,应用python 2.7开发,最大的bug在于不支持3.5的版本,以及不支持强大的pandas。 pybacktest :以处理向量数据的方式进行回测,最新更新日期为2个月前,更新不稳定。 TradingWithPython:基于pybacktest,进行重构。参考资料较少。 ultra-finance:在github的项目两年前就停止更新了,最新的项目在谷歌平台,无奈打不开网址,感兴趣的话,请自行查看吧。 RQAlpha:事件驱动框架,适合A股市场,自带日线数据。是米筐的回测开源框架,相对而言,个人更喜欢这个平台。 2 模拟 模拟交易,同样是实盘交易前的重要一步。以防止类似于当前某券商的事件,半小时之内亏损上亿,对整个股市都产生了恶劣影响。模拟交易,重点考虑的是程序的交易逻辑是否可靠无误,数据传输的各种情况是否都考虑到。 当下,个人看到的,喜欢用的开源平台是雪球模拟交易,其次是wind提供的模拟交易接口。像优矿、米筐和聚宽提供的,由于只能在线上平台测试,不甚自由,并无太多感觉。 雪球模拟交易:在后续实盘交易模块,再进行重点介绍,主要应用的是一个开源的easytrader系列。 Wind模拟交易:若没有机构版的话,可以考虑应用学生免费版。具体模拟交易接口可参看如下链接:http://www.dajiangzhang.com/document 3 实盘 实盘,无疑是我们的终极目标。股票程序化交易,已经被限制。但对于万能的我们而言,总有解决的办法。当下最多的是破解券商网页版的交易接口,或者说应用爬虫爬去操作。对我而言,比较倾向于食灯鬼的easytrader系列的开源平台。对于机构用户而言,由于资金量较大,出于安全性和可靠性的考虑,并不建议应用。 easytrader系列当前主要有三个组成部分: easytrader:提供券商华泰/佣金宝/银河/广发/雪球的基金、股票自动程序化交易,量化交易组件 easyquotation : 实时获取新浪 / Leverfun 的免费股票以及 level2 十档行情 / 集思路的分级基金行情 easyhistory : 用于获取维护股票的历史数据 easyquant : 股票量化框架,支持行情获取以及交易 2. 期货量化投资框架体系 一直待在私募或者券商,做的是股票相关的内容,对期货这块不甚熟悉。就根据自己所了解的,简单总结一下。 2.1 回测 回测,貌似并没有非常流行的开源框架。可能的原因有二:期货相对股票而言,门槛较高,更多是机构交易,开源较少; 去年至今对期货监管控制比较严,至今未放开,只能做些CTA的策略,另许多人兴致泱泱吧。 就个人理解而言,可能wind的是一个相对合适的选择。 2.2 模拟 + 实盘 vn.py是国内最为流行的一个开源平台。起源于国内私募的自主交易系统,2015年初启动时只是单纯的交易API接口的Python封装。随着业内关注度的上升和社区不断的贡献,目前已经一步步成长为一套全面的交易程序开发框架。如官网所说,该框架侧重的是交易模块,回测模块并未支持。 能力有限,如果对相关框架感兴趣的话,就详看相关的链接吧。个人期望的是以RQAlpha为主搭建回测框架,以雪球或wind为主搭建模拟框架,用easy系列进行交易。
F. NoSQL自动生成上千万的数据可以有哪些方法
1. CouchDB
所用语言: Erlang
特点:DB一致性,易于使用
使用许可: Apache
协议: HTTP/REST
双向数据复制,
持续进行或临时处理,
处理时带冲突检查,
因此,采用的是master-master复制(见编注2)
MVCC – 写操作不阻塞读操作
可保存文件之前的版本
Crash-only(可靠的)设计
需要不时地进行数据压缩
视图:嵌入式 映射/减少
格式化视图:列表显示
支持进行服务器端文档验证
支持认证
根据变化实时更新
支持附件处理
因此, CouchApps(独立的 js应用程序)
需要 jQuery程序库
最佳应用场景:适用于数据变化较少,执行预定义查询,进行数据统计的应用程序。适用于需要提供数据版本支持的应用程序。
例如: CRM、CMS系统。 master-master复制对于多站点部署是非常有用的。
(编注2:master-master复制:是一种数据库同步方法,允许数据在一组计算机之间共享数据,并且可以通过小组中任意成员在组内进行数据更新。)
2. Redis
所用语言:C/C++
特点:运行异常快
使用许可: BSD
协议:类 Telnet
有硬盘存储支持的内存数据库,
但自2.0版本以后可以将数据交换到硬盘(注意, 2.4以后版本不支持该特性!)
Master-slave复制(见编注3)
虽然采用简单数据或以键值索引的哈希表,但也支持复杂操作,例如 ZREVRANGEBYSCORE。
INCR & co (适合计算极限值或统计数据)
支持 sets(同时也支持 union/diff/inter)
支持列表(同时也支持队列;阻塞式 pop操作)
支持哈希表(带有多个域的对象)
支持排序 sets(高得分表,适用于范围查询)
Redis支持事务
支持将数据设置成过期数据(类似快速缓冲区设计)
Pub/Sub允许用户实现消息机制
最佳应用场景:适用于数据变化快且数据库大小可遇见(适合内存容量)的应用程序。
例如:股票价格、数据分析、实时数据搜集、实时通讯。
(编注3:Master-slave复制:如果同一时刻只有一台服务器处理所有的复制请求,这被称为
Master-slave复制,通常应用在需要提供高可用性的服务器集群。)
3. MongoDB
所用语言:C++
特点:保留了SQL一些友好的特性(查询,索引)。
使用许可: AGPL(发起者: Apache)
协议: Custom, binary( BSON)
Master/slave复制(支持自动错误恢复,使用 sets 复制)
内建分片机制
支持 javascript表达式查询
可在服务器端执行任意的 javascript函数
update-in-place支持比CouchDB更好
在数据存储时采用内存到文件映射
对性能的关注超过对功能的要求
建议最好打开日志功能(参数 –journal)
在32位操作系统上,数据库大小限制在约2.5Gb
空数据库大约占 192Mb
采用 GridFS存储大数据或元数据(不是真正的文件系统)
最佳应用场景:适用于需要动态查询支持;需要使用索引而不是 map/rece功能;需要对大数据库有性能要求;需要使用
CouchDB但因为数据改变太频繁而占满内存的应用程序。
例如:你本打算采用 MySQL或 PostgreSQL,但因为它们本身自带的预定义栏让你望而却步。
4. Riak
所用语言:Erlang和C,以及一些Javascript
特点:具备容错能力
使用许可: Apache
协议: HTTP/REST或者 custom binary
可调节的分发及复制(N, R, W)
用 JavaScript or Erlang在操作前或操作后进行验证和安全支持。
使用JavaScript或Erlang进行 Map/rece
连接及连接遍历:可作为图形数据库使用
索引:输入元数据进行搜索(1.0版本即将支持)
大数据对象支持( Luwak)
提供“开源”和“企业”两个版本
全文本搜索,索引,通过 Riak搜索服务器查询( beta版)
支持Masterless多站点复制及商业许可的 SNMP监控
最佳应用场景:适用于想使用类似 Cassandra(类似Dynamo)数据库但无法处理
bloat及复杂性的情况。适用于你打算做多站点复制,但又需要对单个站点的扩展性,可用性及出错处理有要求的情况。
例如:销售数据搜集,工厂控制系统;对宕机时间有严格要求;可以作为易于更新的 web服务器使用。
5. Membase
所用语言: Erlang和C
特点:兼容 Memcache,但同时兼具持久化和支持集群
使用许可: Apache 2.0
协议:分布式缓存及扩展
非常快速(200k+/秒),通过键值索引数据
可持久化存储到硬盘
所有节点都是唯一的( master-master复制)
在内存中同样支持类似分布式缓存的缓存单元
写数据时通过去除重复数据来减少 IO
提供非常好的集群管理 web界面
更新软件时软无需停止数据库服务
支持连接池和多路复用的连接代理
最佳应用场景:适用于需要低延迟数据访问,高并发支持以及高可用性的应用程序
例如:低延迟数据访问比如以广告为目标的应用,高并发的 web 应用比如网络游戏(例如 Zynga)
6. Neo4j
所用语言: Java
特点:基于关系的图形数据库
使用许可: GPL,其中一些特性使用 AGPL/商业许可
协议: HTTP/REST(或嵌入在 Java中)
可独立使用或嵌入到 Java应用程序
图形的节点和边都可以带有元数据
很好的自带web管理功能
使用多种算法支持路径搜索
使用键值和关系进行索引
为读操作进行优化
支持事务(用 Java api)
使用 Gremlin图形遍历语言
支持 Groovy脚本
支持在线备份,高级监控及高可靠性支持使用 AGPL/商业许可
最佳应用场景:适用于图形一类数据。这是 Neo4j与其他nosql数据库的最显著区别
例如:社会关系,公共交通网络,地图及网络拓谱
7. Cassandra
所用语言: Java
特点:对大型表格和 Dynamo支持得最好
使用许可: Apache
协议: Custom, binary (节约型)
可调节的分发及复制(N, R, W)
支持以某个范围的键值通过列查询
类似大表格的功能:列,某个特性的列集合
写操作比读操作更快
基于 Apache分布式平台尽可能地 Map/rece
我承认对 Cassandra有偏见,一部分是因为它本身的臃肿和复杂性,也因为 Java的问题(配置,出现异常,等等)
最佳应用场景:当使用写操作多过读操作(记录日志)如果每个系统组建都必须用 Java编写(没有人因为选用
Apache的软件被解雇)
例如:银行业,金融业(虽然对于金融交易不是必须的,但这些产业对数据库的要求会比它们更大)写比读更快,所以一个自然的特性就是实时数据分析
8. HBase
(配合 ghshephard使用)
所用语言: Java
特点:支持数十亿行X上百万列
使用许可: Apache
协议:HTTP/REST (支持 Thrift,见编注4)
在 BigTable之后建模
采用分布式架构 Map/rece
对实时查询进行优化
高性能 Thrift网关
通过在server端扫描及过滤实现对查询操作预判
支持 XML, Protobuf, 和binary的HTTP
Cascading, hive, and pig source and sink moles
基于 Jruby( JIRB)的shell
对配置改变和较小的升级都会重新回滚
不会出现单点故障
堪比MySQL的随机访问性能
最佳应用场景:适用于偏好BigTable:)并且需要对大数据进行随机、实时访问的场合。
例如: Facebook消息数据库(更多通用的用例即将出现)
编注4:Thrift
是一种接口定义语言,为多种其他语言提供定义和创建服务,由Facebook开发并开源。
当然,所有的系统都不只具有上面列出的这些特性。这里我仅仅根据自己的观点列出一些我认为的重要特性。与此同时,技术进步是飞速的,所以上述的内容肯定需要不断更新。我会尽我所能地更新这个列表。
G. 量化交易都有哪些主要的策略模型
研究量化投资模型的目的是找出那些具体盈利确定性的时空价格形态,其最重要手段的概率取胜,最重要的技术是概率统计,最主要的研究方向是市场行为心理。那么我们在选择用于研究的参数时,也应该用我们的经验来确定是否把某技术参数放进去,因为一般来说定性投资比较好用的参数指标对量化投资同样适用。
量化投资区别于传统定性投资的主要特征在于模型。我打个比方,我们看病,中医与西医的诊疗方法是不同,中医是望、闻、问、切,最后判断出的结果,很大程度上基于中医的经验,主观定性程度大一些;西医就不同了,先要病人去拍片子、化验等,这些都要依托于医学仪器,最后得出结论,对症下药。中医对医生的经验要求非常高,他们的主观判断往往决定了治疗效果,而西医则要从容得多,按事先规定好的程序走就行了。量化投资就是股票投资中的西医,它可以比较有效地矫正理智与情绪的不兼容现象。
量化投资的一般思路:选定某些技术指标(我们称之为参数,往往几个组成一组),并将每一个参数的数据范围进行分割,成几等份。然后,用计算机编程写出一段能对这些参数组对股票价格造成的影响进行数据统计的程序,连接至大型数据库进行统计计算,自动选择能够达到较高收益水平的参数组合。但是选出这些参数组后还不能马上应用,因为这里涉及到一个概率陷阱的问题,比如说,有1到100这一百个数字放在那里,现在让你选择,请问你选到100的可能性是多大?是的,就是1/100,如果较幸运你选到了100并不能说明你比别人聪明,而是概率的必然。所以,在进行统计时要特别关注统计的频率与选出的结果组数量之间的关系。在选出符合要求的参数组后我们还应留出至少三年的原始市场数据进行验证,只有验证合格后才能试用。
量化投资原始数据策略:我们选用96年后的市场数据,因为96年股市有过一次交易政策改革(你可以自己查询了解一下),为了不影响研究结果我们不采纳96年以前的数据进数据库。 量化投资研究的硬设备:高计算性能电脑,家用电脑也可以,不过运算时间会很长,我曾经用家用电脑计算了三个月时间才得到想要的数据。
统计方法:可以选用遗传算法,但我在这里陪大家做的是比较简单的模型,所以采用普通统计方法就可以了。
用于量化研究的软件:我采用的是免费的大型数据库MYSQL,ASP网络编程语言,以及可以设置成网络服务器的旗舰版WIN7操作系统。
H. 现在学哪个nosql数据库比较好
NoSQL,是not only sql,是非关系数据库,不同于oracle等关系数据库。hadoop,是分布式解决方案,即为Maprece(计算的)和HDFS(文件系统),使用Hadoop和NoSQL可以构造海量数据解决方案。
I. 量化交易主要有哪些好的策略
研究量化投资模型的目的是找出那些具体盈利确定性的时空价格形态,其最重要手段的概率取胜,最重要的技术是概率统计,最主要的研究方向是市场行为心理。那么我们在选择用于研究的参数时,也应该用我们的经验来确定是否把某技术参数放进去,因为一般来说定性投资比较好用的参数指标对量化投资同样适用。
量化投资区别于传统定性投资的主要特征在于模型。我打个比方,我们看病,中医与西医的诊疗方法是不同,中医是望、闻、问、切,最后判断出的结果,很大程度上基于中医的经验,主观定性程度大一些;西医就不同了,先要病人去拍片子、化验等,这些都要依托于医学仪器,最后得出结论,对症下药。中医对医生的经验要求非常高,他们的主观判断往往决定了治疗效果,而西医则要从容得多,按事先规定好的程序走就行了。量化投资就是股票投资中的西医,它可以比较有效地矫正理智与情绪的不兼容现象。
量化投资的一般思路:选定某些技术指标(我们称之为参数,往往几个组成一组),并将每一个参数的数据范围进行分割,成几等份。然后,用计算机编程写出一段能对这些参数组对股票价格造成的影响进行数据统计的程序,连接至大型数据库进行统计计算,自动选择能够达到较高收益水平的参数组合。但是选出这些参数组后还不能马上应用,因为这里涉及到一个概率陷阱的问题,比如说,有1到100这一百个数字放在那里,现在让你选择,请问你选到100的可能性是多大?是的,就是1/100,如果较幸运你选到了100并不能说明你比别人聪明,而是概率的必然。所以,在进行统计时要特别关注统计的频率与选出的结果组数量之间的关系。在选出符合要求的参数组后我们还应留出至少三年的原始市场数据进行验证,只有验证合格后才能试用。
量化投资原始数据策略:我们选用96年后的市场数据,因为96年股市有过一次交易政策改革(你可以自己查询了解一下),为了不影响研究结果我们不采纳96年以前的数据进数据库。
量化投资研究的硬设备:高计算性能电脑,家用电脑也可以,不过运算时间会很长,我曾经用家用电脑计算了三个月时间才得到想要的数据。
统计方法:可以选用遗传算法,但我在这里陪大家做的是比较简单的模型,所以采用普通统计方法就可以了。
用于量化研究的软件:我采用的是免费的大型数据库mysql,asp网络编程语言,以及可以设置成网络服务器的旗舰版win7操作系统。