简介:本教程为详解介绍了如何搭建基于CTP的量化交易数据服务器,并且通过网盘补齐历史数据。

MdShare官网:https://www.mdshare.cn

MdShare提供了一套基于CTP的TICK行情数据采集工具,并提供了Pythong行情回放接口,并且格式支持Virtualapi (http://www.virtualapi.cn),实现CTP的Tick级本地回测。VirtualApi目前支持上海期货交易所的CTP接口仿真回测,没有第三方的方法,100%兼容CTP接口的自编程序和各种框架,可在不修改代码的前提下实盘接入回测,回测精度是第三方软件的10倍以上,最关键是对所有人永久免费的。

Virtualapi官网:http://www.virtualapi.cn

Virtualapi文档:http://www.virtualapi.cn/document.html

实盘期货(支持CTP):http://www.kaihucn.cn

Simnow 上期CTP接口官方网站和模拟账户注册:http://www.simnow.com.cn



现在越来越多的交易爱好者和私募参与到程序和交易和量化交易中来,在搭建自己的程序化交易平台的时候,必须涉及到一个问题:数据如存储?

有很多时候考虑到选择数据库的方式存储行情数据, 但我想问,你真的需要数据库来存储行情数据吗?

我们来看看百度百科对数据库的定义:

数据库是长期储存在计算机内、有组织的、可共享的数据集合。数据库中的数据指的是以一定的数据模型组织、描述和储存在一起、具有尽可能小的冗余度、较高的数据独立性和易扩展性的特点并可在一定范围内为多个用户共享。

这种数据集合具有如下特点:尽可能不重复,以最优方式为某个特定组织的多种应用服务,其数据结构独立于使用它的应用程序,对数据的增、删、改、查由统一软件进行管理和控制。从发展的历史看,数据库是数据管理的高级阶段,它是由文件管理系统发展起来的。

定义中提到 :对数据的增、删、改、查由统一软件进行管理和控制。
那么这里提出2个问题:
(1)“增”可以理解,就是添加数据,但你确定需要 删、改、查 吗?
拿期货行情数据为例,通常我需要将实时行情存储,如果我开启一个策略,需要计算M10 周期最近100个周期的KDJ指标,那么我只要需要最近的100X10X60X2个TICK数据即可,我只需要按时间顺序读取最近的12万个TICK。 (2)如果是从数据库读取的话,需要通过select语句或存储过程等方式 获得记录集,并逐条取出,这个过程是非常耗时的 这个过程是非常耗时的,并且每条记录之间,按默认设置,数据库为了便于插入数据,往往在记录之间留有空白的存储空间,往往按默认设置,80%的空间是无用的,也就是说,本来你只需要1M的空间你,实际占了5M的硬盘空间。事实上,你可能并没有插入数据的请求。因为行情数据存储都是顺序的,按时间顺序写入之后,通常不需要再插入新的行情数据。

大多数情况, 对行情数据的存储是不需要 “删”、“改”的

对“查”来说,也并不是逐条取得,通常是取一个时间段的数据,并不是数据库方式的 “查”数据的方式。

而且由于数据库的IO较慢。有人说,可以用内存数据库啊,事实上内存数据库会占用大量的内存空间,而且他的快也只是和关系型数据库比。并不是最优的选择。

采用数据库存储行情数据方案,享不到数据库的好,却浪费了大量空间,降低了读取性能。

这个性能降低可能是比直接采用文件存储的几十倍的差距。

用文件存储是一个更好的选择,事实上很多知名的股票软件公司都采用文件存储行情数据的。

比如文件存储怎么做呢?
按一个规则制定:
比如rb1710的2017年6月5日的TICK行情数据,就存储在
…\data\20170605\TICK\rb1710.csv 目录的文件下
该文件将顺序存储当天的TICK数据。
当我需要读取最近3天数据的时候,就按先后分别读取
…\data\20170605\TICK\rb1710.csv
…\data\20170606\TICK\rb1710.csv
…\data\20170607\TICK\rb1710.csv
这3个文件即可, 每个文件逐行读取。
如果需要进一步节省硬盘存储空间,我可以将data文件夹设置为 压缩属性。
在没有设置压缩属性的情况下,采用文件方式存储数据大约占用硬盘空间是采用SQL Server默认设置的20%硬盘空间。
在设置了data文件夹的压缩属性的情况下,采用文件方式存储数据大约占用硬盘空间是采用SQL Server默认设置的4%硬盘空间。
更小的硬盘空间占用,不仅降低了读写数据IOPS的占用,而且提高了读取性能(大约比SQL SERVER快 几十倍,内存数据库差距会稍小,但代价是更大的内存占用),也降低了因为磁盘故障导致数据错误的可能。
mdshare提供了期货文件存储方式的工具和API

期货行情重播API作为回测客户端(对应本地的期货全品种行情收集工具作为服务器)。

重大更新,特别是提供了时间流模式的采集
为即将发布的全新回测系统做铺垫。
http://www.quicklib.cn/download/Quicklib_DataCollect_Windows.rar 《做程序化交易,你真的需要数据库吗?》 http://www.quicklib.cn/comm/topic/1762/
4.2
完善郑州合约的收集,增加对本月合约的订阅
4.1增加时间流模式的存储,即所有合约按时间顺序记录到一个文件里
时间流模式和合约模式(老的模式)都增加一个字段(本机写入TICK时间)
4.0增加对原油和苹果合约的采集
3.9增加稳定性
3.8增加合约焦炭j,删除无用的settion.ini配置文件中的字段
3.3修复数据保存时,UpperLimitPrice(涨停板价)
LowerLimitPrice(跌停板价)缺少","作为分隔符的问题
3.2增加了对CTP时间段的过滤
一般每天早上6-8点,从CTP服务器会重复发送前一天夜盘的行情,为了避免重复写入数据,
在配置文件提供了停止存储的时间段(2个时间段),如果不设置的话,默认系统会过滤掉15:30~20:40和3:00~8:40的行情数据,即便接收到行情也不做存储。
可以自行更改
3.1 支持盘中实时行情和历史行情连续回播,开盘时间申请到当前行情时间段也不会缺行情,
当数据服务器将文件历史行情回播完成后,开始接着播放实时行情,直到通过python api
调用方法,通知服务器停止回播实时行情。
目前不支持并发,对同一个品种多次调用回播api,会导致回播行情数据顺序错乱。
对不同品种多次调用回播api,可能因为cpu占用过大,会导致服务器UI没有响应。后面升级版本会完整的并发解决方案。
3.0 (1)TCP网络连接由同步模式改为异步模式,解决某些网络状况无法连接数据采集服务器的问题
(2)提供了互联网服务器 http://data.quicklib.cn 但目前性能未作优化,并不能做大量并发连接。
未来升级版本将优化性能 2.9b 清理了不需要的.lib,不会再提示缺少ctp的dll文件,删除了不需要的方法
支持任意IP地址的连接,可以实现连接云主机运行的行情收集服务器,或局域网里的行情收集服务器。
2.9修复了多个API进程之间回调数据时互相影响
当前合约数约323个合约,最大范围1200个合约,视合约产品而定。
本例正式发布版本2.7 可以自由设置行情服务器
模拟simnow24小时行情服务器在交易日上午没有数据,要在下午4点之后才有数据。
模拟simnow实盘同步时间服务器,和实盘同步。
可改为期货公司的服务器IP,见“快期”软件设置“测试和代理”中的行情IP地址
双击合约文件列表可打开分时图
TestPythonApi可以调用DataCollectServer收集的行情数据(给定合约和时间段)
2017.3.11
课程须知
此部分为Java入门教程,适合零基础的小伙伴们,赶紧开始学习吧。
老师告诉你能学到什么?
1、会配置Java开发环境,并使用工具进行程序开发 2、掌握Java中基本语法的使用并入门
意见反馈 帮助中心 APP下载
官方微信