通过vnpy db接口 导入数据,mongodb这边会创建独立的 collection来存储 所有的bar/tick数据。
现在数据体量比较大,都存在一个 collection 里面 会不会在检索数据上有性能问题?对比多个collection的情况,例如 bar类型数据,分别对应N个交易所的bar_collection
(因为数据体量比较大,我的回测框架里面 不能一次性把所有数据都load到内存里面,需要按一定频次load数据,所以对读取mongodb的性能比较敏感。)
目前在使用 VNPY做回测,遇到的问题 是load data 为什么会占用很大的内存?
mongodb 单个数据库 一共才2.7G(而且里面包含了2个品种+其合约的数据),简单理解 load了数据库2/3的分钟bar,内存使用 21G左右? 怎么会占用怎么大空间?请教下 如何解决?还是说是使用上有不当的地方?
本地已经通过data_manger将数据存储到本地数据库。(A股,全票的日线/分钟数据)
现在需要每天 订阅100个票 做回测。 这个需求 现在vnpy的那个模块支持?还是得需要定制化?