Fork me on GitHub

增强学习在量化交易中的应用调研

为了将Reinforcement learning应用在量化交易中,我先对state-of-the-art进行调研,了解问题的框架,和解决问题的基本手段。之后再模仿这些文章中的方案进行实践。这里我对6篇文章进行了调研。分别是:
[1] Reinforcement Learning for Trading Systems and Portfolios (KDD 98)
[2] Enhancing Q-Learning for Optimal Asset Allocation (Advances in neural information processing systems 98)
[3] Reinforcement learning for optimized trade execution (ICML 06)
[4] An automated FX trading system using adaptive reinforcement learning (Expert Systems with Applications 06)
[5] Cryptocurrency Portfolio Management with Deep Reinforcement Learning (ArXiv.1612.01277)
[6] Deep Direct Reinforcement Learning for Financial Signal Representation and Trading (IEEE Transactions on Neural Networks and Learning Systems 17)
我们从最新文章开始看起,逐渐深入去看老的文章

[1] Deep Direct Reinforcement Learning for Financial Signal Representation and Trading

摘要汇总:这篇文章用DNN来量化和表示金融信息,用RL建立交易模型以获得收益最大化,力求打败人工交易员。作者指出DNN过于复杂,必须要用一种基于任务感知的时间后馈方式来处理梯度消失的问题。同时作者将该神经网络系统在股票和期货市场上以证明系统的鲁棒性。

从摘要我们看出,训练计算机去打败有经验的交易员这个问题分成了两个子问题。一个是如何识别金融信息(market condition summarization),因为金融信息的实时性,大数据性质使得我们没有办法直接使用,必须基于这些信息提出一些特征来。如何提取优秀的特征?这是DNN解决的问题。另一个是,在建立好了数据环境之后,如何习得最优交易策略(optimal action execution)?这是RL解决的问题。系统的鲁棒性应当是评估系统性能的最重要的指标之一。交易系统稳定才是最好的。

No pain, No gain