Ключевые слова: автотрейдер, Q-обучение, обучение с подкреплением, торговые стратегии, механические торговые системы

Рассмотрим вариант построения автотрейдера с использованием Q - обучения. Как известно Q - обучение использует, так называемые Q - таблицы, в которых столбцы и строки означают состояния и возможные в них действия, а в ячейках Q - таблицы находятся значения суммарного подкрепления, которое было получено при предыдущих итерациях, когда в - м состоянии выполнялось - е действие. То есть Q - таблица накапливает историю взаимодействия агента со средой. Существует большое количество алгоритмов Q - обучения [1]. Отметим, что не всегда во всех состояниях возможны одинаковые действия, а также - количество состояний и/или действий может быть бесконечным и поэтому одним из наиболее популярных инструментов для аппроксимации Q - таблицы являются нейронные сети [1].

Введем понятие Q-OLAP, которое будет подразумевать, что состояния - действия и оценка хранятся в OLAP - кубе, где измерениями являются состояния, действия, возможно время и др.. А фактом, то есть значением ячейки куба, является подкрепление, полученное в результате определенного действия в соответствующем состоянии (фактов, вообще говоря, может быть много). Как видим, OLAP кубы, то есть современные информационные технологии, прекрасно подходят для хранения результатов Q - обучения.

Теперь перейдем к краткому описанию принципа работы автотрейдера использующего Q-OLAP. Автотрейдер должен отслеживать изменение ряда котировок и либо выдавать сигнал на совершение торговой операции, либо непосредственно совершать ее. Отметим, что торговые операции могут быть составными с использованием отложенных ордеров, стоп - приказов, слежением и т.д. Одним из основных инструментов анализа финансовых рынков являются технические индикаторы (далее ТИ), также на них часто строят автотрейдеры [2]. Покажем, как для Q-OLAP использовать ТИ. Состоянием в данном случае логично выбрать показания ТИ, например, для MACD - это будут расстояние между сигнальной и основной линией, а также количество временных итераций с момента пересечения линий. Действиями, в простейшем случае, будут операции продажи и покупки, а также закрытие открытых позиций. Целесообразно также ввести еще одно измерение - это параметры ТИ, которые довольно сложно подобрать [3]. Фактами в ячейках будут показатели автотрейдера, например, отношение прибыль к убыткам, количество прибыльных сделок, количество убыточных сделок, относительная просадка, матожидание выигрыша и т.д.. Таким образом, мы получаем новый механизм, который использует в качестве Q - таблицы современный механизм OLAP, а также на эту почву прекрасно ложится вариант создания автотрейдера на техническом индикаторе.

• 1. Watkins C.J., Dayan P. Q-learning. Machine Learning. 8:279 - 292, 1992.
• 2. Де Марк Тю Технический анализ - новая наукаю - М.: Диаграммаю 1997ю 122 сю
• 3. Шумков Е.А., Ботин В.А. Исследование технического индикатора MACD // Политематический научный журнал КубГАУ. - Краснодар: КубГАУ. 2010. №64.