Используется размеченный treebank отсюда: http://universaldependencies.org
Reinforcement learning делается средствами keras-rl
Парсер - простая стековая машина, не поддерживающая непроективные ребра.
Эксперимент пока неудачный, не могу добиться роста качества парсинга.
Питоновский исходник выложил здесь: https://github.com/Koziev/RI_Syntax

Засабмитил своего киборга сюда https://www.crowdai.org/challenges/nips-2017-learning-to-run/leaderboards
Теперь надо попробовать улучшить устойчивость, а именно научить не падать после первого шага. Добиться, что модель делала шаги поменьше, не задирала ноги выше того, что раньше было ушами.