Примерно час в боевом режиме тренировки модели (файнтюнинг GPT2).
Размер батч подобран так, чтобы как раз влезало в 24 Гб памяти на борту карточки.
( Read more... )

В отличие от тестов на userbenchmark.com сравнивнение сделано на реальной практической задаче nn_wordcopy3.py. Предметная область - NLP. Данные для обучения одинаковые ( Read more... )

Описание задачи: https://github.com/Koziev/chatbot/blob/master/PyModels/trainers/README.wordchar2vector.md
На питоне тренировка модели описана этим кодом: https://github.com/Koziev/chatbot/blob/master/PyModels/trainers/wordchar2vector_trainer.pyИтак, код идентичен, датасеты тоже. Немного отличаются версии Theano, CUDA и CudNN, возможно какие-то ( Read more... )