Бенчмарк для оценки корпуса предложений
Продолжаю проверку модели sentiment analysis ( http://kelijah.livejournal.com/200675.html).
После того, как модель обучена, ее можно использовать для оценки всего набора предложений в отзывах.
Я взял набор из ~35 миллионов предложений (около 4 Гб текста utf-8).
Программа на питоне читает предложения их текстового файла, векторизует их в формат входных паттернов для сетки и прогоняет через сетку порциями по 1 миллиону штук.
На достаточно шустрой машине с NVidia GTX 980 оценка идет с общей скоростью ~27 миллионов предложений в час.
Забавно, что выгрузка самого набора предложений из ms sql базы с помощью C# утилиты занимает чуть ли не полчаса.
После того, как модель обучена, ее можно использовать для оценки всего набора предложений в отзывах.
Я взял набор из ~35 миллионов предложений (около 4 Гб текста utf-8).
Программа на питоне читает предложения их текстового файла, векторизует их в формат входных паттернов для сетки и прогоняет через сетку порциями по 1 миллиону штук.
На достаточно шустрой машине с NVidia GTX 980 оценка идет с общей скоростью ~27 миллионов предложений в час.
Забавно, что выгрузка самого набора предложений из ms sql базы с помощью C# утилиты занимает чуть ли не полчаса.