CSV NIF
Потребовалось распарсить CSV файл на 300 тыс строк в эрланге. Случайно выяснилось, что код, занимающийся вводом-выводом всё таки медленный, что бы там ни писал gaperton
За час был сделан NIF-драйвер, который делает fopen, разбивает по запятым (у меня хороший CSV, без запятых внутри кавычек) и отдает куски.
После этого туда же спустил код по созданию рекордов и трансформации строк в числа.
Результат порадовал: с 140 000 миллисекунд время обработки этих строк упало до 1800.
За час был сделан NIF-драйвер, который делает fopen, разбивает по запятым (у меня хороший CSV, без запятых внутри кавычек) и отдает куски.
После этого туда же спустил код по созданию рекордов и трансформации строк в числа.
Результат порадовал: с 140 000 миллисекунд время обработки этих строк упало до 1800.