Hourly Climate Data
Вчера я подал заявку в National Climatic Data Center на метео-данные для района моего исследования с 1976 по 2007 г. В итоге, мне скомпилировали файл по моему запросу в формате .txt
Открыл файл с помощью Excel.
70 000 строк! и все данные в один столбец.
Пришлось разбивать на столбцы. Всё сразу Excel отказался делать - не хватает ресурсов. Пришлось разбивать по 10 000 строк, а потом уже и 5 000 строк. Диспетчер задач показывал, что Excel использует 1,4 ГБ оперативной памяти - процессор (оба ядра) на 100%.
В итоге получилась таблица 992 столбца на 70 000 строк! С такими базами данных я работаю впервые. Во истину, возможность Excel меня поражают.
Однако, когда я попробовал скопировать лист - всё сразу зависло.
Пришлось разбить таблицу на 7 файлов ~ по 10 000 строк в каждом.
Теперь буду их анализировать и сводить.
А жители Тюкалинска живут себе рядом с прекрасным озером Тенис и не знают, как много информации хранится в американских базах данных о том, что у них происходит сейчас и происходило много лет назад.
Открыл файл с помощью Excel.
70 000 строк! и все данные в один столбец.
Пришлось разбивать на столбцы. Всё сразу Excel отказался делать - не хватает ресурсов. Пришлось разбивать по 10 000 строк, а потом уже и 5 000 строк. Диспетчер задач показывал, что Excel использует 1,4 ГБ оперативной памяти - процессор (оба ядра) на 100%.
В итоге получилась таблица 992 столбца на 70 000 строк! С такими базами данных я работаю впервые. Во истину, возможность Excel меня поражают.
Однако, когда я попробовал скопировать лист - всё сразу зависло.
Пришлось разбить таблицу на 7 файлов ~ по 10 000 строк в каждом.
Теперь буду их анализировать и сводить.
А жители Тюкалинска живут себе рядом с прекрасным озером Тенис и не знают, как много информации хранится в американских базах данных о том, что у них происходит сейчас и происходило много лет назад.