НАСА будет разрабатывать новые стратегии управления потоками данных со спутников на благо всего мира
Оригинал взят у alexandr_palkin в НАСА будет разрабатывать новые стратегии управления потоками данных со спутников на благо всего мира
НАСА разрабатывает способы управления потоком «больших данных» на благо мировой науки
21 октября 2013 года
Центр галактики - Млечный путь, заснятый космическими телескопом НАСА «Спитцер».
Вашингтон. Ежедневный поток данных, поступающих в агентство НАСА и десятки его проектов, подобен стремительный полноводной реке. Космические корабли наблюдают за всем: от нашей планеты до далеких галактик, отправляя изображения и информацию на Землю. Все эти цифровые записи нужно хранить, индексировать и обрабатывать, чтобы инженеры, ученые и люди из разных стран могли использовать их для познания Земли и Вселенной за ее пределами.
Разработчики будущих полетов и специалисты по программному обеспечению предлагают новые стратегии управления постоянно растущим потоком таких больших и сложных данных, которые IT-специалисты называют «большими данными».
Насколько же велики эти «большие данные»? Полеты НАСА ежечасно производят сотни терабайт информации. На бумагу для распечатки только одного терабайта данных ушло бы 50 000 деревьев.
«Ученые оперируют большими данными повсюду: от прогнозирования погоды на Земле до наблюдения за ледниками на Марсе и поиска далеких галактик», - говорит Эрик Де Джонг, главный исследователь проекта «Визуализация Солнечной системы» из Лаборатории реактивных двигателей НАСА в Пасадене (Калифорния). В рамках этого проекта ученые преобразуют научные данные полетов НАСА в наглядные результаты, которые могут использовать ученые. «Мы - хранители данных, а их пользователи - астрономы и ученые, которым требуются изображения, мозаики, карты и видео для поиска моделей и проверки теорий».
Де Джонг рассказывает, что существуют три аспекта сбора данных космических полетов: хранение, обработка и доступ. Естественно, что при работе с большими объемами данных наиболее трудна первая задача - хранение или архивирование данных. Ожидается, что «Квадратная километровая решетка» - разрабатываемая антенная решетка, которая будет включать в себя тысячи телескопов, расположенных на территории Южной Африки и Австралии - будет ежедневно генерировать 700 терабайт изображений, что эквивалентно всему объему данных в интернете за два дня. Вместо создания новых аппаратных мощностей инженеры заняты разработкой нестандартных программных решений, чтобы улучшить процесс хранения информации.
«Нам не нужно заново изобретать колесо», - говорит Крис Мэтмэн, главный исследователь инициативы НАСА по работе с большими данными. НАСА использует все больше решений с открытым программным кодом для своих задач, создавая усовершенствованные инструменты обработки данных по космическим полетам. Затем инструменты НАСА попадают в открытый доступ, и ими пользуются во всем мире для решения различных задач.
Де Джонг и его команда разрабатывают новые способы визуализации информации. Например, каждое изображение, поступающее с одной из камер, установленных на аппарате НАСА Mars Reconnaissance Orbiter, состоит из 120 мегапикселей. Коллектив Де Джонга преобразует такие наборы данных в видеоизображения, а также в компьютерную графику и анимацию, позволяющие ученым и широкой публике поближе познакомиться с Красной планетой.
«Данные не просто увеличиваются в объеме, но становятся более сложными, - говорит Де Джонг. - Мы постоянно стремимся автоматизировать процесс создания продуктов визуализации, чтобы ученые и инженеры могли легко ими пользоваться».
Еще одна большая проблема в работе с большими данными - это обеспечение удобства извлечения пользователями данных из архивов.
«Представьте, что у вас есть огромный шкаф с книгами, и вам нужно понять, как быстро находить нужные книги», - говорит Стив Грум, руководитель Центра обработки и анализа инфракрасных изображений НАСА. Иногда пользователям требуется получить доступ ко всем данным одновременно, чтобы увидеть общую картину - в этом преимущество больших архивов данных. По словам Грума, «астрономы могут выполнять поиск одновременно по всем “книгам” нашей библиотеки, чего нельзя сделать на их компьютерах».
И наконец, НАСА сообщило, что, поскольку поток больших данных непрерывно нарастает, агентство будет разрабатывать новые стратегии управления на благо всего мира.
Read more: http://iipdigital.usembassy.gov/st/russian/article/2013/10/20131021284952.html#ixzz2ieIgSyio
НАСА разрабатывает способы управления потоком «больших данных» на благо мировой науки
21 октября 2013 года
Центр галактики - Млечный путь, заснятый космическими телескопом НАСА «Спитцер».
Вашингтон. Ежедневный поток данных, поступающих в агентство НАСА и десятки его проектов, подобен стремительный полноводной реке. Космические корабли наблюдают за всем: от нашей планеты до далеких галактик, отправляя изображения и информацию на Землю. Все эти цифровые записи нужно хранить, индексировать и обрабатывать, чтобы инженеры, ученые и люди из разных стран могли использовать их для познания Земли и Вселенной за ее пределами.
Разработчики будущих полетов и специалисты по программному обеспечению предлагают новые стратегии управления постоянно растущим потоком таких больших и сложных данных, которые IT-специалисты называют «большими данными».
Насколько же велики эти «большие данные»? Полеты НАСА ежечасно производят сотни терабайт информации. На бумагу для распечатки только одного терабайта данных ушло бы 50 000 деревьев.
«Ученые оперируют большими данными повсюду: от прогнозирования погоды на Земле до наблюдения за ледниками на Марсе и поиска далеких галактик», - говорит Эрик Де Джонг, главный исследователь проекта «Визуализация Солнечной системы» из Лаборатории реактивных двигателей НАСА в Пасадене (Калифорния). В рамках этого проекта ученые преобразуют научные данные полетов НАСА в наглядные результаты, которые могут использовать ученые. «Мы - хранители данных, а их пользователи - астрономы и ученые, которым требуются изображения, мозаики, карты и видео для поиска моделей и проверки теорий».
Де Джонг рассказывает, что существуют три аспекта сбора данных космических полетов: хранение, обработка и доступ. Естественно, что при работе с большими объемами данных наиболее трудна первая задача - хранение или архивирование данных. Ожидается, что «Квадратная километровая решетка» - разрабатываемая антенная решетка, которая будет включать в себя тысячи телескопов, расположенных на территории Южной Африки и Австралии - будет ежедневно генерировать 700 терабайт изображений, что эквивалентно всему объему данных в интернете за два дня. Вместо создания новых аппаратных мощностей инженеры заняты разработкой нестандартных программных решений, чтобы улучшить процесс хранения информации.
«Нам не нужно заново изобретать колесо», - говорит Крис Мэтмэн, главный исследователь инициативы НАСА по работе с большими данными. НАСА использует все больше решений с открытым программным кодом для своих задач, создавая усовершенствованные инструменты обработки данных по космическим полетам. Затем инструменты НАСА попадают в открытый доступ, и ими пользуются во всем мире для решения различных задач.
Де Джонг и его команда разрабатывают новые способы визуализации информации. Например, каждое изображение, поступающее с одной из камер, установленных на аппарате НАСА Mars Reconnaissance Orbiter, состоит из 120 мегапикселей. Коллектив Де Джонга преобразует такие наборы данных в видеоизображения, а также в компьютерную графику и анимацию, позволяющие ученым и широкой публике поближе познакомиться с Красной планетой.
«Данные не просто увеличиваются в объеме, но становятся более сложными, - говорит Де Джонг. - Мы постоянно стремимся автоматизировать процесс создания продуктов визуализации, чтобы ученые и инженеры могли легко ими пользоваться».
Еще одна большая проблема в работе с большими данными - это обеспечение удобства извлечения пользователями данных из архивов.
«Представьте, что у вас есть огромный шкаф с книгами, и вам нужно понять, как быстро находить нужные книги», - говорит Стив Грум, руководитель Центра обработки и анализа инфракрасных изображений НАСА. Иногда пользователям требуется получить доступ ко всем данным одновременно, чтобы увидеть общую картину - в этом преимущество больших архивов данных. По словам Грума, «астрономы могут выполнять поиск одновременно по всем “книгам” нашей библиотеки, чего нельзя сделать на их компьютерах».
И наконец, НАСА сообщило, что, поскольку поток больших данных непрерывно нарастает, агентство будет разрабатывать новые стратегии управления на благо всего мира.
Read more: http://iipdigital.usembassy.gov/st/russian/article/2013/10/20131021284952.html#ixzz2ieIgSyio