Jan 25, 2011 00:00
Продвижение IBM в работе с неструктурированными данными
Автор: Эдуард Пройдаков PCWeek
25.01.2011
21 января в московской лаборатории систем и технологий IBM состоялась презентация новой технологии, значение которой пока трудно оценить, но, возможно, она окажет достаточно сильное влияние на расширение областей применения суперкомпьютеров. Поводом продемонстрировать новую технологию стала победа суперкомпьютерной системы Watson в тренировочных встречах с победителями популярной в США викторины Jeopardy (российский аналог - “Своя игра”). Игра Jeopardy интересна учёным тем, что её вопросы не напрямую основаны на фактах, а также содержат разного рода нюансы языка.
Пусть читателя не смущает слово лаборатория в названии данного подразделения IBM, по численности сотрудников - это небольшой НИИ. Иэн Симпсон, руководитель лаборатории, сравнил данный прорыв с успехом шахматного суперкомпьютера Deep Blue, выигравшей в 1997 г. в матче у тогдашнего чемпиона мира по шахматам Гарри Каспарова. Однако в нынешнем случае успех не столь очевиден, хотя в команде, разрабатывающей Watson, участвуют сотрудникb, делавшие Deep Blue.
Известно, что IBM инвестирует в исследования и разработки 6 млрд. долл. в год. Система Watson разрабатывалась учёными IBM в течение четырёх лет, цель разработки - создать компьютерную систему, способную на уровне человека отвечать на вопросы, изложенные на естественном языке, причем быстро, точно и достоверно. Прорыв, по мнению Иэна Симпсона, заключается в создании технологии обработки текстов на естественном языке. Над интерпретацией естественных языков учёные борются уже долгие годы. Основной показатель здесь точность и скорость перевода. Система Watson не подключена к Интернету, она анализирует собственную базу неструктурированных данных эквивалентную 1 млн. книг.
IBM использовала суперкомпьютер, производительностью 80 Тфлопс, построенный на базе 8-ядерных процессоров Power7 (всего 2880 ядер, 15 Тб ОЗУ). Отмечу высокую энергоэффективность данного суперкомпьютера - потребление без системы охлаждения всего 80 кВт. Охлаждение требует ещё столько же.
Андрей Филатов, директор департамента аппаратного обеспечения IBM в России и СНГ рассказал о том, что в появившемся в прошлом году 8-ядерном процессоре POWER7 кэш-память третьего уровня (32 Мб) размещена непосредственно на кристалле ЦП. Кроме того, в этом ЦП есть возможность добавления микрокода, реализующего дополнительные функции, которые ранее реализовывались в ОС. Система Watson работает под ОС Linux и, по словам Ирины Федуловой, инженера-программиста лаборатории IBM, написана на Java. Для ускорения поиска вся справочная литература (энциклопедии, статьи, киносценарии и т. п.) загружается в ОЗУ, этим объясняется её необычно большой объём в системе Watson.
Реальные турнирные игры Jeopardy выйдут в эфир в США 14, 15 и 16 февраля 2011 г. - за эти три дня будет сыграно два матча. При этом “Большой приз” состязания составит 1 млн. долл., а призы за второе и третье места - 300 и 200 тыс. долл. соответственно. Корпорация IBM, которая рассчитывает на победу, объявила, что пожертвует свой выигрыш на благотворительные цели.
Московское мероприятие завершилось вручением премии Alex Mueller Awards, которой по традиции награждаются 50 талантливых аспирантов по всему миру, добившиеся значимых успехов в области инноваций. Иэн Симпсон вручил премии, чеки на сумму 5000 долл., победителям - Юрий Матвееву, аспиранту Научно-исследовательского ядерного университета МИФИ, и Вячеславу Семеренко, аспиранту МФТИ.
неструктурированные данные,
ibm,
система Watson