Политехнический стадион для роботов
Сегодня в фейсбуке вроде как договорились об общественно доступном стадионе/полигоне (площадка до 2*4 метра) для роботов в Московском политехе: https://www.facebook.com/dinara.gagarina/posts/1370294346352603, я там тоже плотно поучаствовал в дискуссии.
Я писал про стадионы для ИскИнов год назад тут: http://ailev.livejournal.com/1300315.html. Рад, что такой стадион для хардверных разработок появится в Москве уже этой осенью. Отставание от мировых трендов в год, а не в пять лет -- это радует. Вот несколько моих реплик из треда в фейсбуке:
-- В deep learning используются бенчмарки -- все разработчики алгоритмов должны показывать удивительные результаты на этих бенчмарках. А кто делает новый тип результата, тот оставляет после себя новый бенчмарк -- после дискусси, что это действительно новый принципиально результат, а не попытка откосить от неудобного стандартного бенчмарка. В робототехнике можно было бы сделать что-то подобное. Уж не знаю в какой форме: либо выдать 100 заготовок с просьбой их перенести захватом из ящика в ящик и посчитать процент удач, или определённую трассу, на которой нужно достичь какой-то скорости -- но при обеспеченных погрузке-разгрузке в начале и конце трассы, чтобы не скучно было. Всё ж понятно. Фишка в том, что это не разовое соревнование. Это развёрнутый полигон, где любой желающий может в любое время сделать прогон своей системы и показать, что его алгоритмы и железо лучше. Конечно, ничего не мешает сделать соревнование на какой-то конференции -- раз уж все собрались, то повеселиться. Нужно перенимать методы у других областей, которые быстро развиваются.
Во взрослой робототехнике есть хоть какие-то challenges для роботов, но это не совсем бенчмарки. Хотя к бенчмаркам тоже идут, примеры машинного обучения ведь перед глазами, и все роботы сегодня выучиваются. Поневоле переймёшь методики развития практики.
-- это не соревнование команд, а бенчмарк -- играют против поля, а не друг с другом. Это как на рынке: конкуренты не сталкиваются друг с другом в личном бою, а каждый из них сталкивается с потребительским спросом поодиночке. И в какой-то момент потребители к одному их конкурентов просто не приходят). Ну, или прыжки в длину -- прыгают против ямы с песком, каждый сам, а не как в футболе команда на команду и без абсолютного результата.
-- бенчмарк должен быть такой, чтобы супер-пупер профи набирал 70% сегодня и было куда расти, а школьник тоже мог легко воспроизвести хоть что-нибудь (называется baseline -- исходная "наивная" реализация, без изысков). Так что всё так, но параметры нужно подобрать.
И вот важное замечание: бенчмарки могут быть не только про результаты (роботов), но и про образование.
-- "Образовательная робототехника" пока не демонстрирует развития. В ней как-то не наблюдается ежегодных рекордов, новых бенчмарков под новые возможности робототехники (не роботов! робототехники -- возможности "как по-быстрому сляпать робота", а не "как сделать робота круче". Образование это про облегчение какой-то деятельности, уход в ней от метода проб и ошибок). Значит что-то не так, загнивание не может быть отслежено.
Бенчмаркать нужно и обучение тоже, хотя это труднее, чем бенчмаркать роботов. Напомню (уже в третий раз в своём блоге за последнюю неделю) подход FastAI: Я уже давал тут цитату: "Our goal at fast.ai is for there to be nothing to teach. We believe that the fact that we currently require high school math, one year of coding experience, and seven weeks of study to become a world-class deep learning practitioner, is not an acceptable state of affairs (even although this is less prerequisites for any other course of a similar level). Everybody should be able to use deep learning to solve their problems with no more education than it takes to use a smart phone. Therefore, each year our main research goal is to be able to teach a wider range of deep learning applications, that run faster, and are more accurate, to people with less prerequisites". Это из http://www.fast.ai/2017/09/08/introducing-pytorch-for-fastai/
Развитие какой-то сферы и развитие обучения в этой сфере нужно синхронизировать. Бенчмарки должны дойти и до обучения.
Я писал про стадионы для ИскИнов год назад тут: http://ailev.livejournal.com/1300315.html. Рад, что такой стадион для хардверных разработок появится в Москве уже этой осенью. Отставание от мировых трендов в год, а не в пять лет -- это радует. Вот несколько моих реплик из треда в фейсбуке:
-- В deep learning используются бенчмарки -- все разработчики алгоритмов должны показывать удивительные результаты на этих бенчмарках. А кто делает новый тип результата, тот оставляет после себя новый бенчмарк -- после дискусси, что это действительно новый принципиально результат, а не попытка откосить от неудобного стандартного бенчмарка. В робототехнике можно было бы сделать что-то подобное. Уж не знаю в какой форме: либо выдать 100 заготовок с просьбой их перенести захватом из ящика в ящик и посчитать процент удач, или определённую трассу, на которой нужно достичь какой-то скорости -- но при обеспеченных погрузке-разгрузке в начале и конце трассы, чтобы не скучно было. Всё ж понятно. Фишка в том, что это не разовое соревнование. Это развёрнутый полигон, где любой желающий может в любое время сделать прогон своей системы и показать, что его алгоритмы и железо лучше. Конечно, ничего не мешает сделать соревнование на какой-то конференции -- раз уж все собрались, то повеселиться. Нужно перенимать методы у других областей, которые быстро развиваются.
Во взрослой робототехнике есть хоть какие-то challenges для роботов, но это не совсем бенчмарки. Хотя к бенчмаркам тоже идут, примеры машинного обучения ведь перед глазами, и все роботы сегодня выучиваются. Поневоле переймёшь методики развития практики.
-- это не соревнование команд, а бенчмарк -- играют против поля, а не друг с другом. Это как на рынке: конкуренты не сталкиваются друг с другом в личном бою, а каждый из них сталкивается с потребительским спросом поодиночке. И в какой-то момент потребители к одному их конкурентов просто не приходят). Ну, или прыжки в длину -- прыгают против ямы с песком, каждый сам, а не как в футболе команда на команду и без абсолютного результата.
-- бенчмарк должен быть такой, чтобы супер-пупер профи набирал 70% сегодня и было куда расти, а школьник тоже мог легко воспроизвести хоть что-нибудь (называется baseline -- исходная "наивная" реализация, без изысков). Так что всё так, но параметры нужно подобрать.
И вот важное замечание: бенчмарки могут быть не только про результаты (роботов), но и про образование.
-- "Образовательная робототехника" пока не демонстрирует развития. В ней как-то не наблюдается ежегодных рекордов, новых бенчмарков под новые возможности робототехники (не роботов! робототехники -- возможности "как по-быстрому сляпать робота", а не "как сделать робота круче". Образование это про облегчение какой-то деятельности, уход в ней от метода проб и ошибок). Значит что-то не так, загнивание не может быть отслежено.
Бенчмаркать нужно и обучение тоже, хотя это труднее, чем бенчмаркать роботов. Напомню (уже в третий раз в своём блоге за последнюю неделю) подход FastAI: Я уже давал тут цитату: "Our goal at fast.ai is for there to be nothing to teach. We believe that the fact that we currently require high school math, one year of coding experience, and seven weeks of study to become a world-class deep learning practitioner, is not an acceptable state of affairs (even although this is less prerequisites for any other course of a similar level). Everybody should be able to use deep learning to solve their problems with no more education than it takes to use a smart phone. Therefore, each year our main research goal is to be able to teach a wider range of deep learning applications, that run faster, and are more accurate, to people with less prerequisites". Это из http://www.fast.ai/2017/09/08/introducing-pytorch-for-fastai/
Развитие какой-то сферы и развитие обучения в этой сфере нужно синхронизировать. Бенчмарки должны дойти и до обучения.