Нейромультимодальное обучение человеческому совершенству
Вот если бы мы взяли и перелицевали на основе новых знаний о работе мокрых нейронных сеток старое "нейролингвистическое программирование" (NLP) на "нейромультимодальное обучение" (NML)? У них же много общего, например общее желание перейти к one-shot learning -- обучению с первого раза, разовой учительской интервенции?
Впрочем, речь идёт не только о нэлперах в их "поэтической" бэндлеровской и "синтаксической" гриндеровской фракциях. Речь идёт о самых разных педагогах, психологах, когнитивистах.
Хотя инженеры уже используют "человечьи" слова, но совсем не так, как учителя. Deep learning у нейросетевиков означает обучение многоуровневых нейронных сеток, а вот у человечьих учителей этот же термин (с 1976 года, http://www.learningandteaching.info/learning/deepsurf.htm) означает заинтересованную основательную (глубокую) учёбу на внутренней мотивации против учёбы "по верхам" (поверхностной, surface) на внешней мотивации.
Или же "перенос обучения" -- у инженеров transfer learning, у учителей человеков это transfer of learning (с 1903 года, http://www.slideshare.net/ABRondilla19/transfer-of-learning-26994152, http://www.slideshare.net/ajones1/transfer-of-learning-presentation, http://www.slideshare.net/bongsir/transfer-of-learning-concepts-process-and-principles). Терминология тут существенно разошлась -- например, одни обсуждают переобучение и обобщение (overfitting generalisation) отдельно, curriculum learning и transfer learning отдельно, то другие near-far transfer, low-high road transfer, negative-positive-zero transfer как одну и ту же тему.
Этого можно ожидать: одни могут и учить, и делать пересадку части обученных слоёв одной глубокой сетки в другую, а другие могут только учить -- и всё. Поэтому у одних меньше внимания к тому как учить (хотя curriculum learning остаётся, но не слишком связан с transfer learning), а у других обуждение методов transfer teaching -- таких как hugging (дать похожий на жизнь тренажёр в учебной ситуации) и binding (заставить порассуждать на тему учебной ситуации, привязать её к жизни рассуждениями по абстракции), смотрите все эти педагогические термины и кучу литературы в презентациях по ссылкам в этом абзаце.
И так далее по всему списку: Гугль сходит с ума, когда пытается вытащить что-то про обучение -- ему пока невдомёк, про людей или компьютеры идёт речь. Например, вот эти все термины из deep learning искусственных нейронных сетей (ANN, artificial neural networks): deep learning, learning rate, machine learning, manifold learning, multi-modal learning, multi-task learning, reinforcement learning, representation learning, semi-supervised learning, statistical learning, structure learning, supervised learning, transfer learning, unsupervised learning, zero-data (zero-shot) learning, gradient-based learning, one-shot learning, multitask learning, adversarial training, pretraining, inference, meta-learning, life-long learning, off policy learning. Представляю себе реакцию человечьих учителей, которым вдруг Гугль ежедневно приносит всё больше и больше статей про обучение нежити!
В любом случае, я бы начинал уже потихоньку пересматривать и содержание образования, и его форму -- и учебные предметы и дидактика уже не должны быть прежними.
Лингвистику компьютерное глубокое обучение порвало одну из первых. Как это могло бы отразиться на человечьем глубоком обучении? Например, можно было бы учить "врождённой грамотности" -- выстраивая обучение на начитке специально подобранных текстов, используя специально подобранные шрифты, с подстройкой начитки под тестирование правописания. И это всё вместо заучивания бесчисленных правил с бесчисленными же исключениями на базе классических лингвистических теорий. Можно же прикинуть, сколько времени занимает это заучивание правил и сколько времени займёт достижение "врождённой грамотности" -- то есть научение нейронной сетки правильному письму "на примерах"? Заодно весь пиетет к "письму по правилам" исчезнет, все эти граммар-наци окажутся маргиналами, переупрощающими сложноцветущее языковое бытиё. Язык не освободится от своих сущностных черт, но мир для людей станет чуточку легче, сэкономленное людское мыслетопливо пригодится им для работы с исчислениями, формальными языками.
Но и с исчислениями можно делать бОльшую опору на выработку "интуиций" -- я думаю, подбор упражнений для формальных дисциплин (математика, физика) вместо попыток выехать на зазубривании определений и форму по факту получил своё теоретическое обоснование. И становится понятным, как работают "профи", описывая свою работу отнюдь не так, как она демонстрируется в учебниках. Можно тут вспомнить, что нейролингвистическое программирование в оригинале было посвящену моделированию человеческого совершенства (excellence). Вот это моделирование и должны делать занимающиеся содержанием учебных предметов, а обучение этим моделям должны иметь ввиду дидакты. Человеческое совершенство не передаётся сухим заучиванием каких-то формальных моделей, в нейронных сетках людей не компьютеры с переупрощёнными формальными моделями, в нейронных сетках прежде всего "интуиции"! Конечно, потом эти интуиции можно формально проверить -- то есть провести формальный вывод с огромными затратами мыслетоплива, но "проверить" -- это совсем другая операция, нежели "решить задачу"! Мы же учим людей решать задачи, а не проверять их?!
Опять же, если мы знаем, что в мозгах учится нейронная сетка, а не "программируется компьютер в мозгах", можно понять полезность обучения на различающихся, а не однотипных примерах. Однотипные повторения не помогают научить сетку, такое обучение отвратительно генерализуется. И наоборот, если в обучении ничего вообще не повторяется, то навыка (ни двигательного, ни мыслительного) тоже не будет -- у человека one-shot learning бывает, но не "как правило".
Ещё одна тонкость: как учиться в условиях наличия киберпсихики? Воспитывать ли владение чистым мозгом или сразу тренировать неокортекс+экзокортекс? В той же математике: нужно ли месяцами учить умножать ручкой столбиком, или воспитывать интуицию в числах, опираясь на умножение на калькуляторе? Что там про "мелкую моторику" -- сегодня-то явно можно побольше об этой моторике и её влиянии на высшие функции сказать, чем раньше. Когда нужно с карандаша-ручки пересаживать на клавиатуру-мышку? Когда с бумажки с формулами на Mathematica или что-то подобное? Меня-то под угрозой "испорчу почерк на всю жизнь" заставляли писать перьевой ручкой, запрещая даже авторучку, про шариковые ручки у школьников -- это вообще крамола была. А тут вместо ручек сначала десктопы, потом планшеты, сейчас голосовой ввод и виртуальная реальность на подходе -- а мы учим деток выигрывать в давно проигранной войне наших предков, вдалбливаем в их головы цивилизационные атавизмы, и даже это не самыми эффективными методами. А сколько таких "перьевых ручек" сегодня в высшем образовании?!
Вообще, есть дикие деятельностные разрывы: когнитивисты знают многое, чего не знают образованцы, а инженеры машинного обучения уже знают много нового, чего не знают когнитивисты, а психологи вообще тут сбоку оказываются -- они утешители, а не развиватели. Мне вдруг начало казаться, что инженеры машинного обучения всю эту цепочку до ученика смогут пройти, просто проигнорировав всех других "профи" на этой линейке -- просто поставив с одной стороны системы машинного обучения, а с другой стороны человеков, и наказав им учиться друг у друга. Без посредничества когнитивистов, педагогов и всех прочих современных образовательных гуру. Лучшие инженеры работают "из первых принципов" (it starts directly at the level of established laws of physics and does not make assumptions such as empirical model and fitting parameters), так и тут -- образование тоже можно было бы строить на базе установленных закономерностей нейросетевого обучения. Единственным тут препятствием является не до конца понятная связь между распределёнными и локальными представлениями, интуитивной и формальной работой, но и тут туман потихоньку будет рассеиваться. Можно пока использовать и то, что уже известно.
Я ожидаю сейчас огромные сдвижки в психологии, педагогике, организации образования: если мы лучше поняли устройство мышления, мы можем лучше ему учить. Главное, учить осознанно: не выпуская из внимания "чему" и "как", как бы быстро эти "что" и "как" не менялись в соответствии с сегодняшним лучшим пониманием. Нейромультимодальное обучение человеческому совершенству.
UPDATE: про эмоции ничего не написано, потому что нельзя объять необъятное в коротком тексте. Концепция открытого мира: что не помянуто, того не нет, а просто не помянуто. То же самое про ценности, состояния и мета-состояния. Предполагается, что читатель как-то знаком с классическим нейролингвистическим программированием и последующими наработками (нейро-семантикой Холла и т.д.).
Про машинную работу с эмоциями можно прочесть вот тут по состоянию на февраль, сейчас наверняка уже лучше: http://arxiv.org/abs/1602.08225
Дискуссии в фейсбуке тут: https://www.facebook.com/ailevenchuk/posts/10207130849523662 и https://www.facebook.com/groups/nevronet/permalink/642358275930497/ (это в комьюнити нейронета).
Впрочем, речь идёт не только о нэлперах в их "поэтической" бэндлеровской и "синтаксической" гриндеровской фракциях. Речь идёт о самых разных педагогах, психологах, когнитивистах.
Хотя инженеры уже используют "человечьи" слова, но совсем не так, как учителя. Deep learning у нейросетевиков означает обучение многоуровневых нейронных сеток, а вот у человечьих учителей этот же термин (с 1976 года, http://www.learningandteaching.info/learning/deepsurf.htm) означает заинтересованную основательную (глубокую) учёбу на внутренней мотивации против учёбы "по верхам" (поверхностной, surface) на внешней мотивации.
Или же "перенос обучения" -- у инженеров transfer learning, у учителей человеков это transfer of learning (с 1903 года, http://www.slideshare.net/ABRondilla19/transfer-of-learning-26994152, http://www.slideshare.net/ajones1/transfer-of-learning-presentation, http://www.slideshare.net/bongsir/transfer-of-learning-concepts-process-and-principles). Терминология тут существенно разошлась -- например, одни обсуждают переобучение и обобщение (overfitting generalisation) отдельно, curriculum learning и transfer learning отдельно, то другие near-far transfer, low-high road transfer, negative-positive-zero transfer как одну и ту же тему.
Этого можно ожидать: одни могут и учить, и делать пересадку части обученных слоёв одной глубокой сетки в другую, а другие могут только учить -- и всё. Поэтому у одних меньше внимания к тому как учить (хотя curriculum learning остаётся, но не слишком связан с transfer learning), а у других обуждение методов transfer teaching -- таких как hugging (дать похожий на жизнь тренажёр в учебной ситуации) и binding (заставить порассуждать на тему учебной ситуации, привязать её к жизни рассуждениями по абстракции), смотрите все эти педагогические термины и кучу литературы в презентациях по ссылкам в этом абзаце.
И так далее по всему списку: Гугль сходит с ума, когда пытается вытащить что-то про обучение -- ему пока невдомёк, про людей или компьютеры идёт речь. Например, вот эти все термины из deep learning искусственных нейронных сетей (ANN, artificial neural networks): deep learning, learning rate, machine learning, manifold learning, multi-modal learning, multi-task learning, reinforcement learning, representation learning, semi-supervised learning, statistical learning, structure learning, supervised learning, transfer learning, unsupervised learning, zero-data (zero-shot) learning, gradient-based learning, one-shot learning, multitask learning, adversarial training, pretraining, inference, meta-learning, life-long learning, off policy learning. Представляю себе реакцию человечьих учителей, которым вдруг Гугль ежедневно приносит всё больше и больше статей про обучение нежити!
В любом случае, я бы начинал уже потихоньку пересматривать и содержание образования, и его форму -- и учебные предметы и дидактика уже не должны быть прежними.
Лингвистику компьютерное глубокое обучение порвало одну из первых. Как это могло бы отразиться на человечьем глубоком обучении? Например, можно было бы учить "врождённой грамотности" -- выстраивая обучение на начитке специально подобранных текстов, используя специально подобранные шрифты, с подстройкой начитки под тестирование правописания. И это всё вместо заучивания бесчисленных правил с бесчисленными же исключениями на базе классических лингвистических теорий. Можно же прикинуть, сколько времени занимает это заучивание правил и сколько времени займёт достижение "врождённой грамотности" -- то есть научение нейронной сетки правильному письму "на примерах"? Заодно весь пиетет к "письму по правилам" исчезнет, все эти граммар-наци окажутся маргиналами, переупрощающими сложноцветущее языковое бытиё. Язык не освободится от своих сущностных черт, но мир для людей станет чуточку легче, сэкономленное людское мыслетопливо пригодится им для работы с исчислениями, формальными языками.
Но и с исчислениями можно делать бОльшую опору на выработку "интуиций" -- я думаю, подбор упражнений для формальных дисциплин (математика, физика) вместо попыток выехать на зазубривании определений и форму по факту получил своё теоретическое обоснование. И становится понятным, как работают "профи", описывая свою работу отнюдь не так, как она демонстрируется в учебниках. Можно тут вспомнить, что нейролингвистическое программирование в оригинале было посвящену моделированию человеческого совершенства (excellence). Вот это моделирование и должны делать занимающиеся содержанием учебных предметов, а обучение этим моделям должны иметь ввиду дидакты. Человеческое совершенство не передаётся сухим заучиванием каких-то формальных моделей, в нейронных сетках людей не компьютеры с переупрощёнными формальными моделями, в нейронных сетках прежде всего "интуиции"! Конечно, потом эти интуиции можно формально проверить -- то есть провести формальный вывод с огромными затратами мыслетоплива, но "проверить" -- это совсем другая операция, нежели "решить задачу"! Мы же учим людей решать задачи, а не проверять их?!
Опять же, если мы знаем, что в мозгах учится нейронная сетка, а не "программируется компьютер в мозгах", можно понять полезность обучения на различающихся, а не однотипных примерах. Однотипные повторения не помогают научить сетку, такое обучение отвратительно генерализуется. И наоборот, если в обучении ничего вообще не повторяется, то навыка (ни двигательного, ни мыслительного) тоже не будет -- у человека one-shot learning бывает, но не "как правило".
Ещё одна тонкость: как учиться в условиях наличия киберпсихики? Воспитывать ли владение чистым мозгом или сразу тренировать неокортекс+экзокортекс? В той же математике: нужно ли месяцами учить умножать ручкой столбиком, или воспитывать интуицию в числах, опираясь на умножение на калькуляторе? Что там про "мелкую моторику" -- сегодня-то явно можно побольше об этой моторике и её влиянии на высшие функции сказать, чем раньше. Когда нужно с карандаша-ручки пересаживать на клавиатуру-мышку? Когда с бумажки с формулами на Mathematica или что-то подобное? Меня-то под угрозой "испорчу почерк на всю жизнь" заставляли писать перьевой ручкой, запрещая даже авторучку, про шариковые ручки у школьников -- это вообще крамола была. А тут вместо ручек сначала десктопы, потом планшеты, сейчас голосовой ввод и виртуальная реальность на подходе -- а мы учим деток выигрывать в давно проигранной войне наших предков, вдалбливаем в их головы цивилизационные атавизмы, и даже это не самыми эффективными методами. А сколько таких "перьевых ручек" сегодня в высшем образовании?!
Вообще, есть дикие деятельностные разрывы: когнитивисты знают многое, чего не знают образованцы, а инженеры машинного обучения уже знают много нового, чего не знают когнитивисты, а психологи вообще тут сбоку оказываются -- они утешители, а не развиватели. Мне вдруг начало казаться, что инженеры машинного обучения всю эту цепочку до ученика смогут пройти, просто проигнорировав всех других "профи" на этой линейке -- просто поставив с одной стороны системы машинного обучения, а с другой стороны человеков, и наказав им учиться друг у друга. Без посредничества когнитивистов, педагогов и всех прочих современных образовательных гуру. Лучшие инженеры работают "из первых принципов" (it starts directly at the level of established laws of physics and does not make assumptions such as empirical model and fitting parameters), так и тут -- образование тоже можно было бы строить на базе установленных закономерностей нейросетевого обучения. Единственным тут препятствием является не до конца понятная связь между распределёнными и локальными представлениями, интуитивной и формальной работой, но и тут туман потихоньку будет рассеиваться. Можно пока использовать и то, что уже известно.
Я ожидаю сейчас огромные сдвижки в психологии, педагогике, организации образования: если мы лучше поняли устройство мышления, мы можем лучше ему учить. Главное, учить осознанно: не выпуская из внимания "чему" и "как", как бы быстро эти "что" и "как" не менялись в соответствии с сегодняшним лучшим пониманием. Нейромультимодальное обучение человеческому совершенству.
UPDATE: про эмоции ничего не написано, потому что нельзя объять необъятное в коротком тексте. Концепция открытого мира: что не помянуто, того не нет, а просто не помянуто. То же самое про ценности, состояния и мета-состояния. Предполагается, что читатель как-то знаком с классическим нейролингвистическим программированием и последующими наработками (нейро-семантикой Холла и т.д.).
Про машинную работу с эмоциями можно прочесть вот тут по состоянию на февраль, сейчас наверняка уже лучше: http://arxiv.org/abs/1602.08225
Дискуссии в фейсбуке тут: https://www.facebook.com/ailevenchuk/posts/10207130849523662 и https://www.facebook.com/groups/nevronet/permalink/642358275930497/ (это в комьюнити нейронета).