отладочная модель одноглазого микробота
Одноглазый - потому что пока в модели подключена только одна "сетчатка". Две сетчатки с соответствующей геометрией оптики дают стереозрение (точнее создают предпосылки для восприятия информации о глубине сцены), но я пока не знаю, как правильно учесть disparity изображения объекта на двух сетчатках.
Микробот - потому что модель исключительно простая и предназначена для проверки различных комбинаций алгоритмов. Простота позволяет руками отдебажить все этапы и анализировать в отладчике все переменные модели. В этом смысле 20 пикселей лучше тысячи.
Задача робота - выполнить исследование динамической среды и выявить "плохие" и "хорошие" объекты, преследуя первые и избегая вторых. Плохиши и хорошиши отличаются цветом, но заранее робот не знает классификацию и должен ее выяснить самостоятельно. Причем, обучение должно выполняться максимально быстро, то есть одна попытка поймать плохой объект должна приводить к образованию очень сильной ассоциативной связи.
На данный момент заработало такое сочетание алгоритмов.
На входе - unsupervised feature learning на основе K-means. Он выполняет статистическое разделение входных сигналом на признаки. Попытка использовать autoencoder пока ничего не дала, видимо создаваемые фичи не позволяют линейно разделить подпространства моторных решений.
Далее - модуль reinforcement learning, который сопоставляет набор признаков, которые выдал блок K-means, и "соматосенсорную" информацию об взаимодействии со средой. По мере появления feedback'а инициализируется вероятностная модель моторного селектора.
Этот селектор на каждом шаге делает выбор шага. При этом изначально селектор представляет собой конечный автомат с такой матрицей переходов, что агент предпочитает продолжение движения в выбранном направлении, но время от времени за счет случайного шума меняет направление. Вероятностная модель по мере обучения перекашивает вероятности переходов таким образом, что агент старается избегать взаимодействия с плохишами и преследует хорошишей.
Что дальше: 1) стереозрение 2) построение пространственной карты. 3) iconic memory 4) spatial memory.
Микробот - потому что модель исключительно простая и предназначена для проверки различных комбинаций алгоритмов. Простота позволяет руками отдебажить все этапы и анализировать в отладчике все переменные модели. В этом смысле 20 пикселей лучше тысячи.
Задача робота - выполнить исследование динамической среды и выявить "плохие" и "хорошие" объекты, преследуя первые и избегая вторых. Плохиши и хорошиши отличаются цветом, но заранее робот не знает классификацию и должен ее выяснить самостоятельно. Причем, обучение должно выполняться максимально быстро, то есть одна попытка поймать плохой объект должна приводить к образованию очень сильной ассоциативной связи.
На данный момент заработало такое сочетание алгоритмов.
На входе - unsupervised feature learning на основе K-means. Он выполняет статистическое разделение входных сигналом на признаки. Попытка использовать autoencoder пока ничего не дала, видимо создаваемые фичи не позволяют линейно разделить подпространства моторных решений.
Далее - модуль reinforcement learning, который сопоставляет набор признаков, которые выдал блок K-means, и "соматосенсорную" информацию об взаимодействии со средой. По мере появления feedback'а инициализируется вероятностная модель моторного селектора.
Этот селектор на каждом шаге делает выбор шага. При этом изначально селектор представляет собой конечный автомат с такой матрицей переходов, что агент предпочитает продолжение движения в выбранном направлении, но время от времени за счет случайного шума меняет направление. Вероятностная модель по мере обучения перекашивает вероятности переходов таким образом, что агент старается избегать взаимодействия с плохишами и преследует хорошишей.
Что дальше: 1) стереозрение 2) построение пространственной карты. 3) iconic memory 4) spatial memory.