Дифференцируемая машина Тьюринга
В Новосибирске есть маленькая философская секта, которая считает, что "настоящий интеллект" не живёт на машине Тьюринга, ибо она дискретна. А мир не дискретен, он непрерывен. Следовательно, отразить эту непрерывность бытия в дискретных вычислениях нельзя -- и интеллект-на-тьюринге всегда будет недостаточен, уступать "настоящему" (тёплому ламповому) аналоговому интеллекту.
Я считаю, что есть множество контраргументов, и квантованность физического мира тут даже не самый главный. Моделирование вполне непрерывных физических явлений (скажем, турбулентности в расчётах сложных течений) на машине с GPU и 64-битными плавающими тут аргумент сильно получше.
Но мы подошли к интересному моменту, когда пришли нормальные алгебраисты и сделали непрерывную (дифференцируемую!) машину Тьюринга, "Машина Тьюринга с доступом Ли" -- http://arxiv.org/abs/1602.08671. А поскольку эта машина полностью (end-to-end) дифференцируема, то её начали учить (а не программировать!). Например, научили складывать k-значные числа: показали, как это делать для чисел с k больше двух, но меньше 16, но машина обобщила это знание аж до 32-значных чисел!
Конечно, к будущим архитектурам дифференцируемых вычислительных машин это всё имеет такое же отношение, как архитектура машины Тьюринга к архитектуре x86_64 (да, x86 это "победа маркетинга над здравым смыслом", но здравый смысл там далёк от повторения машины Тьюринга в кремнии! В нейронных сетках и дифференцируемых машинах эта победа ещё будет, нужно только подождать -- и тоже не сведётся к повторению машины Тьюринга в уж не знаю, в каком материале).
Но оцените, как это звучит сегодня: we present a new design of an external memory, wherein memories are stored in an Euclidean key space Rn. An LSTM controller performs read and write via specialized structures called read and write heads, following the design of Neural Turing Machine. It can move a head by either providing a new address in the key space (aka random access) or moving from its previous position via a Lie group action (aka Lie access). In this way, the "L" and "R" instructions of a traditional Turing Machine is generalized to arbitrary elements of a fixed Lie group action. For this reason, we name this new model the Lie Access Neural Turing Machine, or LANTM.
Напомню:
-- машина Тьюринга была предложена Аланом Тьюрингом в 1936 году
-- первый ламповый компьютер ENIAC был запущен в 1946 году
-- первый компилятор "большого" языка (фортран, до этого были только ассемблеры) вышел в 1957 году, хотя задумывался аж с 1954
С нейронными компьютерами, думаю, всё будет побыстрее. Ибо не в первый раз, уже многое известно, и мы даже уже знаем про будущую победу маркетинга над здравым смыслом в этих машинах!
Я считаю, что есть множество контраргументов, и квантованность физического мира тут даже не самый главный. Моделирование вполне непрерывных физических явлений (скажем, турбулентности в расчётах сложных течений) на машине с GPU и 64-битными плавающими тут аргумент сильно получше.
Но мы подошли к интересному моменту, когда пришли нормальные алгебраисты и сделали непрерывную (дифференцируемую!) машину Тьюринга, "Машина Тьюринга с доступом Ли" -- http://arxiv.org/abs/1602.08671. А поскольку эта машина полностью (end-to-end) дифференцируема, то её начали учить (а не программировать!). Например, научили складывать k-значные числа: показали, как это делать для чисел с k больше двух, но меньше 16, но машина обобщила это знание аж до 32-значных чисел!
Конечно, к будущим архитектурам дифференцируемых вычислительных машин это всё имеет такое же отношение, как архитектура машины Тьюринга к архитектуре x86_64 (да, x86 это "победа маркетинга над здравым смыслом", но здравый смысл там далёк от повторения машины Тьюринга в кремнии! В нейронных сетках и дифференцируемых машинах эта победа ещё будет, нужно только подождать -- и тоже не сведётся к повторению машины Тьюринга в уж не знаю, в каком материале).
Но оцените, как это звучит сегодня: we present a new design of an external memory, wherein memories are stored in an Euclidean key space Rn. An LSTM controller performs read and write via specialized structures called read and write heads, following the design of Neural Turing Machine. It can move a head by either providing a new address in the key space (aka random access) or moving from its previous position via a Lie group action (aka Lie access). In this way, the "L" and "R" instructions of a traditional Turing Machine is generalized to arbitrary elements of a fixed Lie group action. For this reason, we name this new model the Lie Access Neural Turing Machine, or LANTM.
Напомню:
-- машина Тьюринга была предложена Аланом Тьюрингом в 1936 году
-- первый ламповый компьютер ENIAC был запущен в 1946 году
-- первый компилятор "большого" языка (фортран, до этого были только ассемблеры) вышел в 1957 году, хотя задумывался аж с 1954
С нейронными компьютерами, думаю, всё будет побыстрее. Ибо не в первый раз, уже многое известно, и мы даже уже знаем про будущую победу маркетинга над здравым смыслом в этих машинах!