"Нейронные сети не программируются в привычном смысле этого слова, они обучаются. Возможность обучения - одно из главных преимуществ нейронных сетей перед традиционными алгоритмами. В процессе обучения нейронная сеть способна выявлять сложные зависимости между входными данными и выходными, а также выполнять обобщение. Это значит, что в случае успешного обучения сеть сможет вернуть верный результат на основании данных, которые отсутствовали в обучающей выборке, а также неполных или частично искаженных данных."
итак, поскольку мы кое-что уже потихоньку выяснили насчёт
алгоритмов и инструкций, нам будет крайне интересно продолжить наше замечательное путешествие в волшебный мир семантики логических аспектов. между делом напоминаю взбодрившимся трудящимся, что
здесь у нас активно проходит уютненький опрос на эту тему.
ТАНЦУЮТ ВСЕ! а мы пока внимательно рассмотрим усечённую статью
Жоры Мельникова "Информация и память". напомню, чисто к слову, что из ряда типичных задач, ставящихся перед искусственной нейросетью, нас в данном случае могли бы сильно заинтересовать вопросы
сжатия данных и
ассоциативной памяти. однако, этот лёгкий, ненавязчивый и крайне занимательный текст - совсем о другом. о нас с вами, а также о семантике и, так сказать, этиологии и телеологии соционических аспектов. ну это на случай, если вы вдруг сильно любите красивые непонятные слова.
Представьте себе, что вы обучаете детей геометрии. Вы уже научили их вычислять длину гипотенузы по двум катетам. Теперь вы приступили к новой задаче - необходимо определить площадь прямоугольного треугольника по катету и гипотенузе. Это можно сделать двумя методами.
Метод А. Вы объясняете ученикам, что площадь прямоугольного треугольника равна половине площади прямоугольника, стороны которого равны катетам. Неизвестный катет вычисляется по теореме Пифагора, затем катеты перемножаются - это дает нам площадь прямоугольника. Половина этой площади и есть искомая величина.
Метод В. Требуется запомнить 6 операций, а именно:
1) сложить длину гипотенузы и катета;
2) вычесть из длины гипотенузы длину катета;
3) умножить первый результат на второй;
4) извлечь квадратный корень из этого произведения;
5) умножить положительное значение корня на известный катет;
6) разделить это произведение на два.
Какой метод вы отнесёте к БЛ, а какой к ЧЛ предпочтете? Вряд ли кто-нибудь, кроме психолога-экспериментатора, остановится на методе В. Метод А - полезный и понятный. Метод В кажется бессмысленным. Но почему? Что же плохого в методе, который логически безупречен и всегда приводит к верным результатам?
Напрашивается такой ответ. Метод А дает ученику возможность понять, что он делает. Но тогда нужно ответить на вопрос - а что это значит: понять то, что делаешь? И для чего это нужно?
Отметим, что метод В - это как раз тот метод, с помощью которого инструктируют современную вычислительную машину. Инструкция для машины - это письменная программа, вроде последовательности операций метода В, но только еще более ясная и подробная, содержащая еще меньше сведений об общей стратегии решения.
Инженеры мечтают построить машину, которая сама будет создавать себе программу. Ей только зададут проблему и машина «поймет» ее достаточно хорошо, чтобы разработать все необходимые операции и подпрограммы, нужные для решения. Желательность создания таких машин очевидна, потому что сейчас очень много времени и труда уходит на составление подробных инструкций; а затем еще нужно их закодировать и ввести в машину.
В большой вычислительной машине таких подпрограмм - тысячи. Поэтому значительно экономнее «научить» машину разрабатывать их, чем самим создавать устройства для их хранения и извлечения. Другими словами, лучше, чтобы в памяти машины хранились правила, по которым создаются программы. Выходит, что и машина «понимает» - метод В нехорош. Каждая подпрограмма есть изолированная операция, которая должна храниться в определенном месте. Не делается никаких попыток связать эти операции с другой информацией, доступной машине.
Итак, преимущество метода А заключается в том, что он позволяет лучше, полнее использовать емкость памяти. При обучении геометрии метод А вскрывает отношение поставленной задачи к тем сведениям, которые ученик уже усвоил, и дает ему возможность вывести правила, по которым он самостоятельно составит программу вычисления. Метод В менее эффективен, так как он требует механически запомнить больший объем информации.
Поскольку наша способность к запоминанию ограничивается возможностью нашего интеллекта, мы пытаемся организовать материал так, чтобы эффективнее использовать свою память. Мы не можем одновременно думать обо всем, что мы знаем. 300 лет тому назад Рене Декарт в своем незаконченном трактате «Правила мышления» писал: «Если я нашел, путем независимых мыслительных операций отношения между А и В, между В и С, между С и D, наконец, между D и Е, то это еще не позволит мне понять отношения между А и Е. Истины, усвоенные ранее, не дадут мне точного знания об этом, если я не смогу одновременно припомнить все эти истины. Чтобы помочь делу, я буду просматривать эти истины время от времени, стимулируя свое воображение... Я буду поступать так, пока не научусь переходить от первого звена к последнему настолько быстро, что ни одна из стадий этого процесса не будет «спрятана» в моей памяти, а я смогу созерцать своим мысленным взором всю картину сразу. Этот метод разгрузит память, уменьшит инертность мышления, увеличит возможности разума».
Организовать материал, связать независимые части в единое целое, уменьшая тем самым нагрузку на память и давая мозгу возможность мыслить - этот процесс подобен замене длинного выражения одним символом, так как каждый раз писать длинное выражение неэкономно.
Все наши рассуждения приводят нас к выводу, что метод А значительно превосходит неудобный метод В, так как он позволяет лучше, экономнее использовать механизмы памяти для запоминания и воспроизведения информации. Шесть произвольных операций метода В организованы в методе А вокруг трех главных аспектов проблемы, так что каждый аспект может быть представлен символом, который учащийся уже усвоил ранее.
ну и в качестве факультативчега - небольшое продолжение. самая малость стандартной количественной "теории информации" (соционика, как мы знаем, рассматривает её качественные аспекты). эта теория, кстати, имеет более адекватное наименование - математическая теория связи. под "теорией информации" же нам в дальнейшем неизбежно следует понимать более общее рассмотрение этих вопросов, включающее в том числе и соционический подход.
Сэр Вильям Гамильтон, шотландский философ XIХ в., писал: «Если вы бросите на пол пригоршню камешков, то окажется, что очень трудно сразу воспринять больше 6-7 камешков, не перепутав их». В 1871 г. английский логик Джевонс сообщил, что бросал бобы в коробку и, определяя их количество (с одного взгляда, не пересчитывая), он никогда не ошибался, когда бобов было 3 или 4; иногда ошибался, когда их было 5; ошибался в половине случаев, когда бобов было 10, и почти всегда ошибался, когда их было 15.
Опыт Гамильтона был повторен в весьма строгих условиях эксперимента, его первоначальное интуитивное заключение было подтверждено. Человек в состоянии воспринять 5-6 точек, не прибегая к их пересчитыванию. Если точек больше - возможны ошибки. Но определить количество бобов или точек - это задача восприятия, не обязательно связанная с мышлением. Каждый шаг в рассуждении имеет свою собственную структуру, отличную от других шагов и от безымянных бобов в коробке Джевонса.
Лучшим тестом на «восприятие» была бы проверка способности запоминать различные символы в данной последовательности. Джозеф Джекобс впервые провел такой опыт в 1887 г. Он читал вслух беспорядочный набор цифр и предлагал слушателям записать эту последовательность по окончании чтения. Нормальный взрослый человек может воспроизвести последовательность из 7-8 цифр, не более. Однако большой объем одномоментного запоминания совсем не обязательно означает высокий уровень интеллекта. Человек, который, может сразу воспринять 8 десятичных цифр, обычно может запомнить 7 букв алфавита или 6 односложных слов (взятых наугад). Но 6 слов содержат значительно больше информации (определяемой по правилам теории информации), чем 7 букв или 8 цифр.
Математическая теория связи дает единицу для измерения информации. В той ситуации, которую мы рассматриваем, объем информации, приходящейся на один символ, равен логарифму (по основанию 2) числа возможных выборов. Информация, содержащаяся в одной двоичной цифре, где есть только два выбора, равна log2 2, или 1 биту. В случае десятичных цифр объем информации на одну цифру равен log2 10, или 3,32 битам. Каждая буква алфавита (английского) несет log2 26, или 4,7 бита информации. Когда мы вычисляем количество информации, приходящееся на одно слово, мы должны учитывать объем словаря, из которого взяты слова. В английском языке примерно 1000 односложных общеупотребительных слов. Поэтому в грубой оценке количество информации, приходящееся на одно слово, равно log2 1000, или примерно 10 битам.
Человек, который в состоянии повторить 9 двоичных цифр, обычно может повторить 5 слов. В 9 двоичных цифрах 9 битов; в 5 словах - около 50 битов. Таким образом, единица Шеннона количественно показывает, как можно улучшить эффективность памяти, пользуясь более богатыми - в информационном смысле - единицами.
Очевидно, все сложное символическое обучение происходит этим путем. Материал сначала организуется в «куски», которые, если между ними установлена связь, могут быть заменены символами-сокращениями, начальными буквами, схемами, именами и т.д. Постепенно, множество аргументов и рассуждений переводится на язык нескольких символов, которые могут быть восприняты человеком одномоментно. Чтобы проверить эту гипотезу, мы провели серию опытов по определению объема кратковременной памяти.
Как и следовало ожидать, испытуемым было одинаково легко (или трудно) запомнить последовательность, содержащую большое количество информации, и равную по длине, но содержащую мало информации. Весьма близкие результаты получили Броден и Шмидт, которые не знали о нашей гипотезе и проводили опыты, руководствуясь другими соображениями. Мы считаем себя вправе сделать предварительное заключение, что наша память в состоянии удержать лишь ограниченное число символов, независимо от того, какое количество информации представлено каждым символом. Поэтому-то и оказывается столь полезной разумная организация изучаемого материала, которая позволяет выразить весь представленный объем информации ограниченным числом символов.
До каких же пределов нужно группировать материал и выражать его символами? Какие выбрать группы для организации? При выяснении этого могут помочь лингвисты. Дело в том, что язык имеет иерархическую структуру - звуки, слова, фразы, предложения. Известно, что английское предложение в четыре раза длиннее, чем было бы при максимально экономном использовании алфавита. На первый взгляд это кажется парадоксальным, из-за неточного определения понятия «длина предложения». Состоит ли предложение из 100 букв? Или из 25 слов? Или из 6 логических групп?
Наши книги содержат 75% избыточных букв. Но это не значит, что можно отбросить 75% идей. Ведь именно «группы», называемые идеями, и нужно брать в основу определения психологической длины текста. Последовательность из 25 слов, объединенных в предложение, легче запомнить, чем последовательность из 25 слов, наугад взятых из словаря. Предложение легче запомнить, так как слова легко объединяются в знакомые группы. В психологическом понимании предложение из 25 слов короче, чем 25 не связанных между собою слов.
Мы оказываемся в положении кошелька, который вмещает не более 7 монет - безразлично медных или золотых. Очевидно, если мы наполним кошелек не медью, а золотом, то богатство наше будет большим. Точно так же и емкость своей памяти мы можем использовать более эффективно, заполняя ее символами, более богатыми в информационном смысле - идеями и образами.
а теперь, многоуважаемые юнгопоклонники, а также мистики, хуистики, учоные, мочоные и прочие - давайте посмотрим, что говорит на этот счёт
гражданин Амосов в предисловии к сборнику статей по биокибернетике и когнитологии.
Статья американского психолога Дж. Миллера представляет собой попытку рассмотреть человеческую память в свете теории информации; причем автор критически подошел к теме и сумел подчеркнуть то важное обстоятельство, что теория информации в ее нынешнем виде еще не дает адекватного критерия для оценки памяти человека. Дело в том, что требуется не только формально-количественный учет информации, но и оценка ее содержания.
Оценка семантического (а не только формального) объема информации - задача чрезвычайно сложная, однако нельзя считать ее принципиально неразрешимой. Возможно, один из путей заключается в том, чтобы оценивать объем содержания информации, исходя из тех изменений, которые она вызывает в поведении воспринявшего ее организма.
К сожалению, современная нейрофизиология еще не позволяет дать детальное объяснение психики человека. Поэтому и возник такой подход - изучать непосредственную действительность мышления, его чисто психологические закономерности в процессе решения различных проблем и затем делать выводы о программах или алгоритмах мышления. Опыт А. Ньюэлла и Г. Саймона в этом отношении очень интересен, хотя не следует закрывать глаза и на ограниченность их метода. Авторы статьи недооценивают тот факт, что у человека мышление никогда не бывает изолированным от других проявлений психики, прежде всего эмоций и чувств.
без комментариев.