Создание новой информации: осознание
http://ivanov-petrov.livejournal.com/454700.html?thread=13383468#t13383468
faceted_jacinth
Мне его доказательство несостоятельности варианта А не понравилось совершенно. Чего только стоит аппеляция к "Аргументу Китайской Комнаты", который, на мой взгляд, представляет собой Fallacy of Division с начала и до конца, притом усугублённый недостатком фантазии.
Кстати недавно понял интересную вещь: искуственные нейронные сети и генетические алгоритмы судя по всему на самом деле создают новую информацию. То есть если "алгоритм" в классическом понимании ничего нового не создаёт, только обрабатывает входные данные, то это - создаёт. Правда, для этого нужен хороший генератор случайных чисел.
vagonsky
а что Вы называете информацией?
faceted_jacinth
Ммм, конкретно тут я её понимаю в каком-то очень широком смысле... *задумчиво шевелит руками*... даже не знаю как и определить. Наверное вот так: мы каким-то образом кодируем в компьютеропонимаемый вид какие-то свои данные, а потом напускаем на неё Идеальный Архиватор, размер получившегося архива считаем мерой количества информации в наших данных.
Любой результат, выданный машиной Тьюринга, Идеальный Архиватор сумеет ужать как минимум до её начального состояния и номера итерации, независимо от его, результата, причудливости.
Тут я намеренно оставил за кадром "полезность" информации (потому что пока получается, что наибольшее количество информации содержится в белом шуме) - но кажется мне что оная полезность у классических алгоритмов и у этих недетерминированных штук получится приблизительно одинаковая, как её не измеряй.
vagonsky
_мы каким-то образом кодируем в компьютеропонимаемый вид какие-то свои данные, а потом напускаем на неё Идеальный Архиватор, размер получившегося архива считаем мерой количества информации в наших данных._
А при этом от способа кодирования мера не будет зависеть?
_Любой результат, выданный машиной Тьюринга, Идеальный Архиватор сумеет ужать как минимум до её начального состояния и номера итерации, независимо от его, результата, причудливости._
Простите, но что такое Идеальный Архиватор? Абстракция? Тогда я не понимаю, как через неё определить информацию.
_Тут я намеренно оставил за кадром "полезность" информации (потому что пока получается, что наибольшее количество информации содержится в белом шуме) - но кажется мне что оная полезность у классических алгоритмов и у этих недетерминированных штук получится приблизительно одинаковая, как её не измеряй._
Да пока непонятно, что Вы вообще измеряете.
faceted_jacinth
А, вопрос понял. Вообще если кодирование однозначное, то существует алгоритм перекодирования из одного представления в другое, который, естественно, будет неявно использован Идеальным Архиватором. Но тогда мне скорее всего не удастся ответить на Ваш следующий вопрос, поскольку архивирование - это взаимнооднозначное отображение из множества всех битовых строк в себя же, таких отображений много, и разные отображения лучше "архивируют" разные строки.
Так что пусть вот так будет: способ перевода в битовую строку считаем фиксированным, Идеальный Архиватор для произвольной строки находит машину Тьюринга минимальной длины, генерирующую эту строку. При этом для любой строки эта минимальная длина определена и единственна.
> Мне хочется, чтобы Вы объяснили мне, что Вы понимаете под словом "информация".
А зачем, собственно? Это критично для понимания моих слов?
vagonsky
_Вообще если кодирование однозначное_
По-моему, здесь основная проблема в том, что интуитивно понятный смысл слова "информация" куда-то исчезает при формализации. Это заставляет задуматься, а не субъективно ли вообще это понятие.
_способ перевода в битовую строку считаем фиксированным_
Ну вот здесь снова та же проблема - "считаем, что нам известен фиксированный способ однозначного кодирования информации в битовую строку". Суть термина снова ускользнула, превратившись в абстрактную битовую строку.
_А зачем, собственно? Это критично для понимания моих слов?_
Вы сказали, что нейронные сети и генетические алгоритмы в действительности создают новую информацию. Именно это утверждение меня заинтересовало. Для его понимания мне нужно понять, что Вы вкладываете в термин.
Я, собственно, не настаиваю, просто было интересно - вдруг у Вас есть какое-то формальное определение, мне неизвестное.
faceted_jacinth
Вы правы. Никакого формального определения информации, подходящего к обсуждаемому предмету, у меня, пожалуй, нет, а возможно и нет вообще.
Однако интуитивно, наверное, понятно, что в генетическом алгоритме, выделяющем "интересные" паттерны из случайного шума, что-то есть такое, чего нет в машине Тьюринга, печатающей все истинные теоремы подряд. И это "что-то" вроде как почти ловится на том, что во втором случае произвольной истинной теореме можно сопоставить число, а в первом - нет.
sonte
_Что при вычислимых преобразованиях информация не появляется - опять-таки, бесспорно, потому что непонятно, как такой тезис защищать_
Извините, не понял. Далее Вы не показываете это на вычислимых объектах, только то, что определение вычислимости не зависит от способа кодирования.
_И действительно, можно показать, что генератор случайных чисел создаёт новую информацию._
Информацию в каком смысле новую - по отношению к исходным данным? Кажется, у Пенроуза это возражение как-то опровергается, надо перечитать.
sonte
Извините, чересчур кудряво и двусмысленно выразился, повторю.
Утверждения, что "информация содержатся в объектах" и "при алгоритмических преобразованиях объектов новой информации не появляется", я не умею обосновывать. Более того, не вижу, путей для обоснования (поэтому спорить о них мне кажется контрпродуктивным).
Если Вы можете написать что-нибудь за или против - это было бы интересно.
Но тем не менее эти утверждения мне кажутся отражающими достаточно большой фрагмент интуитивных представлений об информации, чтобы строить некоторую математическую теорию на таких вот "философских" основаниях.
Такой раздел математики (т.н. алгоритмическая теория информации) есть, внутриматематический интерес он представляет. Интересен ли он вне математики, можно решить, только обсуждая следствия и сравнивая с интуицией. Одно из следствий - "гсч создаёт новую информацию". Более подробно можно так сказать. Есть некоторый объект, который преобразуется невычислимо (счётчик Гейгера, человек с монеткой), мы записываем за ним последовательность нулей и единиц (орлов и решек). Эта последовательность - и есть новая информация, с подавляющей вероятностью колмогоровская сложность её будет равна длине (новая - потому что раньше вообще ничего не было). С другой стороны, мы обычно интересуемся не новой информацией вообще, а новой информацией о чём-то, так называемой взаимной информацией x и y. Так вот, если к объекту x применить рандомизированный алгоритм A, то с подавляющей вероятностью взаимная информация A(x) и y не больше, чем у x и y (хотя количество информации в A(x) больше, чем в x).
vagonsky
_Если Вы можете написать что-нибудь за или против - это было бы интересно._
В свою очередь, мне кажется несколько странным определять информацию как нечто, обладающее недоказуемым свойством. :)
К сожалению, ничего существенного об информации я написать не могу - понимаю, что у меня просто нет определения, подходящего к этому явлению, несомненно важному философскому понятию. Все, чем получается оперировать применительно к интеллекту - понятие смысла, но оно субъективно. В общем, у меня нет доказательств существования какой-то объективно существующей информации, которая отражала бы словоупотребление этого термина - мне кажется, что это некая фикция, введенная для удобства, постулируемый объективный носитель смысла.
_Так вот, если к объекту x применить рандомизированный алгоритм A, то с подавляющей вероятностью взаимная информация A(x) и y не больше, чем у x и y (хотя количество информации в A(x) больше, чем в x)._
Да, спасибо, Вы все четко описали. То есть, создает ГСЧ новую информацию или нет - вопрос того, как ее понимать, объект, имеющий колмогоровскую сложность или как объект, имеющий ее относительно чего-то. Наверное, к философии большее отношение имеет именно второе, мне кажется, что борхесовская "Вавилонская библиотека", например, не несёт информации.
faceted_jacinth
Я вот не понимаю одной простой, наверное, вещи - кто иль что есть "вычислимое преобразование"? Дело в том, что я могу написать машину Тьюринга, которая для некоего входного слова строит фиксированное выходное. Произвольное. Или для любого фиксированного набора слов строит соостветствующий фиксированный набор выходных, произвольной длины опять же. Но информация о способе построения этого набора оказывается заключена именно в ней.
Собственно, именно когда я это понял, я понял что не могу дать адекватного определения информации самой по себе, а не относительной (причём, наверное, тоже не любой, а в достаточно узких рамках).
sonte
Реальное определение колмогоровской сложности несколько сложнее того, что я написал выше. Вы верно пишете, что вычислимое преобразование может привнести в объекты информацию о себе самом. Важно то, что ничего другого не добавляется. Напомню, что понятие алгоритма имеет смысл только для массовых проблем, и любые алгоритмические свойства надо определять через бесконечные совокупности входов и выходов. В данном случае говорят, что f не возрастает при алгоритмических преобразованиях, если разность между значениями f на образе объекта и самом объекте ограничена некоторой константой, не зависящей от объекта, а зависящей только от преобразования.
Не уверен, что я понял замечание про относительную информацию, поэтому на это пока отвечать не буду.
_meskalito_
естественно! - беря "хороший генератор случайных чисел" вы вводите неалгоритмизируемый элемент в систему - то есть система в целом перестает быть алгоритмом в чистом виде.
faceted_jacinth
Ну знаете ли, если все эти несколько томов, написанных по поводу ИИ только Пенроузом, можно свести к требованию наличия хорошего генератора случайных чисел, то я даже не знаю что сказать =)
Кстати что-то в этом есть: тогда и упор на квантово-механические эффекты становится понятен, они ж высококачественную вероятностность дают.
Представляется душевная картина: через пятьдесят лет Пенроуза выводят из глубокой заморозки и демонстрируют разумного робота, цельнокремниевого, без каких-либо квантовых эффектов. Пенроуз чешет в затылке и восклицает: "Ах, но вы же вставили в него счётчик Гейгера, так нечестно, я все свои предположения строил исходя из невозможности использовать счётчик Гейгера!"
_meskalito_
В общем то об этом пенроуз и говорит что не всякая случайность подойдет для объяснения феномена сознания...
Критерий "хорошести" в данном разрезе получается не таким уж плоским и однозначным.
про робота сказки останутся сказками...
faceted_jacinth
И, кстати, остаётся ещё следующий нетривиальный вопрос: нельзя ли вместо счётчика Гейгера использовать цифры числа Пи или другой какой генератор из епархии chaos theory?
_meskalito_
нельзя, потому, что в любом случае любая теория основывается это алгоритм, а алгоритм с заданной точностью дает одни и те же результаты при одинаковых исходных условиях...
faceted_jacinth
Видите ли, результат работы многих алгоритмов можно узнать только непосредственно запустив и посмотрев. Поэтому теоретическая "предсказуемость" вероятностной машины Тьюринга, в которой вместо счётчика Гейгера стоит вычислитель числа пи, может оказаться совершенно несущественной на практике.
Вообще это всё совершенно неважно, поскольку хороших генераторов случайных чисел вокруг очень много.
begemotv2718
_Вот насчет очень большого и очень сложного, но алгоритма_
Вообще говоря, в алгоритм, моделирующий поведение мозга в качестве исходных данных надо подставлять начальное состояние этого мозга. Может стоит отложить рассуждения об алгоритмизуемости мышления до выдумывания сколь-либо разумного способа это сделать?
_meskalito_
Это не аргумент - имея алгоритм мы можем смоделировать все возможные исходные состояния этого алгоритма так как их число будет конечным. И выбрать из них наиболее подходящие для предполагаемого "начального состояния мозга".
begemotv2718
Хм. Всего примерно N=10 10 26 бит входных данных и вы сможете вычислить полную волновую функцию всех частиц мозга по заданой входной волновой функции, причем на классическом компьютере и с помощью не шибко сложного классического алгоритма решения уравнения в частных производных. Заметим, что N число вполне себе конечное. Перебрав всего 2^N вариантов входных данных (тоже конечное число, разумеется), вы сможете установить все возможные следствия всех возможных начальных условий.
_meskalito_
Если бы мы не имели никакой инфы о роде информации и ее форме, то задача была бы нерешаемой в разумное время (в пределах допустим человеческой жизни) с помощью наших средств, но если мы проанализируем какого рода информация может поступать в мозг зная количество чувств человека и диапазон их восприятия то задача заметно упростится.
В принципе мы всегда так делаем - принимаем некоторые упрощения и допущения и пытаемся задачу решатьв таком "упрощенном виде". Проверяя на практике соответсвтие результов вычислений и экспериментов.
vi_z
Джон Серл в своей "Комнате", по моим впечатлениям из личной беседы, имел в виду лисповский логицистский ИИ времен 60х-70х, когда смысл символов (проекция на реальный мир) оставался системе неизвестным. Система человек-комната может оперировать только символами, но не значениями-реальностью, и деятельной проекцией на реальность этих символов не обладает. Она может рассуждать про ходьбу, но ходить не умеет. Может рассуждать про кулинарные рецепты, но лапшу в руках никогда не держала и сварить ее не может.
При этом Серл, как оказалось, был не в курсе, что ИИ с конца 80-х как раз занят деятельными системами, которые оперируют с реальным миром и внутренние репрезентации которых хорошо семантически наполнены.
Кстати недавно понял интересную вещь: искуственные нейронные сети и генетические алгоритмы судя по всему на самом деле создают новую информацию.
Ну и что? Любой источник шума или датчик случайных чисел создает новую информацию.
faceted_jacinth
Ух ты, Вы с ним лично общались, клёво =)
Так вот, на самом деле осмысленность или неосмысленность символов, кажется, совершенно неважна. То есть вопрос осмысленности символов тянет за собой кучу других вопросов - кто, собственно, осмысляет символы и почему нам это важно? Если их осмысляем и семантически наполняем _мы_ (то есть устанавливаем соответствие между символами и реальными объектами или нашими понятиями), то какое отношение это имеет к самой системе? Это она должна уметь их осмыслять, но во-первых пока что до этого очень далеко, а во-вторых, даже когда она научится как-то описывать свои символы относительно своих впечатлений о реальном мире, далеко не факт, что эти описания будут соответствовать тем символам или мета-символам, которые на самом деле имеют место быть в её "мозгу".
Какая разница, умеет ли варить лапшу некая система, если она может давать адекватные советы по процессу варки лапши? Ой, тут я кажется утыкаюсь в тест Тьюринга, по поводу которого тоже много могу сказать, но это не относится к.
Неверзелесс, насколько я понимаю, его аргумент можно развернуть вот каким образом: возьмём компьютер, исполняющий некоторую программу, но определённое действие (например, сложение двух чисел) выведем на внешнее устройство - человека, который будет считывать с дисплея числа, складывать их и вводить результат обратно в компьютер. Понимает ли человек смысл исполняемой программы? Нет. Исполняется ли программа и даёт осмысленный результат? Да. Где противоречие? Нет противоречия, потому что программа представляет собой бОльшее, нежели сумму своих частей.
Собственно, сам Серл именно это и делал - заменял один транзистор или их совокупность на человека, после чего пытался найти в _части_ признак _целого_. Это и есть Fallacy of Division.
"Может ли компьютер осуществлять дискретное преобразование Фурье? Нет, и сейчас я это докажу крайне просто. Представим себе эту предположительную компьютерную программу в виде набора карточек ... бла бла бла... и возьмём обычного сельского юношу, не овладевшего даже таблицей умножения, который будет перекладывать карточки в соответствии с правилами. Допустим, мы получили в результате действия программы результат дискретного преобразования Фурье над данным набором чисел, но ведь юноша-то и слов таких не знает, как же его действия могли привести к такому результату? Так что даже дискретное преобразование Фурье компьютеры осуществлять не в состоянии, QED"
vi_z
_Так вот, на самом деле осмысленность или неосмысленность символов, кажется, совершенно неважна.... Какая разница, умеет ли варить лапшу некая система, если она может давать адекватные советы по процессу варки лапши? Ой, тут я кажется утыкаюсь в тест Тьюринга, по поводу которого тоже много могу сказать, но это не относится к._
В этом вопросе Серл и Тьюринг, очевидно, расходятся; причем как ни странно это может оказаться для Вас, современный ИИ (с конца 80х) на стороне Серла, а не Тьюринга. Все эти embodiment и "экспериментальная биология" мотивированы именно желанием иметь семантически наполненные внутренние репрезентации, пусть даже и не такие сложные, как у человека.
В двух словах, язык -- это лишь вершина айсберга, и он лишь намекает на то, что невыразимо в языке, и что составляет опыт живой системы (=семантику языка). Теоретически, конечно, можно запрограммировать все это в Лисповский Интеллект, чтобы он мог пройти тест Тьюринга, но лишь чисто теоретически. На практике мы не осознаем подводную часть айсберга, не умеем о ней говорить и не умеем ее программировать. И даже при удаче, интеллектуальным в Серловском смысле будет не сам Лисповский Интеллект, а система Лисповский Интеллект + человек (как Вы говорите, "какая разница, что система не может сварить лапшу если она может давать кулинарные советы?" -- разница как раз в этом: еще и человек нужен, содержащий сематику языка). Поскольку в том, что человек разумен, мы вроде не сомневаемся, то в системе Лисповский Интеллект + человек интеллектуальность Лисповского "Интеллекта" можно и нужно ставить под вопрос, и полагать, что весь интеллект находится в человеке, что Серл и делает.
_Собственно, сам Серл именно это и делал - заменял один транзистор или их совокупность на человека, после чего пытался найти в _части_ признак _целого_. Это и есть Fallacy of Division._
При такой интерпретации "Китайской Комнаты", Серл -- полный дурак; а по моему впечатлению, это не так. И соответственно возражения против "Китайской Комнаты", построенные таким образом, самоочевидны, и не в тему к его аргументу.
faceted_jacinth
А, понял, спасибо. То есть Серл изначально говорил о конкретной системе Человек + ИИ, а Пенроуз и другие зачем-то перетащили аргумент в обсуждение ИИ вообще, так?
Да, кстати, возможно Вам окажется интересным это http://faceted-jacinth.livejournal.com/72968.html - какими-то не очень сложными способами (судя по временным затратам) авторы очередного мета-словаря с уклоном в решение кроссвордов, умудрились приблизительно ухватить Mind Map англоговорящего человечества, то есть часть той самой семантики (правда, без привязки к реальным объектам, естественно), о которой Вы говорите.
Что же касается семантической наполненности как самоцели - даже и не знаю. Если хочется построить ИИ, который затем использовать в качестве действующей модели человеческого сознания, тогда прозрачность и понятность его символов действительно необходима, но мне что-то представляется довольно маловероятным такой прорыв.
Если же хочется построить работающий ИИ, то вполне возможно, что его механизм окажется столь же непонятным для исследователей, как и, собственно, механизм человеческого мышления.
и дальше, дальше...
faceted_jacinth
Мне его доказательство несостоятельности варианта А не понравилось совершенно. Чего только стоит аппеляция к "Аргументу Китайской Комнаты", который, на мой взгляд, представляет собой Fallacy of Division с начала и до конца, притом усугублённый недостатком фантазии.
Кстати недавно понял интересную вещь: искуственные нейронные сети и генетические алгоритмы судя по всему на самом деле создают новую информацию. То есть если "алгоритм" в классическом понимании ничего нового не создаёт, только обрабатывает входные данные, то это - создаёт. Правда, для этого нужен хороший генератор случайных чисел.
vagonsky
а что Вы называете информацией?
faceted_jacinth
Ммм, конкретно тут я её понимаю в каком-то очень широком смысле... *задумчиво шевелит руками*... даже не знаю как и определить. Наверное вот так: мы каким-то образом кодируем в компьютеропонимаемый вид какие-то свои данные, а потом напускаем на неё Идеальный Архиватор, размер получившегося архива считаем мерой количества информации в наших данных.
Любой результат, выданный машиной Тьюринга, Идеальный Архиватор сумеет ужать как минимум до её начального состояния и номера итерации, независимо от его, результата, причудливости.
Тут я намеренно оставил за кадром "полезность" информации (потому что пока получается, что наибольшее количество информации содержится в белом шуме) - но кажется мне что оная полезность у классических алгоритмов и у этих недетерминированных штук получится приблизительно одинаковая, как её не измеряй.
vagonsky
_мы каким-то образом кодируем в компьютеропонимаемый вид какие-то свои данные, а потом напускаем на неё Идеальный Архиватор, размер получившегося архива считаем мерой количества информации в наших данных._
А при этом от способа кодирования мера не будет зависеть?
_Любой результат, выданный машиной Тьюринга, Идеальный Архиватор сумеет ужать как минимум до её начального состояния и номера итерации, независимо от его, результата, причудливости._
Простите, но что такое Идеальный Архиватор? Абстракция? Тогда я не понимаю, как через неё определить информацию.
_Тут я намеренно оставил за кадром "полезность" информации (потому что пока получается, что наибольшее количество информации содержится в белом шуме) - но кажется мне что оная полезность у классических алгоритмов и у этих недетерминированных штук получится приблизительно одинаковая, как её не измеряй._
Да пока непонятно, что Вы вообще измеряете.
faceted_jacinth
А, вопрос понял. Вообще если кодирование однозначное, то существует алгоритм перекодирования из одного представления в другое, который, естественно, будет неявно использован Идеальным Архиватором. Но тогда мне скорее всего не удастся ответить на Ваш следующий вопрос, поскольку архивирование - это взаимнооднозначное отображение из множества всех битовых строк в себя же, таких отображений много, и разные отображения лучше "архивируют" разные строки.
Так что пусть вот так будет: способ перевода в битовую строку считаем фиксированным, Идеальный Архиватор для произвольной строки находит машину Тьюринга минимальной длины, генерирующую эту строку. При этом для любой строки эта минимальная длина определена и единственна.
> Мне хочется, чтобы Вы объяснили мне, что Вы понимаете под словом "информация".
А зачем, собственно? Это критично для понимания моих слов?
vagonsky
_Вообще если кодирование однозначное_
По-моему, здесь основная проблема в том, что интуитивно понятный смысл слова "информация" куда-то исчезает при формализации. Это заставляет задуматься, а не субъективно ли вообще это понятие.
_способ перевода в битовую строку считаем фиксированным_
Ну вот здесь снова та же проблема - "считаем, что нам известен фиксированный способ однозначного кодирования информации в битовую строку". Суть термина снова ускользнула, превратившись в абстрактную битовую строку.
_А зачем, собственно? Это критично для понимания моих слов?_
Вы сказали, что нейронные сети и генетические алгоритмы в действительности создают новую информацию. Именно это утверждение меня заинтересовало. Для его понимания мне нужно понять, что Вы вкладываете в термин.
Я, собственно, не настаиваю, просто было интересно - вдруг у Вас есть какое-то формальное определение, мне неизвестное.
faceted_jacinth
Вы правы. Никакого формального определения информации, подходящего к обсуждаемому предмету, у меня, пожалуй, нет, а возможно и нет вообще.
Однако интуитивно, наверное, понятно, что в генетическом алгоритме, выделяющем "интересные" паттерны из случайного шума, что-то есть такое, чего нет в машине Тьюринга, печатающей все истинные теоремы подряд. И это "что-то" вроде как почти ловится на том, что во втором случае произвольной истинной теореме можно сопоставить число, а в первом - нет.
sonte
_Что при вычислимых преобразованиях информация не появляется - опять-таки, бесспорно, потому что непонятно, как такой тезис защищать_
Извините, не понял. Далее Вы не показываете это на вычислимых объектах, только то, что определение вычислимости не зависит от способа кодирования.
_И действительно, можно показать, что генератор случайных чисел создаёт новую информацию._
Информацию в каком смысле новую - по отношению к исходным данным? Кажется, у Пенроуза это возражение как-то опровергается, надо перечитать.
sonte
Извините, чересчур кудряво и двусмысленно выразился, повторю.
Утверждения, что "информация содержатся в объектах" и "при алгоритмических преобразованиях объектов новой информации не появляется", я не умею обосновывать. Более того, не вижу, путей для обоснования (поэтому спорить о них мне кажется контрпродуктивным).
Если Вы можете написать что-нибудь за или против - это было бы интересно.
Но тем не менее эти утверждения мне кажутся отражающими достаточно большой фрагмент интуитивных представлений об информации, чтобы строить некоторую математическую теорию на таких вот "философских" основаниях.
Такой раздел математики (т.н. алгоритмическая теория информации) есть, внутриматематический интерес он представляет. Интересен ли он вне математики, можно решить, только обсуждая следствия и сравнивая с интуицией. Одно из следствий - "гсч создаёт новую информацию". Более подробно можно так сказать. Есть некоторый объект, который преобразуется невычислимо (счётчик Гейгера, человек с монеткой), мы записываем за ним последовательность нулей и единиц (орлов и решек). Эта последовательность - и есть новая информация, с подавляющей вероятностью колмогоровская сложность её будет равна длине (новая - потому что раньше вообще ничего не было). С другой стороны, мы обычно интересуемся не новой информацией вообще, а новой информацией о чём-то, так называемой взаимной информацией x и y. Так вот, если к объекту x применить рандомизированный алгоритм A, то с подавляющей вероятностью взаимная информация A(x) и y не больше, чем у x и y (хотя количество информации в A(x) больше, чем в x).
vagonsky
_Если Вы можете написать что-нибудь за или против - это было бы интересно._
В свою очередь, мне кажется несколько странным определять информацию как нечто, обладающее недоказуемым свойством. :)
К сожалению, ничего существенного об информации я написать не могу - понимаю, что у меня просто нет определения, подходящего к этому явлению, несомненно важному философскому понятию. Все, чем получается оперировать применительно к интеллекту - понятие смысла, но оно субъективно. В общем, у меня нет доказательств существования какой-то объективно существующей информации, которая отражала бы словоупотребление этого термина - мне кажется, что это некая фикция, введенная для удобства, постулируемый объективный носитель смысла.
_Так вот, если к объекту x применить рандомизированный алгоритм A, то с подавляющей вероятностью взаимная информация A(x) и y не больше, чем у x и y (хотя количество информации в A(x) больше, чем в x)._
Да, спасибо, Вы все четко описали. То есть, создает ГСЧ новую информацию или нет - вопрос того, как ее понимать, объект, имеющий колмогоровскую сложность или как объект, имеющий ее относительно чего-то. Наверное, к философии большее отношение имеет именно второе, мне кажется, что борхесовская "Вавилонская библиотека", например, не несёт информации.
faceted_jacinth
Я вот не понимаю одной простой, наверное, вещи - кто иль что есть "вычислимое преобразование"? Дело в том, что я могу написать машину Тьюринга, которая для некоего входного слова строит фиксированное выходное. Произвольное. Или для любого фиксированного набора слов строит соостветствующий фиксированный набор выходных, произвольной длины опять же. Но информация о способе построения этого набора оказывается заключена именно в ней.
Собственно, именно когда я это понял, я понял что не могу дать адекватного определения информации самой по себе, а не относительной (причём, наверное, тоже не любой, а в достаточно узких рамках).
sonte
Реальное определение колмогоровской сложности несколько сложнее того, что я написал выше. Вы верно пишете, что вычислимое преобразование может привнести в объекты информацию о себе самом. Важно то, что ничего другого не добавляется. Напомню, что понятие алгоритма имеет смысл только для массовых проблем, и любые алгоритмические свойства надо определять через бесконечные совокупности входов и выходов. В данном случае говорят, что f не возрастает при алгоритмических преобразованиях, если разность между значениями f на образе объекта и самом объекте ограничена некоторой константой, не зависящей от объекта, а зависящей только от преобразования.
Не уверен, что я понял замечание про относительную информацию, поэтому на это пока отвечать не буду.
_meskalito_
естественно! - беря "хороший генератор случайных чисел" вы вводите неалгоритмизируемый элемент в систему - то есть система в целом перестает быть алгоритмом в чистом виде.
faceted_jacinth
Ну знаете ли, если все эти несколько томов, написанных по поводу ИИ только Пенроузом, можно свести к требованию наличия хорошего генератора случайных чисел, то я даже не знаю что сказать =)
Кстати что-то в этом есть: тогда и упор на квантово-механические эффекты становится понятен, они ж высококачественную вероятностность дают.
Представляется душевная картина: через пятьдесят лет Пенроуза выводят из глубокой заморозки и демонстрируют разумного робота, цельнокремниевого, без каких-либо квантовых эффектов. Пенроуз чешет в затылке и восклицает: "Ах, но вы же вставили в него счётчик Гейгера, так нечестно, я все свои предположения строил исходя из невозможности использовать счётчик Гейгера!"
_meskalito_
В общем то об этом пенроуз и говорит что не всякая случайность подойдет для объяснения феномена сознания...
Критерий "хорошести" в данном разрезе получается не таким уж плоским и однозначным.
про робота сказки останутся сказками...
faceted_jacinth
И, кстати, остаётся ещё следующий нетривиальный вопрос: нельзя ли вместо счётчика Гейгера использовать цифры числа Пи или другой какой генератор из епархии chaos theory?
_meskalito_
нельзя, потому, что в любом случае любая теория основывается это алгоритм, а алгоритм с заданной точностью дает одни и те же результаты при одинаковых исходных условиях...
faceted_jacinth
Видите ли, результат работы многих алгоритмов можно узнать только непосредственно запустив и посмотрев. Поэтому теоретическая "предсказуемость" вероятностной машины Тьюринга, в которой вместо счётчика Гейгера стоит вычислитель числа пи, может оказаться совершенно несущественной на практике.
Вообще это всё совершенно неважно, поскольку хороших генераторов случайных чисел вокруг очень много.
begemotv2718
_Вот насчет очень большого и очень сложного, но алгоритма_
Вообще говоря, в алгоритм, моделирующий поведение мозга в качестве исходных данных надо подставлять начальное состояние этого мозга. Может стоит отложить рассуждения об алгоритмизуемости мышления до выдумывания сколь-либо разумного способа это сделать?
_meskalito_
Это не аргумент - имея алгоритм мы можем смоделировать все возможные исходные состояния этого алгоритма так как их число будет конечным. И выбрать из них наиболее подходящие для предполагаемого "начального состояния мозга".
begemotv2718
Хм. Всего примерно N=10 10 26 бит входных данных и вы сможете вычислить полную волновую функцию всех частиц мозга по заданой входной волновой функции, причем на классическом компьютере и с помощью не шибко сложного классического алгоритма решения уравнения в частных производных. Заметим, что N число вполне себе конечное. Перебрав всего 2^N вариантов входных данных (тоже конечное число, разумеется), вы сможете установить все возможные следствия всех возможных начальных условий.
_meskalito_
Если бы мы не имели никакой инфы о роде информации и ее форме, то задача была бы нерешаемой в разумное время (в пределах допустим человеческой жизни) с помощью наших средств, но если мы проанализируем какого рода информация может поступать в мозг зная количество чувств человека и диапазон их восприятия то задача заметно упростится.
В принципе мы всегда так делаем - принимаем некоторые упрощения и допущения и пытаемся задачу решатьв таком "упрощенном виде". Проверяя на практике соответсвтие результов вычислений и экспериментов.
vi_z
Джон Серл в своей "Комнате", по моим впечатлениям из личной беседы, имел в виду лисповский логицистский ИИ времен 60х-70х, когда смысл символов (проекция на реальный мир) оставался системе неизвестным. Система человек-комната может оперировать только символами, но не значениями-реальностью, и деятельной проекцией на реальность этих символов не обладает. Она может рассуждать про ходьбу, но ходить не умеет. Может рассуждать про кулинарные рецепты, но лапшу в руках никогда не держала и сварить ее не может.
При этом Серл, как оказалось, был не в курсе, что ИИ с конца 80-х как раз занят деятельными системами, которые оперируют с реальным миром и внутренние репрезентации которых хорошо семантически наполнены.
Кстати недавно понял интересную вещь: искуственные нейронные сети и генетические алгоритмы судя по всему на самом деле создают новую информацию.
Ну и что? Любой источник шума или датчик случайных чисел создает новую информацию.
faceted_jacinth
Ух ты, Вы с ним лично общались, клёво =)
Так вот, на самом деле осмысленность или неосмысленность символов, кажется, совершенно неважна. То есть вопрос осмысленности символов тянет за собой кучу других вопросов - кто, собственно, осмысляет символы и почему нам это важно? Если их осмысляем и семантически наполняем _мы_ (то есть устанавливаем соответствие между символами и реальными объектами или нашими понятиями), то какое отношение это имеет к самой системе? Это она должна уметь их осмыслять, но во-первых пока что до этого очень далеко, а во-вторых, даже когда она научится как-то описывать свои символы относительно своих впечатлений о реальном мире, далеко не факт, что эти описания будут соответствовать тем символам или мета-символам, которые на самом деле имеют место быть в её "мозгу".
Какая разница, умеет ли варить лапшу некая система, если она может давать адекватные советы по процессу варки лапши? Ой, тут я кажется утыкаюсь в тест Тьюринга, по поводу которого тоже много могу сказать, но это не относится к.
Неверзелесс, насколько я понимаю, его аргумент можно развернуть вот каким образом: возьмём компьютер, исполняющий некоторую программу, но определённое действие (например, сложение двух чисел) выведем на внешнее устройство - человека, который будет считывать с дисплея числа, складывать их и вводить результат обратно в компьютер. Понимает ли человек смысл исполняемой программы? Нет. Исполняется ли программа и даёт осмысленный результат? Да. Где противоречие? Нет противоречия, потому что программа представляет собой бОльшее, нежели сумму своих частей.
Собственно, сам Серл именно это и делал - заменял один транзистор или их совокупность на человека, после чего пытался найти в _части_ признак _целого_. Это и есть Fallacy of Division.
"Может ли компьютер осуществлять дискретное преобразование Фурье? Нет, и сейчас я это докажу крайне просто. Представим себе эту предположительную компьютерную программу в виде набора карточек ... бла бла бла... и возьмём обычного сельского юношу, не овладевшего даже таблицей умножения, который будет перекладывать карточки в соответствии с правилами. Допустим, мы получили в результате действия программы результат дискретного преобразования Фурье над данным набором чисел, но ведь юноша-то и слов таких не знает, как же его действия могли привести к такому результату? Так что даже дискретное преобразование Фурье компьютеры осуществлять не в состоянии, QED"
vi_z
_Так вот, на самом деле осмысленность или неосмысленность символов, кажется, совершенно неважна.... Какая разница, умеет ли варить лапшу некая система, если она может давать адекватные советы по процессу варки лапши? Ой, тут я кажется утыкаюсь в тест Тьюринга, по поводу которого тоже много могу сказать, но это не относится к._
В этом вопросе Серл и Тьюринг, очевидно, расходятся; причем как ни странно это может оказаться для Вас, современный ИИ (с конца 80х) на стороне Серла, а не Тьюринга. Все эти embodiment и "экспериментальная биология" мотивированы именно желанием иметь семантически наполненные внутренние репрезентации, пусть даже и не такие сложные, как у человека.
В двух словах, язык -- это лишь вершина айсберга, и он лишь намекает на то, что невыразимо в языке, и что составляет опыт живой системы (=семантику языка). Теоретически, конечно, можно запрограммировать все это в Лисповский Интеллект, чтобы он мог пройти тест Тьюринга, но лишь чисто теоретически. На практике мы не осознаем подводную часть айсберга, не умеем о ней говорить и не умеем ее программировать. И даже при удаче, интеллектуальным в Серловском смысле будет не сам Лисповский Интеллект, а система Лисповский Интеллект + человек (как Вы говорите, "какая разница, что система не может сварить лапшу если она может давать кулинарные советы?" -- разница как раз в этом: еще и человек нужен, содержащий сематику языка). Поскольку в том, что человек разумен, мы вроде не сомневаемся, то в системе Лисповский Интеллект + человек интеллектуальность Лисповского "Интеллекта" можно и нужно ставить под вопрос, и полагать, что весь интеллект находится в человеке, что Серл и делает.
_Собственно, сам Серл именно это и делал - заменял один транзистор или их совокупность на человека, после чего пытался найти в _части_ признак _целого_. Это и есть Fallacy of Division._
При такой интерпретации "Китайской Комнаты", Серл -- полный дурак; а по моему впечатлению, это не так. И соответственно возражения против "Китайской Комнаты", построенные таким образом, самоочевидны, и не в тему к его аргументу.
faceted_jacinth
А, понял, спасибо. То есть Серл изначально говорил о конкретной системе Человек + ИИ, а Пенроуз и другие зачем-то перетащили аргумент в обсуждение ИИ вообще, так?
Да, кстати, возможно Вам окажется интересным это http://faceted-jacinth.livejournal.com/72968.html - какими-то не очень сложными способами (судя по временным затратам) авторы очередного мета-словаря с уклоном в решение кроссвордов, умудрились приблизительно ухватить Mind Map англоговорящего человечества, то есть часть той самой семантики (правда, без привязки к реальным объектам, естественно), о которой Вы говорите.
Что же касается семантической наполненности как самоцели - даже и не знаю. Если хочется построить ИИ, который затем использовать в качестве действующей модели человеческого сознания, тогда прозрачность и понятность его символов действительно необходима, но мне что-то представляется довольно маловероятным такой прорыв.
Если же хочется построить работающий ИИ, то вполне возможно, что его механизм окажется столь же непонятным для исследователей, как и, собственно, механизм человеческого мышления.
и дальше, дальше...