Принцип минимальной сложности моделей и его основания.
Принцип минимальной сложности моделей и его основания.
В современной вычислительной математике широко и по существу применяется принцип “минимальной сложности” моделей, используемых для изображения реальных объектов и явлений (см., напр., [1], с. 233 и всю 12 главу). Можно ведь построить модель с огромным множеством параметров, способную описать чуть ли не любой набор данных при любых условиях его получения, а не только конкретно обрабатываемый набор. Однако неоднозначностям, возникающим при определении значений параметров многопараметрической модели по одному частному набору данных, к тому же отягченных ошибками измерений и контроля условий, автоматически сопутствует ослабление предсказательной силы модели: поведение объектов, предсказываемое такой моделью в областях, уже немного отличающихся от исходной, оказывается чрезвычайно прихотливым и явно необоснованным. Поэтому предпочтение отдается простейшим моделям, которые обеспечивают как можно более плавное, спокойное поведение в окрестности протестированных данных - лишь бы имеющиеся данные удовлетворительно описывались. Если при дальнейших экстраполяциях обнаружится расхождение предсказаний модели (теории) с реальностью, то модель следует соответственно скорректировать. Так реализуется стратегия постепенного развития знания.
Этот прием построения моделей соответствует обязательному для науки принципу бритвы Оккама: не следует вводить сущностей сверх необходимых. Введя множество сущностей с большим запасом или какую-нибудь одну, но всестороннюю и всемогущую, можно “объяснить” что угодно, но толку, помимо некоторого самоуспокоения, от этого будет немного, так как не будет оснований ожидать, что будущие предсказания модели окажутся реалистическими.
Дело в том, что любое предсказание (в том числе и интерполяция) есть экстраполяция - выход из непосредственно проверенной опытом ситуации в новую область, опытом не проверенную. Реальные ситуации никогда точно не повторяются. Вообще говоря, априори не могло быть никакой уверенности в том, что природа позволит в заметном числе случаев ожидать небольшого изменения результата при небольших изменениях условий и действий. Однако широчайший опыт свидетельствует именно о таком ее характере. В противном случае результативная человеческая деятельность, познание и сама жизнь были бы невозможны. Тогда, например, невозможна была бы поговорка о том, что ложку мимо рта не пронесешь, так как сия процедура происходит, разумеется, всегда в несколько измененных условиях, и кто знает, насколько неожиданные результаты получались бы при очередных попытках.
Однако в то же время - при некоторой устойчивости воспроизводства эффектов, то есть при довольно плавной их зависимости от изменения условий - результаты при этом все же меняются. Но тогда при излишне многопараметрической модели явления и некоторой неизбежной неточности определения значений ее параметров даже незначительная экстраполяция становится неуверенной. Если же удается обнаружить зависимость простой формы, с небольшим числом параметров, то это можно считать огромной удачей, выпадающей, впрочем, упорному исследователю, как естественнику, так и гуманитарию. Возможность выделения простой, но достаточно точной зависимости, конечно, означает определенное ее подтверждение, ее неслучайность, систематическое доминирование чего-то выделенного, а не простое и неустойчивое стечение обстоятельств, ибо крайне маловероятно в неоднородном и меняющемся мире лишь случайно напасть на ситуацию, когда сложная, со многими разнообразными факторами зависимость на заметном интервале вырождалась бы с хорошей точностью в удачную для нас - простую. Одновременно простота зависимости совместно с отмеченной выше некоторой устойчивостью движений природы указывает на гораздо более широкий диапазон применимости закономерности, чем область применимости очень сложной зависимости - при одной и той же точности фиксации условий, при которых были установлены обе зависимости.
С бритвой Оккама или с обсуждаемым здесь конкретным ее вариантом не следует сближать пресловутый принцип “экономии мышления”. Принцип экономии мышления, напоминая их лишь по внешности, причину и основу желательности или необходимости этой “экономии” видит в чистой субъективности, в то время как они есть выражение объективно необходимого порядка правильной познавательной деятельности, направленной на по возможности адекватное познание неисчерпаемой объективной реальности.
Таковы причины основательности принципа бритвы Оккама и основания высокой значимости простых закономерностей.
Вернемся к примерам.
Фактически совершенно по такой же методе, как в вычислительной математике, действовал Галилей, когда ввел закон постоянного ускорения падения тел [2,3]. Об ошибках измерений он знал и, конечно, формально имел право провести по данным множество более сложных законов - с немного непостоянным ускорением (которое и в самом деле не постоянно). Однако он ограничился постоянным ускорением, присовокупив в свое оправдание методологическое основание: склонность природы к простоте. Правда, он не привел независимых свидетельств того, какой именно простотой ограничивается природа.
Далее. Гелиоцентрическая система Коперника гораздо проще геоцентрической системы Птолемея. Именно поэтому она послужила мощным доводом для лишения Земли исключительного положения.
В свою очередь простота законов Кеплера указывала на то, что они верно отражают некую глубокую истину, так как было бы весьма маловероятным, чтобы накопленные Тихо Браге многочисленные данные лишь случайно легли на столь неизощренные кривые, в то время как в случае сложных теоретических кривых возможность сомнения в правильности открытых законов была бы существенно большей.
Механика Ньютона упростила задачу предсказания движения тел, введя немногие принципы и правила вывода решений, универсально применимые для всех без ограничения (в то время) случаев.
Огромное впечатление на широкие массы произвела знаменитая формула Эйнштейна, связывающая массу, энергию и скорость света. Ее исключительная простота вместе с определенной экспериментальной подтвержденностью заставляет думать о ее гораздо большей универсальности, чем только в тех областях, где она подтверждена. Есть даже склонность бесконечно экстраполировать, абсолютизировать это соотношение.
Возвращаясь к описанию характера природы, заметим, что она, по-видимому, бесконечно сложна, но ее сложность все же такова, что допускает в некоторых случаях отображение явлений с хорошей точностью уже простыми моделями. Эту возможную простоту моделей не следует смешивать с простотой природы. В действительности, скажем, формулы Кеплера не вполне точны. Природа не настолько проста, чтобы возможны были простые и одновременно точные модели. Она допускает только, чтобы простые модели в отдельных достаточно широких областях давали хорошее приближение. Но она не обязана делать это каждый раз, в любых обстоятельствах. Иначе все модели в конечном счете слились бы в одну, что означало бы действительную простоту природы. Поэтому сказанное pаньше не означает, что сложные модели обязательно неверны, хотя и могут вызывать большее сомнение, чем простые. А переупрощение моделей путем сужения области их работоспособности сводит их по существу к набору обрывочных, не связанных между собой гипотез ad hoc, тогда как установление связи теорий имеет решающее значение для обоснования знаний.
Так вот задача как раз и заключается в том, чтобы определить, разобраться, должна ли быть в данном случае модель простой или не обязательно. И вот здесь требуется хорошо прочувствовать сам вопрос и адекватность ответа ему и всему другому знанию, которое, возможно, следует где-то скорректировать соответственно новому ответу для большей согласованности знаний в целом.
В современной вычислительной математике широко и по существу применяется принцип “минимальной сложности” моделей, используемых для изображения реальных объектов и явлений (см., напр., [1], с. 233 и всю 12 главу). Можно ведь построить модель с огромным множеством параметров, способную описать чуть ли не любой набор данных при любых условиях его получения, а не только конкретно обрабатываемый набор. Однако неоднозначностям, возникающим при определении значений параметров многопараметрической модели по одному частному набору данных, к тому же отягченных ошибками измерений и контроля условий, автоматически сопутствует ослабление предсказательной силы модели: поведение объектов, предсказываемое такой моделью в областях, уже немного отличающихся от исходной, оказывается чрезвычайно прихотливым и явно необоснованным. Поэтому предпочтение отдается простейшим моделям, которые обеспечивают как можно более плавное, спокойное поведение в окрестности протестированных данных - лишь бы имеющиеся данные удовлетворительно описывались. Если при дальнейших экстраполяциях обнаружится расхождение предсказаний модели (теории) с реальностью, то модель следует соответственно скорректировать. Так реализуется стратегия постепенного развития знания.
Этот прием построения моделей соответствует обязательному для науки принципу бритвы Оккама: не следует вводить сущностей сверх необходимых. Введя множество сущностей с большим запасом или какую-нибудь одну, но всестороннюю и всемогущую, можно “объяснить” что угодно, но толку, помимо некоторого самоуспокоения, от этого будет немного, так как не будет оснований ожидать, что будущие предсказания модели окажутся реалистическими.
Дело в том, что любое предсказание (в том числе и интерполяция) есть экстраполяция - выход из непосредственно проверенной опытом ситуации в новую область, опытом не проверенную. Реальные ситуации никогда точно не повторяются. Вообще говоря, априори не могло быть никакой уверенности в том, что природа позволит в заметном числе случаев ожидать небольшого изменения результата при небольших изменениях условий и действий. Однако широчайший опыт свидетельствует именно о таком ее характере. В противном случае результативная человеческая деятельность, познание и сама жизнь были бы невозможны. Тогда, например, невозможна была бы поговорка о том, что ложку мимо рта не пронесешь, так как сия процедура происходит, разумеется, всегда в несколько измененных условиях, и кто знает, насколько неожиданные результаты получались бы при очередных попытках.
Однако в то же время - при некоторой устойчивости воспроизводства эффектов, то есть при довольно плавной их зависимости от изменения условий - результаты при этом все же меняются. Но тогда при излишне многопараметрической модели явления и некоторой неизбежной неточности определения значений ее параметров даже незначительная экстраполяция становится неуверенной. Если же удается обнаружить зависимость простой формы, с небольшим числом параметров, то это можно считать огромной удачей, выпадающей, впрочем, упорному исследователю, как естественнику, так и гуманитарию. Возможность выделения простой, но достаточно точной зависимости, конечно, означает определенное ее подтверждение, ее неслучайность, систематическое доминирование чего-то выделенного, а не простое и неустойчивое стечение обстоятельств, ибо крайне маловероятно в неоднородном и меняющемся мире лишь случайно напасть на ситуацию, когда сложная, со многими разнообразными факторами зависимость на заметном интервале вырождалась бы с хорошей точностью в удачную для нас - простую. Одновременно простота зависимости совместно с отмеченной выше некоторой устойчивостью движений природы указывает на гораздо более широкий диапазон применимости закономерности, чем область применимости очень сложной зависимости - при одной и той же точности фиксации условий, при которых были установлены обе зависимости.
С бритвой Оккама или с обсуждаемым здесь конкретным ее вариантом не следует сближать пресловутый принцип “экономии мышления”. Принцип экономии мышления, напоминая их лишь по внешности, причину и основу желательности или необходимости этой “экономии” видит в чистой субъективности, в то время как они есть выражение объективно необходимого порядка правильной познавательной деятельности, направленной на по возможности адекватное познание неисчерпаемой объективной реальности.
Таковы причины основательности принципа бритвы Оккама и основания высокой значимости простых закономерностей.
Вернемся к примерам.
Фактически совершенно по такой же методе, как в вычислительной математике, действовал Галилей, когда ввел закон постоянного ускорения падения тел [2,3]. Об ошибках измерений он знал и, конечно, формально имел право провести по данным множество более сложных законов - с немного непостоянным ускорением (которое и в самом деле не постоянно). Однако он ограничился постоянным ускорением, присовокупив в свое оправдание методологическое основание: склонность природы к простоте. Правда, он не привел независимых свидетельств того, какой именно простотой ограничивается природа.
Далее. Гелиоцентрическая система Коперника гораздо проще геоцентрической системы Птолемея. Именно поэтому она послужила мощным доводом для лишения Земли исключительного положения.
В свою очередь простота законов Кеплера указывала на то, что они верно отражают некую глубокую истину, так как было бы весьма маловероятным, чтобы накопленные Тихо Браге многочисленные данные лишь случайно легли на столь неизощренные кривые, в то время как в случае сложных теоретических кривых возможность сомнения в правильности открытых законов была бы существенно большей.
Механика Ньютона упростила задачу предсказания движения тел, введя немногие принципы и правила вывода решений, универсально применимые для всех без ограничения (в то время) случаев.
Огромное впечатление на широкие массы произвела знаменитая формула Эйнштейна, связывающая массу, энергию и скорость света. Ее исключительная простота вместе с определенной экспериментальной подтвержденностью заставляет думать о ее гораздо большей универсальности, чем только в тех областях, где она подтверждена. Есть даже склонность бесконечно экстраполировать, абсолютизировать это соотношение.
Возвращаясь к описанию характера природы, заметим, что она, по-видимому, бесконечно сложна, но ее сложность все же такова, что допускает в некоторых случаях отображение явлений с хорошей точностью уже простыми моделями. Эту возможную простоту моделей не следует смешивать с простотой природы. В действительности, скажем, формулы Кеплера не вполне точны. Природа не настолько проста, чтобы возможны были простые и одновременно точные модели. Она допускает только, чтобы простые модели в отдельных достаточно широких областях давали хорошее приближение. Но она не обязана делать это каждый раз, в любых обстоятельствах. Иначе все модели в конечном счете слились бы в одну, что означало бы действительную простоту природы. Поэтому сказанное pаньше не означает, что сложные модели обязательно неверны, хотя и могут вызывать большее сомнение, чем простые. А переупрощение моделей путем сужения области их работоспособности сводит их по существу к набору обрывочных, не связанных между собой гипотез ad hoc, тогда как установление связи теорий имеет решающее значение для обоснования знаний.
Так вот задача как раз и заключается в том, чтобы определить, разобраться, должна ли быть в данном случае модель простой или не обязательно. И вот здесь требуется хорошо прочувствовать сам вопрос и адекватность ответа ему и всему другому знанию, которое, возможно, следует где-то скорректировать соответственно новому ответу для большей согласованности знаний в целом.