Излишние сущности. 2

[shkrobius]

Мне столько раз повторяли, особенно в последние недели, что сущности не могут превышать необходимости, что (если бы я точно не знал, что имею дело с рациональными существами, у которых не может быть предрассудков) мог бы подумать, что на мне применяют магические заклинания

Comments

[chaource]

Somehow I always had a different view of Ockham's razor. Parameters in the model are quite different from "entities" in the theory. Simplicity is not at all synonymous with fewer parameters or fewer equations.

Here is an example of how I would use Ockham's razor. Suppose we have data points {x_i,y_i}, and we fit them with a curve y=f(x). We can fit with 3 parameters y=f(x,a,b,c) or with 5 parameters y=f(x,a,b,c,d,e). Of course we can fit better with 5 parameters, and it is not true that 3 parameters will always give a "more correct" theory just because it is simpler. If we need to decide between 3 and 5 parameters, we cannot just decide on "simplicity" - we need other, more significant considerations.

Ockham's razor will be used in the following way. Suppose I'm fitting the curve y= f(x,a,b,c,d,e) with 5 parameters and also I'm saying: there is a very important function g(x,y) which we also need to compute. I spend a long time explaining how to find this function; it needs to have certain properties. It has to be such that g(x,y) is

[shkrobius]

Thank you for lucid exposition of your objections.

I cannot go in detail right now. The brief answer is that you are using a different principle to exclude this function, viz. the principle of sufficient reason. These two principles are fully identical only in Leibnitz.

Electrodynamics and relativity do not exclude relativistic aether. That it is not observed does not follow from either one of these theories. If it is observed tomorrow (an we do have a kind of aether in the microwave background) they strongly imply that this aether should be relativistic. That is all they can say.

[chaource]

It's comforting to think that Leibnitz already said what I wanted to say :)

Of course, electrodynamics does not exclude "ether". But electrodynamics is formulated without the assumption of "ether". Cosmic microwave background is observable but it consists of electromagnetic radiation, so CMB is quite different from what "ether" would have been (a substrate for the EM radiation itself).

[shkrobius]

I remind that coherent and all-inclusive application of this very principle is the very basis for Leibnitz's proof of the existence of G-d. Incidentally, it is also the basis for his rejection of the absolute time and space, which is the intellectual foundation of relativity. I have nothing against this principle per se, but invoking it in the context suggested by the commenters would be really something remarkable, given its explicit purpose and history. This is the chief reason why people are so careful in separating these two principles. They know.

[myugor]

А, последний так последний.
В линейном анализе все просто: вы должны анализировать все возможные связи, но в конечном результате игнорируете все те, у которых коэффициенты недостоверно отличаются от 0. Может, это сгодится за аналог "излишних сущностей"? Хотя модель с бОльшим количеством переменных, несомненно, дает лучший коэффициент корреляции = верна с более высокой вероятностью. Все это очень сильно зависит от используемых входных данных. А как иначе?

[myugor]

Пока я писал, chaource уже ответил примерно в том же ключе.

[shkrobius]

Я ответил ему там же. В Вашем примере нет главного: создания модели и ее же проверка на предсказательность с корректировкой. В этом смысле машинное обучение более подобно познанию. Келли вообще в одной статье предлагает рассматривать его как игру с природой, где проигрыш измеряется в частоте отвергнутых гипотез. По-видимому, такие рассуждения очень естественны в этой области.

[myugor]

На самом деле есть. Построенная линейная модель вполне может оказаться ложной (вернее, только локально адекватной) из-за неполноты данных, после их пополнения недостоверные корреляции могут стать достоверными и наоборот. А что следует считать целью? Наибольшую адекватность гипотез на каждом шаге "итерации" или наименьшее число корректировок (которое мы априори оценить не можем)?

[rwalk]

Ю. А. Шрейдеру приписывается лозунг "Оставим бритву Оккама кастратам от науки!"

[e2pii1]

зaчем кастрату бритва ?

[zlyuk]

машинное обучение ещё не добралось до таких сложных вопросов (AFAIK). но в статистике (там, где пользуют модели не-линейные и с большим кол-вом параметров) есть критерии, наподобие Bayesian Information Criterion или Akaike IC. оба в каком-то точном смысле реализуют принцип минимизации "сложности", в рамках теории вероятностей конечно.

[shkrobius]

These are considered in detail by Kelly and found to be groundless (check these two articles). He has several papers on his site that are specifically dedicated to the criticism of the Bayesian foundations of the Ockham's razor, and I can only suggest you to examine them yourself. I cannot find obvious errors in his reasoning, so I am forced to agree with him. It does not look like his peers object either. If you find his reasoning to be incorrect, I am sure he would be interested in hearing your objections.

[lyuden]

В маш обучении например используют и колмогоровскую сложность. Чем короче программа воспроизводящая некий набор данных тем она "вернее". Правда тут бритва Оккама какбы не при делах. Краткость не гарантирует простоты Rule 110 и все дела.

[xaxam]

Ах Оккам, мой Оккам, ты моё проклятие,
Никогда до конца не побрить тебя...

Булат Раскуджава.

[kot_pafnusha]

Дивно )))!