Излишние сущности. 2

Nov 06, 2013 09:47

Мне столько раз повторяли, особенно в последние недели, что сущности не могут превышать необходимости, что (если бы я точно не знал, что имею дело с рациональными существами, у которых не может быть предрассудков) мог бы подумать, что на мне применяют магические заклинания ( Read more... )

complaints

Leave a comment

Comments 37

chaource November 6 2013, 16:22:00 UTC
Somehow I always had a different view of Ockham's razor. Parameters in the model are quite different from "entities" in the theory. Simplicity is not at all synonymous with fewer parameters or fewer equations.

Here is an example of how I would use Ockham's razor. Suppose we have data points {x_i,y_i}, and we fit them with a curve y=f(x). We can fit with 3 parameters y=f(x,a,b,c) or with 5 parameters y=f(x,a,b,c,d,e). Of course we can fit better with 5 parameters, and it is not true that 3 parameters will always give a "more correct" theory just because it is simpler. If we need to decide between 3 and 5 parameters, we cannot just decide on "simplicity" - we need other, more significant considerations.

Ockham's razor will be used in the following way. Suppose I'm fitting the curve y= f(x,a,b,c,d,e) with 5 parameters and also I'm saying: there is a very important function g(x,y) which we also need to compute. I spend a long time explaining how to find this function; it needs to have certain properties. It has to be such that g(x,y) is ( ... )

Reply

shkrobius November 6 2013, 16:55:17 UTC
Thank you for lucid exposition of your objections.

I cannot go in detail right now. The brief answer is that you are using a different principle to exclude this function, viz. the principle of sufficient reason. These two principles are fully identical only in Leibnitz.

Electrodynamics and relativity do not exclude relativistic aether. That it is not observed does not follow from either one of these theories. If it is observed tomorrow (an we do have a kind of aether in the microwave background) they strongly imply that this aether should be relativistic. That is all they can say.

Reply

chaource November 6 2013, 17:04:51 UTC
It's comforting to think that Leibnitz already said what I wanted to say :)

Of course, electrodynamics does not exclude "ether". But electrodynamics is formulated without the assumption of "ether". Cosmic microwave background is observable but it consists of electromagnetic radiation, so CMB is quite different from what "ether" would have been (a substrate for the EM radiation itself).

Reply

shkrobius November 6 2013, 17:16:37 UTC
I remind that coherent and all-inclusive application of this very principle is the very basis for Leibnitz's proof of the existence of G-d. Incidentally, it is also the basis for his rejection of the absolute time and space, which is the intellectual foundation of relativity. I have nothing against this principle per se, but invoking it in the context suggested by the commenters would be really something remarkable, given its explicit purpose and history. This is the chief reason why people are so careful in separating these two principles. They know.

Reply


myugor November 6 2013, 16:24:05 UTC
А, последний так последний.
В линейном анализе все просто: вы должны анализировать все возможные связи, но в конечном результате игнорируете все те, у которых коэффициенты недостоверно отличаются от 0. Может, это сгодится за аналог "излишних сущностей"? Хотя модель с бОльшим количеством переменных, несомненно, дает лучший коэффициент корреляции = верна с более высокой вероятностью. Все это очень сильно зависит от используемых входных данных. А как иначе?

Reply

myugor November 6 2013, 16:26:25 UTC
Пока я писал, chaource уже ответил примерно в том же ключе.

Reply

shkrobius November 7 2013, 00:26:22 UTC
Я ответил ему там же. В Вашем примере нет главного: создания модели и ее же проверка на предсказательность с корректировкой. В этом смысле машинное обучение более подобно познанию. Келли вообще в одной статье предлагает рассматривать его как игру с природой, где проигрыш измеряется в частоте отвергнутых гипотез. По-видимому, такие рассуждения очень естественны в этой области.

Reply

myugor November 7 2013, 05:25:03 UTC
На самом деле есть. Построенная линейная модель вполне может оказаться ложной (вернее, только локально адекватной) из-за неполноты данных, после их пополнения недостоверные корреляции могут стать достоверными и наоборот. А что следует считать целью? Наибольшую адекватность гипотез на каждом шаге "итерации" или наименьшее число корректировок (которое мы априори оценить не можем)?

Reply


rwalk November 6 2013, 16:30:01 UTC
Ю. А. Шрейдеру приписывается лозунг "Оставим бритву Оккама кастратам от науки!"

Reply

e2pii1 November 9 2013, 14:24:37 UTC
зaчем кастрату бритва ?

Reply


zlyuk November 6 2013, 16:53:28 UTC
машинное обучение ещё не добралось до таких сложных вопросов (AFAIK). но в статистике (там, где пользуют модели не-линейные и с большим кол-вом параметров) есть критерии, наподобие Bayesian Information Criterion или Akaike IC. оба в каком-то точном смысле реализуют принцип минимизации "сложности", в рамках теории вероятностей конечно.

Reply

shkrobius November 6 2013, 17:02:50 UTC
These are considered in detail by Kelly and found to be groundless (check these two articles). He has several papers on his site that are specifically dedicated to the criticism of the Bayesian foundations of the Ockham's razor, and I can only suggest you to examine them yourself. I cannot find obvious errors in his reasoning, so I am forced to agree with him. It does not look like his peers object either. If you find his reasoning to be incorrect, I am sure he would be interested in hearing your objections.

Reply

lyuden November 6 2013, 17:49:03 UTC
В маш обучении например используют и колмогоровскую сложность. Чем короче программа воспроизводящая некий набор данных тем она "вернее". Правда тут бритва Оккама какбы не при делах. Краткость не гарантирует простоты Rule 110 и все дела.

Reply


xaxam November 6 2013, 17:41:12 UTC
Ах Оккам, мой Оккам, ты моё проклятие,
Никогда до конца не побрить тебя...

Булат Раскуджава.

Reply

kot_pafnusha November 6 2013, 19:30:39 UTC

Дивно )))!

Reply


Leave a comment

Up