Опять возникло непонимание очевидного, в связи с чем решил об этом написать. Может быть, от этого самому понятнее станет, а если кто-то откликнется - ещё лучше.
Как я понимаю метод наименьших квадратов? Кстати, этим словосочетанием, кажется, что только не называют, поэтому здесь необходим абзац о том, что я в данном случае под этим понимаю. Пусть есть результаты измерения в некоторых точках x1, x2, ..., xm, и есть функция f(a1, a2, ..., an, x), где x - это аргумент, а a1, a2, ..., an - параметры. И надо найти такие параметры функции, чтобы её значения в точках x1, x2, ..., xm мало отличались от имеющихся измерений. Для этого минимизируют сумму квадратов отклонений функции от результатов измерений в экспериментальных точках. А как мы знаем, локальный минимум функции соответствует нулевому значению её производной. Поэтому для того, чтобы найти оптимальные параметры аппроксимирующей функции, приравнивают нулю n частных производных этих сумм квадратов отклонений по a1, a2, ..., an и решают систему из n уравнений с n неизвестными.
Когда уравнений не больше четырёх, и они линейные - проблем нет. А иначе - проблемы. И вот я подумал, а нужно ли сразу решать систему из n уравнений? Можно ведь выбрать из n параметров только k тех, от которых аппроксимирующая функция зависит линейно, остальные n-k зафиксировать на каком-то произвольном уровне, и решить систему из k линейных уравнений. Получится некоторое приближение к оптимальной точке. Дальше выбирать по одному оставшиеся параметры, и, фиксируя остальные, решать по одному уравнению и понемногу приближаться дальше. При благоприятном раскладе мы будем постепенно приближаться к искомому минимуму. Когда исчерпаем все эти параметры, можно снова решить систему из k линейных уравнений уже при новых найденных значениях n-k параметров, и т.д.
И вот мне интересно, это полный бред или переизобретение велосипеда? Ведь теперь возникает большое желание вообще не решать системы уравнений, а ограничиться одиночными уравнениями. И по-моему тут просматривается явная аналогия с быстрым
покоординатным спуском Гаусса-Зейделя, в котором на каждом шаге ищется минимум функции одной переменной от одной из многих координат, и постепенно, вдоль координатных осей, происходит спуск к минимуму функции.