Отличная статья биолога про различия между наукообразным биологическим и инженерным подходом.
Попытки биолога изучать радиоприёмник привычными научными методами приводят к забавным результатам.
Ну и, похоже, нейросети пользуются сходными методами.
https://www.metodolog.ru/00373/00373.html