Дифференцируемое всё: от чёрно-белой картины мира к рябенькой

[ailev]

Тренд цифровизации означал прежде всего переход к цифровым вычислительным машинам с их восхитительно неаналоговыми, дискретными вычислениями. Нули и единицы, никаких там тебе вероятностей нулёвости и единичности. Целые как настоящие целые, плавающие вполне себе тоже целые, только обрабатываются по-другому. Computer science -- это дискретная

Comments

[lipkalapka]

«мир перестаёт представляться догматичным и однобоким как это было массово ещё в конце 20 века, сегодня он массово начинает представляться более адекватно: как многоплановый, вероятностный, непрерывный», - вашими бы устами да мед пить.

[avlasov]

сходил по сцыле на edge.org
там есть интересное наблюдение про функ программирование

я некоторое время назад тоже осознал, что МЛ очень удобно апплаить (apply для ФП крайне актуальная функция, BTW :)) использую ФП подход, т.е. расписать функционал через примитивы ФП, а далее применить аналогичные МЛ конструкты
все получается как по маслицу (ну со скидкой на то, что это все же МЛ, т.е. весьма сложно в целом)

мне лично в этом смысле ФП+МЛ гораздо интереснее нежели полная дифференцируемость всего и вся.
Хотя я тут согласен что МЛ меняет наше восприятие мира. И это даже наверное более интересная тема нежели сам МЛ. (может я просто старый слишком стал)

[ailev]

Конечно, МЛ меняет картину мира! И это, понятно, гораздо интересней, ибо даёт дальше возможность менять методы МЛ -- но уже с новой картиной мира!

[avlasov]

я вот потихоньку осознаю, что практика МЛ дает мне больше продвижения в тех сферах, которые мне ниочень давались, ну типа те, которые относятся к "правополушарной" активности

[ailev]

Я вот думаю, что нейросетки+эволюционные алгоритмы+символические пруверы (никуда они не денутся)+... и так далее по Педро нашему Домингосу дадут такой экзокортекс, что само понятие жизни придётся переформулировать )))

[avlasov]

А вот Karpathy написал полную хрень.
Я как софтверный инженер заявляю что написать код, с точки зрение софтверной инженерии, это вообще ниачьом. То же тестированние гораздо больше ресурсов жрет, а кодирование по затратам ресурсов где-то в хвосте.
А вот с тестированием у МЛ, с точки зрения софтовой инженерии, все плохо. У софта один ноль хотя бы верифицировать можно (это даже нонче не так уж и затратно, только умников много надо).

Остальное даже разбирать лень. Очевидно что Karpathy софтверной инженерией никогда не занимался (я так понимаю для датасайентистов это скорее норма). Такой бред несет.

[ailev]

Вот там жизненный цикл может другой оказаться совсем. Мир меняется, никто не обещал, что Software 2.0 будет написанием программ на каком-нибудь условном питоне. Всё будет по-другому. И даже не всё будет на нейронных сетках: помним книжку про master algorithm товарища Педро Домингоса.

[avlasov]

С точки зрения инженерии, мне кажется что перспективным является подход, когда (возможно частичная) верификация либо тестирование софта делается с помощью МЛ и прочих нейросеток.
Т.е. "классический" подход к автоматизации с помощью МЛ - автоматизируем те задачи которые умеет делать (специально обученный) человек, но не всегда понятно как это формализовать.
Ну типа берем тестовые примеры которые напридумывал тестер вручную. Скармливаем нейросети.
Или делаем дифференцируемый язык тактик (которые ищут доказательство корректности прог), ну и тоже тренируем на примерах. Примерно в том же стиле как нейросетки играют в компьютерные игры.
Можно и формальные спецификации генерить по документации попробовать.

Ну и т.д.
Хотя не уверен что это при моей жизни будет.

[tingoose]

Я правильно понял, что под "дифференцируемостью" подразумевается старый добрый model fit? В том смысле, что выбраная вычислительная модель обладает возможностью постчитать любой аналог производной, который открывает дальнейшую дорогу для всех оптимизирующих матметодов общего назначения?

[ailev]

Термин model fit имеет множество значений (чаще всего https://docs.aws.amazon.com/machine-learning/latest/dg/model-fit-underfitting-vs-overfitting.html).

Но да, дифференцируемость -- это переход к модели/функции, для которой можно посчитать производную, и поэтому можно предпринять какую-нибудь мат. оптимизацию (найти минимум функции).