Model compression
Сегодняшний концепт "хозяйке на заметку" называется model compression - http://arxiv.org/pdf/1312.6184.pdf
Оказывается, что хотя deep nets на многих задачах лучше, чем shallow nets (просто нейронные сети с несколькими полными уровнями)...
Но если shallow nets обучать не на реальных данных, а на "галюцинациях" deep net, они начинают работать лучше!
Настолько лучше, что сравниваются с некоторыми deep nets с тем же количеством параметров (разумеется, менее мощные, чем те, которые галлюцинируют)
http://public.closedcircles.com/posts/model-compression
Оказывается, что хотя deep nets на многих задачах лучше, чем shallow nets (просто нейронные сети с несколькими полными уровнями)...
Но если shallow nets обучать не на реальных данных, а на "галюцинациях" deep net, они начинают работать лучше!
Настолько лучше, что сравниваются с некоторыми deep nets с тем же количеством параметров (разумеется, менее мощные, чем те, которые галлюцинируют)
http://public.closedcircles.com/posts/model-compression