Происхождение этого выражения очень древнее. Во времена правления императора Комнина Андроника (древняя Византия) было в обиходе такое правило: тем мужьям, с женами которых император имел любовную связь, разрешалось охотиться в зверинце императора, где тот держал много экзотических зверей. И надо сказать, эта привилегия тогда пользовалась большим спросом. Так вот, ворота домов, где жили такие семьи, украшали оленьими рогами - признаком особой почести.
Источник: www.softmixer.com/2014/03/blog-post_14.html#