про content-based deduplication

Aug 26, 2012 12:51

Итак, как я уже писал, одна из ниш, в которой Cryptobox пытается работать - это дедупликация raw video. О других напишу чуть позже ( Read more... )

cryptobox, fail, apple

Leave a comment

Comments 6

fas_tm August 26 2012, 11:58:22 UTC
>>дедупликация raw video
Странная затея. А можете пояснить цель сего действа ?

Reply

wizzard0 August 26 2012, 13:24:31 UTC
Во время продакшена видеороликов образуется много временных файлов, похожих, но разных (разные эффекты, надписи на разных языках, разные варианты монтажа итд итп). Достаточно много, чтобы стоимость сторейджа была заметной.

Compressed video (WMV, MKV, FLV etc.) дедуплицировать смысла нет. А вот по-разному смонтированное сырое видео - есть.

Reply

fas_tm August 26 2012, 13:34:25 UTC
>>разные эффекты, надписи на разных языках, разные варианты монтажа итд итп
Хм. Мы какой то разный продакшн видим наверное с вами.
>>разные эффекты
Это храниться в проекте NLE редактора. Зачем хранить отдельно ?
>>надписи на разных языках
Аналогично, дорожки с разными сабами могут быть как внутри контейнера(MXF/MOV), так и вообще отдельно на титровалке.

В мастер рендерят со всеми этими причинадалами на последнем этапе.
В промежутке редко кто таскает HiRes во многих вариантах.

Ну и сложность вашей затеи не маленькая + время теряется.
Проще впихнуть еще ноду Isilon -а :)

Reply

wizzard0 August 26 2012, 14:00:23 UTC
> Это храниться в проекте NLE редактора. Зачем хранить отдельно ?
> В мастер рендерят со всеми этими причинадалами на последнем этапе.

Верно - речь идет о хранении и передаче различных вариантов мастеров. Зачем - это не ко мне вопрос.

Рискну предположть, что большой версионированный shared storage упрощает обмен данными между разными участниками продакшена, а факт того, что оно шифрованное, позволяет не париться с защитой транспорта, и просто в нужный момент выдавать ключи. Подозреваю также, что рендерить все эффекты в момент просмотра не всем удобно.

> и сложность вашей затеи не маленькая + время теряется.
К счастью, затея на удивление хорошо горизонтально масштабируется. Как на уровне выноса на GPU, так и на уровне "закончилось место? добросили еще COTS hardware в кластер". К сожалению, я не знаю, как посчитать TCO Isilon'a самому - мне обещали дать цифры по существующему сторейджу, но пока что их еще нет.

Reply


Leave a comment

Up