Массовая трехмерность
В ответ на предыдущий конкурс ( http://community.livejournal.com/i_future/350083.html ).
Сначала о том, как использовать трехмерную информацию, а затем - несколько пунктов о том, как ее получать.
С трехмерной информацией программы будут более уверенно выделять лицо пользователя даже при плохом и неравномерном освещении. Выделение лица пользователя можно использовать для следующих целей:
1) Фокусировка на лице и настройка под него параметров освещения.
2) Сжатие информации. В стационарных системах видеоконференций, проводящихся на фоне с равномерной текстурой, можно легко выделить фон и использовать сжатие видеоинформации. В случае разговоров в неподготовленных помещениях, и тем более в людных местах, на ходу или в движущемся транспорте, это затруднительно сделать на основе только двухмерного изображения. Для мобильных решений ширина канала часто бывает более критичной, чем для стационарных систем, поэтому сжатие им нужно сильнее. Для архивирования информации также пригодится.
3) Определять фон можно и для его намеренного размытия - например, чтобы спрятать бардак в квартире :). Или для наложения фонового пейзажа (заставки с логотипом фирмы) в случае службы поддержки, работающей по видеочату - это дешевле, чем сажать каждого человека в отдельную комнату с нужным фоном.
4) Определение лица за спиной. Возможно, кто-то подглядывает за тем, что происходит на экране? После прохождения некоторого настраиваемого порога срабатывания (длительность наблюдения, близость к экрану, направленность головы и взгляда на экран и сосредоточенность наблюдающего), подается программный сигнал. Способы реакции на этот сигнал любые - от звукового предупреждения и незаметной мигающей иконки до вывода видео, с указанием стрелкой лица наблюдающего человека и выводом информации о том, сколько секунд он наблюдает. Еще варианты - липовое сообщения «по аське» от «знакомого», или запуск некоторой программы, переключение окон.
5) Более быстрый переход в заблокированный режим - по исчезновению пользователя
6) Энергосбережение. При отходе пользователя, снижать потребляемую мощность компьютера. Например, снижать яркость экрана - даже без перехода в спящий режим.
7) Сигналы «пользователь появился» и «пользователь отошел» для использования: антивирусом (можно сразу начинать активное сканирование и прекращать, чтобы не мешать), локальным поисковиком, можно менять статус в мессенджерах и в компьютерных играх.
8) Более точное распознавание владельца для автоматического разблокирования
9) Определение лица собеседника для растягивания его на весь экран - важно для небольших экранов мобильных телефонов.
Для всех этих пунктов не обязательно, чтобы у пользователей были трехмерные мониторы - достаточно того, что ПО будет использовать информацию о трехмерности.
Более того, даже не нужно соблюдения требования располагать видеокамеры на одной и той же высоте, что важно в некоторых случаях. Например, для отображения на трехмерных мониторах нужен одинаковый уровень, а для программной обработки информации - нет. Если все же хочется отображать и на трехмерных мониторах, то:
10) В некоторых случаях, тот факт, что вторая камера не находится на том же горизонтальном уровне, что и первая, можно компенсировать программно. А именно, после построения трехмерной сцены в памяти компьютера, заново создается два изображения, но с позиций виртуальных видеокамер. Такие преобразования могут потреблять много ресурсов и немного ухудшить качество изображения, но такое преобразование может производиться и на мощных настольных компьютерах.
11) Калибровка трехмерных мониторов на наклон головы. Некоторые трехмерные мониторы, которые работают с очками, требуют наблюдать изображение, не наклоняя головы. Это ограничение можно устранить, если корректировать вывод изображения при наклоне головы пользователя. А наклон головы легче и надежнее обнаруживать трехмерными видеокамерами. Конечно же, в случае наличия нескольких людей, индивидуальная калибровка невозможна.
12) Калибровка трехмерных мониторов по расстоянию и относительному расположению пользователя. Например, пользователь захочет рассмотреть, «что там за краями монитора», и будет перемещаться перед монитором влево-вправо. Захочет рассмотреть небо - наклонится немного ниже. Можно усиливать такие перемещения дополнительно - чтобы вместо «заглянуть за угол» получить поворот камеры игрока на много градусов.
13) Псевдо-трехмерность у мониторов без возможности отображения трехмерной информации. (Предыдущий пункт можно реализовать и на обычных мониторах).
14) Более точное распознавание обычных жестов и мимики, и т. д. Например, может быть удобным для управления людьми с ограниченными возможностями.
Теперь о способах получения трехмерной информации
15) Закрепить веб-камеру над монитором с встроенной камерой (монитором ноутбука или другого устройства). Двух камер достаточно для получения трехмерного изображениях. Если большой монитор принадлежит планшету типа iPad или может поворачиваться, как у некоторых нетбуков, то камеры можно располагать на одном горизонтальном уровне. Впрочем, это не важно для многих приложений.
16) Для случаев, когда лишней веб-камеры нету, зато есть телефон с камерой - закрепить над монитором с встроенной камерой мобильный телефон. Для крепления нужно специальное приспособление, продаваемое или отдельно, или с мобильным телефоном, или с монитором.
17) В устройства высшего класса встраивать по две видеокамеры. В случае мобильных телефонов - видеокамеры отдаляются на максимальное расстояние, вверху и внизу.
18) Внешние (веб)камеры с двумя объективами
19) Трехмерная видеокамера на основе двух мобильных телефонов.
Для того, чтобы расстояние между двумя камерами двух мобильных телефонов оставалось одним и тем же, нужно использовать жесткую подставку. Подставка дешевле отдельного решения c двумя видеокамерами, а для того, чтобы протестировать некоторые возможности и поиграться с трехмерным видео, второй мобильный телефон можно одолжить или взять свой более старый.
Для приема сигналов с обеих видеокамер нужно специальное ПО. Интеграцию изображений и их обработку может производить как отдельный компьютер, так и один из телефонов на той же подставке.
Подставку можно закреплять сверху монитора, ставить на стол или носить. Чтобы можно было использовать телефоны различных моделей, нужна возможность менять позицию крепления телефона. Если у телефонов камеры на одной и той же высоте, но на разном расстоянии по горизонтали, то достаточно варьировать размещение телефонов по горизонтали, чтобы расстояние между камерами примерно соответствовало расстоянию между человеческими зрачками. Такую настройку может делать и человек - на самой подставке могут быть указаны большие точки, над которыми должны находиться видеокамеры по горизонтали. Если камеры у мобильных телефонов находятся на разных высотах, то нужна возможность варьировать и высоту крепления телефонов. Наконец, для многих приложений точное горизонтальное и вертикальное крепление не нужно.
Чтобы уменьшить общую высоту подставки, телефоны можно крепить не вертикально, а горизонтально.
20) Инфракрасные трехмерные видеокамеры и автоматическое управление освещением в квартирах. Идея для умного дома. Обычная трехмерная видеокамера может использоваться для более точного включения - например, регистрировать человека при прохождении им еще светлого участка квартиры в направлении темного участка. Аналогично и с выключением смета. Если использовать инфракрасные трехмерные видеокамеры, то свет можно включать, например, если человек во тьме встал с кровати - а не просто зашевелился во сне.
21) При заходе в комнату человека с включенным телефоном с работающим блутузом, включать свет.
22) Дополнительная служба в ОС для ускорения загрузки ПО. Служба ведет сбор статистики по запускаемым приложениям. При наличии свободной памяти, служба заранее читает некоторые файлы в память. При запуске приложения в дальнейшем, загрузка ускоряется, так как чтение происходит из памяти. Закешированные в память файлы удаляются по первой же нехватке свободной памяти.
Сначала о том, как использовать трехмерную информацию, а затем - несколько пунктов о том, как ее получать.
С трехмерной информацией программы будут более уверенно выделять лицо пользователя даже при плохом и неравномерном освещении. Выделение лица пользователя можно использовать для следующих целей:
1) Фокусировка на лице и настройка под него параметров освещения.
2) Сжатие информации. В стационарных системах видеоконференций, проводящихся на фоне с равномерной текстурой, можно легко выделить фон и использовать сжатие видеоинформации. В случае разговоров в неподготовленных помещениях, и тем более в людных местах, на ходу или в движущемся транспорте, это затруднительно сделать на основе только двухмерного изображения. Для мобильных решений ширина канала часто бывает более критичной, чем для стационарных систем, поэтому сжатие им нужно сильнее. Для архивирования информации также пригодится.
3) Определять фон можно и для его намеренного размытия - например, чтобы спрятать бардак в квартире :). Или для наложения фонового пейзажа (заставки с логотипом фирмы) в случае службы поддержки, работающей по видеочату - это дешевле, чем сажать каждого человека в отдельную комнату с нужным фоном.
4) Определение лица за спиной. Возможно, кто-то подглядывает за тем, что происходит на экране? После прохождения некоторого настраиваемого порога срабатывания (длительность наблюдения, близость к экрану, направленность головы и взгляда на экран и сосредоточенность наблюдающего), подается программный сигнал. Способы реакции на этот сигнал любые - от звукового предупреждения и незаметной мигающей иконки до вывода видео, с указанием стрелкой лица наблюдающего человека и выводом информации о том, сколько секунд он наблюдает. Еще варианты - липовое сообщения «по аське» от «знакомого», или запуск некоторой программы, переключение окон.
5) Более быстрый переход в заблокированный режим - по исчезновению пользователя
6) Энергосбережение. При отходе пользователя, снижать потребляемую мощность компьютера. Например, снижать яркость экрана - даже без перехода в спящий режим.
7) Сигналы «пользователь появился» и «пользователь отошел» для использования: антивирусом (можно сразу начинать активное сканирование и прекращать, чтобы не мешать), локальным поисковиком, можно менять статус в мессенджерах и в компьютерных играх.
8) Более точное распознавание владельца для автоматического разблокирования
9) Определение лица собеседника для растягивания его на весь экран - важно для небольших экранов мобильных телефонов.
Для всех этих пунктов не обязательно, чтобы у пользователей были трехмерные мониторы - достаточно того, что ПО будет использовать информацию о трехмерности.
Более того, даже не нужно соблюдения требования располагать видеокамеры на одной и той же высоте, что важно в некоторых случаях. Например, для отображения на трехмерных мониторах нужен одинаковый уровень, а для программной обработки информации - нет. Если все же хочется отображать и на трехмерных мониторах, то:
10) В некоторых случаях, тот факт, что вторая камера не находится на том же горизонтальном уровне, что и первая, можно компенсировать программно. А именно, после построения трехмерной сцены в памяти компьютера, заново создается два изображения, но с позиций виртуальных видеокамер. Такие преобразования могут потреблять много ресурсов и немного ухудшить качество изображения, но такое преобразование может производиться и на мощных настольных компьютерах.
11) Калибровка трехмерных мониторов на наклон головы. Некоторые трехмерные мониторы, которые работают с очками, требуют наблюдать изображение, не наклоняя головы. Это ограничение можно устранить, если корректировать вывод изображения при наклоне головы пользователя. А наклон головы легче и надежнее обнаруживать трехмерными видеокамерами. Конечно же, в случае наличия нескольких людей, индивидуальная калибровка невозможна.
12) Калибровка трехмерных мониторов по расстоянию и относительному расположению пользователя. Например, пользователь захочет рассмотреть, «что там за краями монитора», и будет перемещаться перед монитором влево-вправо. Захочет рассмотреть небо - наклонится немного ниже. Можно усиливать такие перемещения дополнительно - чтобы вместо «заглянуть за угол» получить поворот камеры игрока на много градусов.
13) Псевдо-трехмерность у мониторов без возможности отображения трехмерной информации. (Предыдущий пункт можно реализовать и на обычных мониторах).
14) Более точное распознавание обычных жестов и мимики, и т. д. Например, может быть удобным для управления людьми с ограниченными возможностями.
Теперь о способах получения трехмерной информации
15) Закрепить веб-камеру над монитором с встроенной камерой (монитором ноутбука или другого устройства). Двух камер достаточно для получения трехмерного изображениях. Если большой монитор принадлежит планшету типа iPad или может поворачиваться, как у некоторых нетбуков, то камеры можно располагать на одном горизонтальном уровне. Впрочем, это не важно для многих приложений.
16) Для случаев, когда лишней веб-камеры нету, зато есть телефон с камерой - закрепить над монитором с встроенной камерой мобильный телефон. Для крепления нужно специальное приспособление, продаваемое или отдельно, или с мобильным телефоном, или с монитором.
17) В устройства высшего класса встраивать по две видеокамеры. В случае мобильных телефонов - видеокамеры отдаляются на максимальное расстояние, вверху и внизу.
18) Внешние (веб)камеры с двумя объективами
19) Трехмерная видеокамера на основе двух мобильных телефонов.
Для того, чтобы расстояние между двумя камерами двух мобильных телефонов оставалось одним и тем же, нужно использовать жесткую подставку. Подставка дешевле отдельного решения c двумя видеокамерами, а для того, чтобы протестировать некоторые возможности и поиграться с трехмерным видео, второй мобильный телефон можно одолжить или взять свой более старый.
Для приема сигналов с обеих видеокамер нужно специальное ПО. Интеграцию изображений и их обработку может производить как отдельный компьютер, так и один из телефонов на той же подставке.
Подставку можно закреплять сверху монитора, ставить на стол или носить. Чтобы можно было использовать телефоны различных моделей, нужна возможность менять позицию крепления телефона. Если у телефонов камеры на одной и той же высоте, но на разном расстоянии по горизонтали, то достаточно варьировать размещение телефонов по горизонтали, чтобы расстояние между камерами примерно соответствовало расстоянию между человеческими зрачками. Такую настройку может делать и человек - на самой подставке могут быть указаны большие точки, над которыми должны находиться видеокамеры по горизонтали. Если камеры у мобильных телефонов находятся на разных высотах, то нужна возможность варьировать и высоту крепления телефонов. Наконец, для многих приложений точное горизонтальное и вертикальное крепление не нужно.
Чтобы уменьшить общую высоту подставки, телефоны можно крепить не вертикально, а горизонтально.
20) Инфракрасные трехмерные видеокамеры и автоматическое управление освещением в квартирах. Идея для умного дома. Обычная трехмерная видеокамера может использоваться для более точного включения - например, регистрировать человека при прохождении им еще светлого участка квартиры в направлении темного участка. Аналогично и с выключением смета. Если использовать инфракрасные трехмерные видеокамеры, то свет можно включать, например, если человек во тьме встал с кровати - а не просто зашевелился во сне.
21) При заходе в комнату человека с включенным телефоном с работающим блутузом, включать свет.
22) Дополнительная служба в ОС для ускорения загрузки ПО. Служба ведет сбор статистики по запускаемым приложениям. При наличии свободной памяти, служба заранее читает некоторые файлы в память. При запуске приложения в дальнейшем, загрузка ускоряется, так как чтение происходит из памяти. Закешированные в память файлы удаляются по первой же нехватке свободной памяти.