Comments 123
и вправду будущее здесь ))
Интересно насколько долго процессятся эти ролики… если смогут довести до обработки в реальном времени… это ж какие перспективы… начиная от того что телеведущих можно фотошопить вместо накладывания макияжа…
заканчивая искажением информации во всяких нехороших целях… поменять одного человека на другого… одни флаги на танках на другие
скоро телевидению вообще верить нельзя будет…
Интересно насколько долго процессятся эти ролики… если смогут довести до обработки в реальном времени… это ж какие перспективы… начиная от того что телеведущих можно фотошопить вместо накладывания макияжа…
заканчивая искажением информации во всяких нехороших целях… поменять одного человека на другого… одни флаги на танках на другие
скоро телевидению вообще верить нельзя будет…
Если только представить, какой будет спрос со стороны кинематографа — это миллиарды долларов… Любые ляпы с левым попаданием в экран ненужных вещей можно будет фиксить вот таким «нехитрым» способом и не нужно ничего переснимать и т.д.
Но я всё же не верю в эту технологию… то есть — не верю, что это возможно, но так хочется, что бы это было правдой)
Но я всё же не верю в эту технологию… то есть — не верю, что это возможно, но так хочется, что бы это было правдой)
Думаю в кинематографе это и так все есть… вопрос только в трудо и машинозатратах
раньше нужно было долго пыхтеть и гонять кучу компьютеров для пересчета… а тут походу просто масочку выделил на одном кадре… и вуаля ))
раньше нужно было долго пыхтеть и гонять кучу компьютеров для пересчета… а тут походу просто масочку выделил на одном кадре… и вуаля ))
Вы правильно сказали про трудозатраты. Не думаю, что в этой системе можно обойтись выделением одной простой маски, но видео априори подразумевает, что дальнейший обсчёт всей картинки ведётся автоматически, а вот этого сейчас не может делать никто — тем более, когда речь идёт о редактировании живого видео. По крайней мере я о таких технологиях ещё не слышал…
В PDF-ке у них написано, что скорость обработки — 5 минут на 1 кадр. Правда, я не нашел там, на чем именно обработка производилась.
да, точняк… упоминают только что при разрешении 853 x 480
сами говорят что код и алгоритм не оптимальный, вобщем есть что ускорять
на чем такую скорость получали — тоже не нашел, как-то аж не профессионально
кроме того принято указывать по какому закону изменяется время работы алгоритма в зависимости от размера ввода (величина не зависимая характерихует только алгоритмы, не зависима от машинных мощностей)… а то вдруг экспонента ))
сами говорят что код и алгоритм не оптимальный, вобщем есть что ускорять
на чем такую скорость получали — тоже не нашел, как-то аж не профессионально
кроме того принято указывать по какому закону изменяется время работы алгоритма в зависимости от размера ввода (величина не зависимая характерихует только алгоритмы, не зависима от машинных мощностей)… а то вдруг экспонента ))
> скоро телевидению вообще верить нельзя будет…
кто-то ему ещё верит?
кто-то ему ещё верит?
К сожелению, очень много людей до сих пор верят…
Так они и продолжат, потому что не будут знать или задумываться о таких технологиях. Коренных изменений появление и разглашение технологии не принесёт.
по моим наблюдениям это
1. далёкие от компьютеров люди
2. жители сельской местности, где только два канала: «Первый» и «Россия»
те, у кого много каналов или интернет, хотя бы догадываются, что что-то там не так ))
1. далёкие от компьютеров люди
2. жители сельской местности, где только два канала: «Первый» и «Россия»
те, у кого много каналов или интернет, хотя бы догадываются, что что-то там не так ))
телевидению вообще верить нельзя, как и другим СМИ
Мне кажеться то, что Вы говорите уже давно в ходе… например у правительства
просто до нас смертных информация такого рода и научных прогресс идет с большим отставанием.
просто до нас смертных информация такого рода и научных прогресс идет с большим отставанием.
UFO just landed and posted this here
Министерство Правды уже присматривает за разработчиками.
Типа сейчас телевидению можно верить…
Интересно, это повлияло только на развитие видео (эффекты и вправду впечатляющие, а проделанную работу я вообще боюсь представить) или есть обратная отдача в фотографию? (спрашиваю как фотограф)
UFO just landed and posted this here
Что увидел впечатлило (: Еще бы кто хотя бы вольно и вкратце перевел, а то такого владения английским, увы, нет.
Досмотрел последний эпизод… Вау (:
Вкратце — видео используют для построения карты глубин (расстояния от каждой точки до объектива), по сути — строят 3д-модель, потом фотки (которые качеством получше видео) накладывают в качестве текстур. Примерно так.
ну это только одно из… еще транслируют маски созданные на одном кадре на другие с возможностью использования этих масок для всяческих эффектов
Трансляция маски тоже основывается (скорее всего) на 3д-модели — маска проецируется из плоскости картины на объект, после чего для следующих кадров рассчитывается ее положение в плоскости картины.
ммм… а я подумал, что наоборот, маска привязывается к конкретной части текстуры и «следит» за перемещением целевой кучки пикселов.
Кстати… все эти методы наверное фигово работают если в кадре есть движущиеся, вертящиеся и т.д. обхекты… и у них во всех примерах сцены статические неспроста
вроде в планах на будущее написано что-то на тему освоение динамических сцен, но как-то неуверенно ))
Кстати… все эти методы наверное фигово работают если в кадре есть движущиеся, вертящиеся и т.д. обхекты… и у них во всех примерах сцены статические неспроста
вроде в планах на будущее написано что-то на тему освоение динамических сцен, но как-то неуверенно ))
Скоро на dirty будут видио жабы: D
Да Достойно!
если там не три университетских супер-компа трудятся :-)
если там не три университетских супер-компа трудятся :-)
Нужно быть реалистом — на домашнем компе такое не сделать)
На современном домашнем компе — да, не сделать. Но этой технологии, если я все правильно понимаю, пока нет и у киношников/СМИ — а это значит, что пока она дойдет до уровня, когда обычный пользователь сможет с ее помощью «фотошопить видео», комп того самого обычного пользователя уже поднимется до достаточного уровня.
Если это не «видеошоп», то вероятность практического применения технологии есть. Хотя бы потому, что это Америка. Однако, по всей видимости, есть ещё очень много над чем трудиться, оптимизировать алгоритм. Ибо наводить марафет ведущему в течение 100 лет, наверное, будет дешевле, чем в реальном времени вести обработку телевизионной картинки.
я видел как такое (не все но некоторое) делают в реальном режиме времени на маках. www.apple.com/finalcutstudio/ по крайней мере обработку цветов и засвеченность всякую делают на ура. повторюсь в реальном режиме времени на стандартных mac pro
после таких технологий СМИ будет еще проще создавать всякие фейки…
Очень похоже на HDRi в фотографии
А где можно почитать про что-нибудь подобное, что наши студенты разрабатывают?
А наши студенты от сессии до сессии… )))
По всей видимости, все наши сколь-нибудь существенные и интересные студенческие разработки не настолько масштабны, чтобы их выносить за пределы группы энтузиастов
у нас нет механизма организации подобных групп.
за всё время, что я что-то делал в универе, всегда было ощущение, что я один. Даже преподаватели зачастую не способны дать более менее стоящую помощь.
прискорбно, но факт.
за всё время, что я что-то делал в универе, всегда было ощущение, что я один. Даже преподаватели зачастую не способны дать более менее стоящую помощь.
прискорбно, но факт.
на нашей кафедре были попытки организовать что-то подобное — студенты собирались в группы в лабораториях университета с целью изучения существующих технологий по нескольким направлениям… результат вполне приличный, 1й курс усвоил многие полезные вещи которые ориентированы на программу 4го-5го курса… к сожалению для исследовательских работ масштаб данной инициативы довольно маловат…
Сервер не найден.
Да, что-то не так у них. В общем эта группа очень серьёзно занимается проблемами обработки видео и изображений. Кроме того, многие из их разработок доступны для свободного пользования как плагины к AviSynth и VirtualDub (хотя есть и коммерческие).
Можете здесь посмотреть некоторые из них: compression.ru/video/
Можете здесь посмотреть некоторые из них: compression.ru/video/
graphics.cs.msu.ru, вы хотели сказать? :)
UFO just landed and posted this here
Автор, вы немножко не поняли суть технологии. Фотографии не улучшаются, это настоящие, не кадры из фильма. Эти фото посредством какой то обработки накладываются прямо на видео, тем самым скрывая его недостатки в разрешении, пересветы и прочие артефакты.
Офигеть!
Уже понятно кто перекупит потент — ХолЛиВуд.
Уже понятно кто перекупит потент — ХолЛиВуд.
UFO just landed and posted this here
Да, технология — бомба. Хотя им есть куда двигаться и чего улучшать.
Кто там говорил, что у нас лучшее образование?
Кто там говорил, что у нас лучшее образование?
UFO just landed and posted this here
Нет, это не то же самое. Отсутствие образования отличается от «некуда приложить» наличием потенциала во втором случае. Мне хочется продолжать надеяться и верить, что этот потенциал у наших ребят всё же есть.
Я всегда думал, что умение прикладывать знания должно входить в образование.
Ведь образование — это не только книжки читать.
Ведь образование — это не только книжки читать.
UFO just landed and posted this here
Я не совсем понял, как столбик с парковкой убрали? В фотошопе есть инструмент клонирования для этого, а тут то как? Сделали это наложением отредактированных фото?
Вот и я не понял. Надо бы почитать доки, которые у них имеются. Мне кажется, что здесь идёт игра с областью, идентичной по контрастным и геометрическим характеристикам. Т.е. это совмещение задачи распознавания образов с задачей синтеза типовых (заложенных в программу) геометрических форм.
на самом деле камера ведь объезжает столб, т.е. есть информация о каждом пикселе (глубине и цвете) практически на всех кадрах (ну за исключением 10% например). Так что интерполировать видимо не сложно
В случае дерева — интереснее… там он дорисовывал то чего реально небыло. Там видимо и вправду сглаживали дыру и искали нужные цвета по близости в похожем рельефе
В случае дерева — интереснее… там он дорисовывал то чего реально небыло. Там видимо и вправду сглаживали дыру и искали нужные цвета по близости в похожем рельефе
UFO just landed and posted this here
Здорово! Правда фраза про «студенты из University of Washington» повеселила, там половина «студентов» из Microsoft Research, еще есть из Adobe и Nvidia Многие Ph.d.
Да, технология интересная. В домашних условиях, наверное, можно будет применять когда Интел запустит в массы свой Larrabee, а может уже и сейчас на CUDA шустро работать будет, ну хотя бы кадр в минуту :)
не все алгоритмы параллелятся
пример?
Ну распараллелить можно практически все, только будет ли это эффективно?
Обычно все умирает из-за ожидания снятия блокировки.
Обычно все умирает из-за ожидания снятия блокировки.
распараллелить можно только те процессы, что не связаны зависимостью по данным
из головы я вам пример не придумаю, просто по опыту знаю, что перенос многих алгоритмов на на тот же GPU требует тяжелой работы по уменьшению связности в них, и иногда это просто теряет смысл из-за накладных расходов из-за избыточности структур данных — проще посчитать последовательный алгоритм на быстрой CPU-молотилке
из головы я вам пример не придумаю, просто по опыту знаю, что перенос многих алгоритмов на на тот же GPU требует тяжелой работы по уменьшению связности в них, и иногда это просто теряет смысл из-за накладных расходов из-за избыточности структур данных — проще посчитать последовательный алгоритм на быстрой CPU-молотилке
Если алгоритм не параллелится, значит надо попытаться придумать другой ;)
Относительно данной задачи, по крайней мере, расчёт карты глубин уж точно параллелится. Да и остальное наверняка тоже, всё-таки не валенки разрабатывали технологию.
Относительно данной задачи, по крайней мере, расчёт карты глубин уж точно параллелится. Да и остальное наверняка тоже, всё-таки не валенки разрабатывали технологию.
Вот и ответ на вопрос, зачем нужна математика и другое в универе.
Это просто офигенно! И главное, это мне очень близко, у меня студенческая работа была «система короткофокусной фотограмметрии», захотелось откопать свой диплом и довести его до ума.
UFO just landed and posted this here
конечно извините, но впечатлений не больше, чем от рекламы про похудение «до и после»… как-то слабо верится в автоматизацию всего этого процесса…
теориетически ничего нового не показали, просто практические моменты оформили в одно видео, если наконец они полностью автоматизировали все моменты в паре продуктов то молодцы и давно пора
ого ) что же они изобретут, когда вырастут… )))
Да, с масками глубины они очень хорошо сделали.
Очень интересно как они на видео глубину «depth maps» определяют?
Молодцы ребята, искренне желаю им удачи!
У технологии огромный потенциал, как технический так и коммерческий.
У технологии огромный потенциал, как технический так и коммерческий.
фуфел полный 100%!!! =)))
только об улучшении фотографий там речи не идет.
стоит поправить тег.
стоит поправить тег.
В удалении знака на видео с цветами они не изпользовали совсем фотографий, как я понимаю. ОТКУДА они взяли изображение этих цветов с ракурса «сквозь столб»?? Там что-то про какой-то анализ гаммы говорят, ну не верю я в такое ((
Ну все. Вот она уже совсем к нам подкралась, реальность из «Бегущего человека»
а тут известный ролик с Путиным
а тут известный ролик с Путиным
Я что-то непонял, эта система строит 3х меруную сцену для выполнения всех своих прелестных функций?
Если да, интересно, справится ли эта система с «Невозможными фигурами»?
Если да, интересно, справится ли эта система с «Невозможными фигурами»?
Смущет то, что все делается со статическими объектами. Реально ли улучшить качество картинки, устранить дрожание, скажем, снимая толпу на улице?
Нетъ, что бы программно стабилизировать изображение, нужно его записывать с избыточным разрешением.
Увы но на сегодняшний день в кино с этим трабл, вот в видео камерах (не твч) это иногда применяется, но результат весьма посредственный, в силу косяков детектирования движения, которых не лишены и гироскопические системы.
Так-что лучше стедикама ещё ничего не придумали. Он ведь не просто стабилизирует камеру, им же ещё и управлять можно…
Увы но на сегодняшний день в кино с этим трабл, вот в видео камерах (не твч) это иногда применяется, но результат весьма посредственный, в силу косяков детектирования движения, которых не лишены и гироскопические системы.
Так-что лучше стедикама ещё ничего не придумали. Он ведь не просто стабилизирует камеру, им же ещё и управлять можно…
Из данного ролика для себя увидел, что технология чрезвычайно схожа с алгоритмом сжатия видео (DivX и.т.п.). Т.е. принципы модификации кадров абсолютно такие же. Те же базовые кадры и последующая их модификация.
Думаю, без проблем будет работать на обычных домашних компьютерах.
Думаю, без проблем будет работать на обычных домашних компьютерах.
Будущее здесь, а опера так и не научилась показывать ролики на фуллскрин.
Идея хорошая. Привнести такую «простую обработку видео одной кнопкой» рядовому пользователю было бы замечательно.
Идея хорошая. Привнести такую «простую обработку видео одной кнопкой» рядовому пользователю было бы замечательно.
А кто-то не так давно на хабре ныл, что его не учат программированию, а пихают математику. Вот пример того, зачем она нужна. Это вам не очередную CMS написать.
АНБИЛИВЫБЛ!!! Супер! Когда мы уже деньги рисовать начнем то нормально?
UFO just landed and posted this here
нормально так… но я думал что такое давно уже есть и используется… как и про большинство изобретений, появляющихся в последнее время.
Отличный механизм, интересно его попробовать на видео снятом смартфоном.
Все это замечательно, но указанный механизм не будет работать для ситуации когда в кадре появяться люди или любой другой движущийся предмет.
вот это монтаж!!! супер, все так красиво :)
Ничего, занятно. Некоторые моменты неясны, правда. Например, не выйдет ли так, что применять эту технологию в любительской съёмке — невозможно или очень геморройно, и поэтому никто всё равно не будет, а в профессиональной — не нужно, потому что их навороченное оборудование не имеет этих недостатков?
Технология безусловно интересная, и я этим студентам немного завидую. Если бы учился сейчас, то занялся бы тоже чем нибудь подобным. Ничего сверхсложного и революционного там нет, я уверен все это уже лет так n-цать используется киношниками для вырезания постороннего мусора при исторических съемках и улучшения картинки.
А вот в массово-любительском уровне и правда такого пока не встречал, если они смогут достаточно продвинуть технологию, чтобы её могли освоить чайники, и продать её Adobe например, будет здорово.
А вот в массово-любительском уровне и правда такого пока не встречал, если они смогут достаточно продвинуть технологию, чтобы её могли освоить чайники, и продать её Adobe например, будет здорово.
По поводу видео с памятником и каменной стеной, все ясно как день. Делаются фотографии максимально похожие на key-фреймы в видео. Key-фреймы подменяются на них, а алгоритм компенсации движения дальше делает все сам. Встает другой вопрос, — как же это бьет по битрейту и насколько это будет эффективно в динамических сценах?
И еще 5 минут на кадр, это чудовищно много, — видимо везде используется full search-алгоритмы, и совсем не факт, что оптимизировать тут можно во всю.
И еще 5 минут на кадр, это чудовищно много, — видимо везде используется full search-алгоритмы, и совсем не факт, что оптимизировать тут можно во всю.
Ну ещё как вариант, если не вводить полупиксельные сдвиги по вертикали, горизонтали и диагонали.
Представим себе ну для начала чёрно-белую матрицу пискелы которой разделены пустыми местами размером с пиксел. Теперь расмотрим видео для такой матрицы с разрешением 960x540, состоящее из четырёх кадров (для простоты снимаем плоскую картину в музее) И передвигаем камеру от первого кадра вверх, вниз, и по диагонали на расстояние равное размеру пиксела (размеру диагонали в последнем случае), таким образом на каждом кадре у нас четыре разных множества точек картины, и для каждого кадра мы можем получить недостоющие точки до разрешения 1920x1080.
Таким образом для статического объекта вроде такой картины мы из четырёхкадрового видео 960x540 получаем четырёх же кадровое видео 1920x1080 без всяких интерполяций.
Со сплошной матрицей будет несколько сложнее. Условно разбиваем пискел на четыре субпикселя, тогда пискел в каждом случае это сумма четырёх точек.
Представим себе ну для начала чёрно-белую матрицу пискелы которой разделены пустыми местами размером с пиксел. Теперь расмотрим видео для такой матрицы с разрешением 960x540, состоящее из четырёх кадров (для простоты снимаем плоскую картину в музее) И передвигаем камеру от первого кадра вверх, вниз, и по диагонали на расстояние равное размеру пиксела (размеру диагонали в последнем случае), таким образом на каждом кадре у нас четыре разных множества точек картины, и для каждого кадра мы можем получить недостоющие точки до разрешения 1920x1080.
Таким образом для статического объекта вроде такой картины мы из четырёхкадрового видео 960x540 получаем четырёх же кадровое видео 1920x1080 без всяких интерполяций.
Со сплошной матрицей будет несколько сложнее. Условно разбиваем пискел на четыре субпикселя, тогда пискел в каждом случае это сумма четырёх точек.
Во-о-о-от!
Это кстати и есть часть алгоритма компенсации движения, который используется при кодировании видео. А называется, то что вы описали — sub-pel интерполяцией, еще есть и quater-pel. А в mpeg-4 как-то ввели и eight-pel интерполяцию, но благо быстро удалили эту «фичу» за малой эффективностью.
Это кстати и есть часть алгоритма компенсации движения, который используется при кодировании видео. А называется, то что вы описали — sub-pel интерполяцией, еще есть и quater-pel. А в mpeg-4 как-то ввели и eight-pel интерполяцию, но благо быстро удалили эту «фичу» за малой эффективностью.
Да я немного о другом… в копменсации/предсказании движения у нас субпиксельная интерполяция производится когда мы, ну давайте грубо увеличиваем в 2, 4, 8 раз с интерполяцией «предыдущий» и «текущий» кадр и сдвигаем его на пиксел. (пока обойдёмся без блоков). Ну у нас в данном примере движется только камера. То есть вектора всех пикселей (а также и различных конфигураций блоков 16x16 8x8 8x4 4x4 и т.д.) В этом случае даже если мы берём кусочек(блок) из следущего кадра и вставляем его в предыдущий, мы всё ещё имеем интерполированный кусочек.
Каким образом ещё мы можем увеличить разрешение, кроме того случая, когда мы вместо ключевого кадра вставляем фотоснимок более высокой чёткости. Ну давайте откажемся от оптики и представим снимаемую поверхность, как некое конечное множество (грубо: с элементами размером порядка длины волны), таким же образом представим матрицу видеокамеры.
При движении камеры в плоскости, паралельной снимаемой, точки снимаемой поверхности отображаются ну допустим по 4 в один элемент матрицы.
1234
5678
То есть в первом случае на одном из элементов матрицы у нас сумма f(1)+f(2)+f(5)+f(6) при физическом сдвиге на полписксела
f(2)+f(3)+f(6)+f(7)
В самом простом случае: камера даже при хаотичном движение в плоскости паралельной плоскости снимаемой картины, ну давайте принебрежём выдержкой, — проецирует разные суммы яркостей точек снимаемаемой поверхности, ведь камера не перемещается всё время на целое число пикселов. Таким образом зная положение камеры в каждый момент времени, а это можно отследить либо физически, либо опять же на основе компенсации движения, мы можем получить картинку, с разрешением больше чем разрешение матрицы. В своё время это использовалось в видеокамерах сони для фотографий — матрица механически совершала полупиксельный сдвиг.
Каким образом ещё мы можем увеличить разрешение, кроме того случая, когда мы вместо ключевого кадра вставляем фотоснимок более высокой чёткости. Ну давайте откажемся от оптики и представим снимаемую поверхность, как некое конечное множество (грубо: с элементами размером порядка длины волны), таким же образом представим матрицу видеокамеры.
При движении камеры в плоскости, паралельной снимаемой, точки снимаемой поверхности отображаются ну допустим по 4 в один элемент матрицы.
1234
5678
То есть в первом случае на одном из элементов матрицы у нас сумма f(1)+f(2)+f(5)+f(6) при физическом сдвиге на полписксела
f(2)+f(3)+f(6)+f(7)
В самом простом случае: камера даже при хаотичном движение в плоскости паралельной плоскости снимаемой картины, ну давайте принебрежём выдержкой, — проецирует разные суммы яркостей точек снимаемаемой поверхности, ведь камера не перемещается всё время на целое число пикселов. Таким образом зная положение камеры в каждый момент времени, а это можно отследить либо физически, либо опять же на основе компенсации движения, мы можем получить картинку, с разрешением больше чем разрешение матрицы. В своё время это использовалось в видеокамерах сони для фотографий — матрица механически совершала полупиксельный сдвиг.
А когда эта система будет готова, и по какой цене ее можно будет купить чтобы использовать в дальнейшем?
Это действительдо довольно старая разработка Microsoft Research. Этим видео уже около года, программы, с помощью которых сделано это видео, недоступны. Это именно распознование 3D-объектов в потоке видео и автоматическое построение 3D-объектов с картами текстур.
как вы видео в пост вставили? у меня никак тэги не работают :( не расскажите?
Sign up to leave a comment.
Невероятные возможности по улучшению видео… Возможно ли такое?