Comments 16

Разрешите допоинтересоваться, в итоге цикл статей прийдёт к использованию нейросетей?


Потому что в самом названии DeepFake подразумевается использование нейросети и методов глубокого обучения, а здесь пока что обычный face swap реализован

Да, Вы правы, сейчас это FaceSwap. В первых 3х статьях я планирую повторить на языке C# этот проект.
Первая нейронная сеть появится в 4-й части, там будет замена лица конкретного человека на видео. Нейросеть будет использоваться для распознавания лиц, до этого момента буду работать с одним лицом.
В 5-й части планирую сделать "оживление" портрета. Т.е. синтезировать мимику по голосу, думаю использовать LSTM, на вход принимать спектрограмму голоса за короткий промежуток времени, на выходе выдавать изменения Landmarks.

поясните а зачем вообще что-то повторять на C#?
я сам фанат и C# и питона, но область дипфейков постоянно развивается, и если вы хотите развивать проект, то его нужно писать на питоне, потому что только на питоне есть обилие самых разных готовых библиотек с которыми легко быстро воплощать любую задумку, чего не скажешь про другие языки.
Теперь Вы мой кумир! Главное чтобы всё это воплотилось в жизнь. Побольше Вам свободного времени, чтобы эти запланированные статьи увидели свет!
Для этого я решил написать DeepFake на языке C#

Да, Вы правы, сейчас это FaceSwap.

Да, на данный момент это Face Swap. Но конечная цель — полноценный DeepFake.

Спасибо автору. Жду продолжений с Neural Network на C#. Гуглил несколько дней назад примеры NN+GPU+C#, что-то не густо было. С интересом посмотрю, что выйдет.

Спасибо, изучу ее!
Но тут стоит лицензия MIT, которая подразумевает бесплатное использование и в коммерческих проектах тоже, а единственным требованием является указание авторства и копия лицензии, но не обязывает использовать ту же лицензию, в отличии от GPL. Или публиковать производные библиотеки под той же лицензией, как в LGPL. Я тут делал небольшой обзор лицензий, если интересно, можете посмотреть: https://vk.com/@ponimashzahar-licenzii-na-open-source-proekty

Только открытой лицензии недостаточно, чтобы сделать хороший проект. CNTK, например, тоже открыт, но не взлетел. Потому что нужны фичи, хорошая документация и сообщество.
Мне кажется, что надо еще и фильтр для кожи использовать, типа что-нибудь вроде YUCIHighPassSkinSmoothing (https://github.com/YuAo/YUCIHighPassSkinSmoothing).

Спасибо большое!))
Только сейчас высвободилось время, посмотрел, очень крутая технология.

Only those users with full accounts are able to leave comments. Log in, please.