Comments 16
Разрешите допоинтересоваться, в итоге цикл статей прийдёт к использованию нейросетей?
Потому что в самом названии DeepFake подразумевается использование нейросети и методов глубокого обучения, а здесь пока что обычный face swap реализован
Да, Вы правы, сейчас это FaceSwap. В первых 3х статьях я планирую повторить на языке C# этот проект.
Первая нейронная сеть появится в 4-й части, там будет замена лица конкретного человека на видео. Нейросеть будет использоваться для распознавания лиц, до этого момента буду работать с одним лицом.
В 5-й части планирую сделать "оживление" портрета. Т.е. синтезировать мимику по голосу, думаю использовать LSTM, на вход принимать спектрограмму голоса за короткий промежуток времени, на выходе выдавать изменения Landmarks.
Не знаю, кто влепил минус на коммент, но буду ждать, звучит интересно
я сам фанат и C# и питона, но область дипфейков постоянно развивается, и если вы хотите развивать проект, то его нужно писать на питоне, потому что только на питоне есть обилие самых разных готовых библиотек с которыми легко быстро воплощать любую задумку, чего не скажешь про другие языки.
Для этого я решил написать DeepFake на языке C#
Да, Вы правы, сейчас это FaceSwap.
Кстати, что касается использования NN+GPU+C#, есть такие проекты:
- Сверточная нейронная сеть под .Net Лицензия MIT
- Tensor Flow под .Net Лицензия MIT
- LSTM под .Net Лицензия BSD 3-Clause
Спасибо, изучу ее!
Но тут стоит лицензия MIT, которая подразумевает бесплатное использование и в коммерческих проектах тоже, а единственным требованием является указание авторства и копия лицензии, но не обязывает использовать ту же лицензию, в отличии от GPL. Или публиковать производные библиотеки под той же лицензией, как в LGPL. Я тут делал небольшой обзор лицензий, если интересно, можете посмотреть: https://vk.com/@ponimashzahar-licenzii-na-open-source-proekty
DeepFake своими руками [часть 1]