Comments 6
В машинном обучении может не хватить только сложения и умножения векторов — как минимум хочется нелинейную функцию активации.
Ну вот есть relu. Производная от неё 0 или 1, что очень удобно для обратного распространения ошибки.
Чисто математически relu в ряд тейлора не раскладывается. Можно придумать какие-то ограничения и придумать функцию, которая на интервале типа -10… + 10 будет похожа на relu, но я всё равно не уверен, что это не принесёт каких-нибудь побочных эффектов. (И ещё меня смущает, что исаользуются комалексные числа)
Можно взять keras и сравнить обучаемость сеток с relu, её приближением и квадратом(как в статье).
Зачем шифровать данные, если их можно нормализовать на стороне пользователя необратимыми функциями? (Конечно это не применимо, например, для классификации цифр, но тут в примере другой случай). Остаётся только шифровать передаваемый обратно ответ пользователю проверенными средствами криптографии, то есть не будет затрат на эту операцию при работе нейронки.
Интересно, можно ли эти открытия использовать для анонимного электронного голосования? Сложить несколько зашифрованных векторов, а потом расшифровать открытыми ключами все скопом так, чтобы было не понятно кто за кого проголосовал
Но потенциальные пользователи сталкиваются с очевидной дилеммой: теперь их данные обрабатываются на удалённом сервере, который может не заслуживать доверия. У этого есть явные этические и юридические последствия, ограничивающие применение подобных сервисов.
А нельзя как-то проблему решить не в стиле «Ого, какую круту штуковину придумал! Куда бы ей теперь применение найти?»
К примеру, создать хардварное устройство с неизвлекаемой моделью и счетчиком запусков. В особо продвинутом варианте еще и обеспечить загрузку на него шифрованных обновлений модели.
Или захостить модель у доверенного посредника, которому доверяют обе стороны.
Применение зашифрованных данных для машинного обучения без их расшифровки