Да, получить аудио обратно уже не получится. Но база данных поставляется в двух видах: tfrecord и csv. Во втором файле хранятся ссылки на оригинальные видео с Youtube и временные интервалы на этом видео, когда был звук. Т. е. его можно найти и послушать.
Классификация звуков с помощью TensorFlow