Диаризация на основе модели GMM-UBM и алгоритма MAP adaptation

x-vector — это DNN, которая требует наличия размеченных данных, о чем авторы статьи собственно говорят в аннотации и используют дополнение данных с помощью реверберации и шума. И даже, когда есть уже натрененная модель, не факт, что она будет хорошо работать на ваших данных. GMM-UBM в свою очередь не требует разметки, и даже в статье по ссылке, где она используется в качестве бейзлайна показывает сравнимые результаты.
Но в целом, конечно, Вы абсолютно правы — основные прорывы сейчас делают с помощью нейросетей. Пожалуй, вопрос только в данных.