ИИ-модель Microsoft превзошла результат человека в тесте на понимание естественного языка SuperGLUE

[fivehouse]

ИИ-модель Microsoft превзошла результат человека в тесте на понимание естественного языка SuperGLUE

Несмотря на то, что модель DeBERTa превзошла человеческие показатели в тесте SuperGLUE, это не означает, что ИИ-модель достигла уровня человека в понимании естественного языка.

Скажите, Шура, а теперь всегда хабровские статьи об ИИ будут содержать словесные конструкции типа «да — это нет» и «превзошел, но не достиг»? С какой цель придумываются тесты с названиями вводящими в заблуждение 99.9% читателей?

[Alex_ME]

С целью привлечь внимание громким заголовком.

[BlackMokona]

Это просто очередной ИИ эффект.
https://en.m.wikipedia.org/wiki/AI_effect
"AIS researcher Rodney Brooks complains: "Every time we figure out a piece of it, it stops being magical; we say, 'Oh, that's just a computation.'"

[mrbaranovskyi]

Очень нормальный такой результат. Вполне себе это самое…

[Zenitchik]

SuperGLUE

Скоро ИИ дойдёт до "Момента"...

[vba]

А моделькой поделятся...
Кому интересно пред-обученные модели доступны по ссылке.

[nikolay_karelin]

А ошибка метрики сколько? И что на других данных?

В общем, это все еще только первые прикидки...