OpenAI представила LifeVal — бенчмарк для оценки того, насколько ИИ помогает людям выполнять повседневные задачи. Среди примеров названы поиск ухода за детьми, управление финансами и оформление документов для государственных служб.
Практическая ценность такого подхода зависит от того, как именно устроены задания и как измеряется успешность. В доступном описании нет данных о методике, результатах или сравнении систем, поэтому делать выводы об эффективности LifeVal пока рано.
комментарий редакции
Что это значит
Если LifeVal получит подробную методику и воспроизводимые результаты, он может дополнить существующие оценки ИИ проверкой практической пользы для людей. Следующим наблюдаемым сигналом станет публикация полного описания тестов или первых сравнительных результатов. Существенная неопределённость связана с отсутствием этих данных в доступном материале.