Специалисты подразделения Apple Machine Learning Research представили работу, посвященную анализу инвариантных к расположению свойств функций. Такие свойства, также называемые симметричными, определяются исключительно частотой встречаемости значений в функции, независимо от того, в каких именно позициях эти значения находятся.
В ранее известных исследованиях было установлено, что сложность запросов при тестировании таких свойств функций тесно связана со сложностью выборки при тестировании соответствующих свойств распределений. Однако авторы новой работы подчеркивают, что эта устойчивая взаимосвязь не сохраняется при переходе к задачам верификации.
Основной вывод исследования указывает на фундаментальное различие между процессами тестирования и верификации в данной области. То, что объединяло подходы к функциям и распределениям на этапе тестирования, оказывается разделенным, когда речь заходит о подтверждении корректности свойств.
комментарий редакции
Что это значит
Вероятным последствием станет появление новых направлений исследований, фокусирующихся исключительно на сложности верификации, отдельно от тестирования. Следующим наблюдаемым сигналом станут попытки других исследовательских групп воспроизвести этот результат или найти контрпримеры. Материальная неопределенность заключается в том, насколько широк этот разрыв в реальных прикладных задачах, а не только в теоретических моделях.