MLPerfl: Анонсирован выпуск универсального теста для проверки ИИ на "разумность"

В последние годы область создания систем искусственного интеллекта (ИИ) переживает период бурного роста. На свете уже имеется достаточно большое количество таких систем и в будущем их станет несоизмеримо больше, благодаря тому, что они будут использоваться даже во встраиваемых системах из разряда "Интернета вещей". Сейчас практически каждый создатель новой системы ИИ сразу начинает хвастать ее возможностями, но определить эти возможности в численном выражении и сравнить их с возможностями других подобных систем пока еще не получается из-за отсутствия единого универсального теста, подобного тесту LinPack для суперкомпьютеров и тесту 3DMark для обычных настольных компьютеров.

Ситуация с тестом для искусственного интеллекта будет исправлена в ближайшем будущем. Не так давно, исследователи из компаний Google и Baidu, совместно с учеными из Гарварда и Стэнфорда, начали разработку нового теста для систем глубинного машинного обучения и самообучения. И сейчас к этой исследовательской группе уже присоединились специалисты компаний AMD, Intel, двух новых компаний SambaNova и Wave Computing, специализирующихся на искусственном интеллекте. Совместными усилиями этой группы ведется разработка тестового комплекса под названием MLPerfl, первая версия которого, согласно планам, будет готова уже в августе этого года.

Отметим, что специалисты компании Baidu уже имеют некоторый опыт в подобном деле. В 2016 году ими был создан тестовый комплекс DeepBench, имеющий открытый исходный код, который осуществлял тестирование систем искусственного интеллекта на низком уровне, близком к аппаратному. Система же MLPerf будет работать на более высоком уровне, проверяя искусственный интеллект на уровне отдельных приложений, выполняющих какую-либо конкретную задачу.

Первоначально система MLPerf будет замерять время, требующееся системе ИИ для обучения до минимально допустимого качественного уровня. При этом, качественный уровень так же будет определяться самой системой, что потребует для ее работы вычислительные мощности, превосходящие вычислительные мощности тестируемых систем. В качестве единицы отсчета в системе MLPerf будут использоваться возможности чипа Nvidia P100 Volta, который сейчас широко используется в системах глубинного машинного обучения.

В дальнейшей работе тест MLPerf будет использовать два подхода, при помощи одного подхода, закрытого и доступного лишь коммерческим пользователям, эта система определит модели объектов, структуры данных и ограничит пределы изменения значений для того, чтобы произвести наиболее достоверные результаты тестирования. Второй, общедоступный подход будет более ориентирован на исследователей в области ИИ, в нем будет задействовано меньшее количество ограничений, что позволит экспериментировать с самыми различными видами реализации систем искусственного интеллекта.

"Сейчас мы работаем на созданием версии 0.5 и мы делаем ее усилиями небольшой команды" - пишут разработчики системы MLPerf, - "Но мы надеемся, что вклад сообщества в версию 1.0 станет большим, мы будем поощрять любую обратную связь, внедрять разработанные сторонними специалистами эталонные определения и пользоваться результатами проведенных ими испытаний".