Будет полезно для слабовидящих: Google представил новую модель ИИ

Исследователи предлагают этот метод для обучения моделей, который в первую очередь будет полезен для людей с нарушениями зрения.

Исследователи создали исходную базу команд для ИИ, которая могла бы помочь во взаимодействии с устройствами. Они обрабатывают входящий запрос, предсказывают последовательность действий приложения, а также экраны и интерактивные элементы для перехода с одного экрана на другой.

Они, с помощью ИИ, уже создали три набора инструкций, которые можно применять для многоступенчатой работы со смартфонами. Кроме того, у ученых уже есть почти 300 тыс. одношаговых команд, которые относятся к пользовательскому интерфейсу, они будут работать практически на всех устройствах Android

Ученые рассказали, что во время экспериментов ИИ смог переводить естественную речь пользователя в действия с точностью в 89,21%. Однако по мере усложнения шаблонов речи или создания искусственных помех во время проговаривания команд эффективность ИИ резко упала до 70,59%. В Google уверены, что дальше модель будет справляться со своей задачей лучше.

Исследователи выложат все наборы данных, модели и результаты в открытый доступ на GitHub. Они приглашают к участию других ученых и надеются, что это станет первым шагом для решения проблемы управления устройствами с помощью естественного языка.