Научился по видео: ИИ смог зашить рану, просмотрев ролики операций

В будущем эта модель будет учиться любым повседневным действиям, просматривая видео.

Исследователи из Университета Беркли, Intel и Google Brain научили модель ИИ оперировать, имитируя видеозаписи восьми хирургов за работой. Алгоритм под названием Motion2Vec обучили на кадрах, где медики управляют хирургическими роботами для наложения швов или завязывания узлов. Но если обычно робот управляется врачом с компьютерной консоли, то в случае Motion2Vec он делает это самостоятельно.

Он уже показал свои навыки при сшивании кусков ткани. В тестах система воспроизводила движения хирургов с точностью до 85,5%. Достичь такого уровня точности было непросто: восемь хирургов в видеоматериалах использовали самые разные техники, поэтому ИИ нужно было выбрать лучший вариант.

Для решения этой задачи команда использовала полуавтономные алгоритмы, которые изучают задачу, анализируя частично маркированные наборы данных. Это позволило ИИ понять основные движения хирургов из небольшого количества данных. Однако исследователи признают, что система нуждается в доработке, прежде чем самостоятельно заниматься операциям.

Теперь ученые планируют проводить тесты с различными видами тканей, чтобы система могла адаптироваться к различным ситуациям — например, к неожиданному кровотечению. Следующим шагом в развитии системы станет полуавтоматическая дистанционная хирургия. На этом этапе робот будет оказывать помощь врачу.

Ученые хотят создавать больше ИИ по такой же модели. В сети есть множество неструктурированной информации в виде видео, изображений и текста. Роботы могут извлечь из него полезный контент, чтобы осмыслить эти данные и помогать нам в решении повседневных задач.