Исследования

Человеческое внимание — сигнал, который трудно подделать и который почти не используют. Глаза эксперта движутся иначе, когда он устал, когда смотрит на незнакомое и незадолго до того, как ошибётся. Те же движения несут пространственную информацию, на получение которой иначе ушли бы часы ручной разметки. Моя работа идёт по трём линиям: анализ этого сигнала, его использование и его порождение.

Анализ взгляда эксперта

Вопрос. Качество диагностики обычно оценивают постфактум, по заключению. К этому моменту ошибка уже сделана. Движения глаз пишутся непрерывно и в реальном времени — могут ли они сказать что-то о состоянии врача, пока он работает?

Мы показали, что взгляд рентгенолога измеримо меняется с накопленной нагрузкой, что он меняется в зависимости от типа патологии на снимке и — самое сильное утверждение — что приближающуюся диагностическую ошибку можно предсказать по предшествующему ей взгляду. Значит, взгляд — кандидат на роль инструмента для двух вещей, которых лучевой диагностике сейчас не хватает: объективной меры утомления врача и раннего предупреждения об ошибке до того, как она попадёт в заключение.

Взгляд как управляющий сигнал для интерактивной сегментации

Вопрос. Разметка медицинских изображений — трудоёмкий и дорогостоящий процесс, который важен не только для создания наборов данных, но и для планирования лучевой терапии. Врач, анализирующий снимок, уже производит информацию о локализации — он смотрит туда, где важно. Можно ли использовать информацию о движении взгляда эксперта для интерактивной сегментации?

Взгляд используется для корректировок: врач смотрит на неверно сегментированные области, и предсказание обновляется — это быстрее, чем перерисовывать контур вручную.

Моделирование внимания человека

Вопрос. Одна из главных проблем айтрекинга заключается в том, что данные взгляда трудно собирать: необходимо проводить эксперименты с участием людей. Ситуация осложняется тем, что для каждой задачи нужны свои данные. Одним из решений является генерация синтетических данных взгляда.

Мы моделируем траектории взгляда человека при чтении, переносим эти модели между языками и используем синтетические траектории как дополнительный сигнал в RLHF.

Куда движется лаборатория

Сейчас дополнительно активны следующие проекты:

Неинвазивное риск-профилирование нейродегенеративных заболеваний

Анализ электронных медицинских карт

Оценка эмбрионов для ЭКО