Методы автоматического аннотирования изображений
- 1. Методы автоматического аннотирования изображений Докладчик: Баев Александр, 5 курс Научный руководитель: Лукашевич Наталья Валентиновна
- 2. В интернет много фотографий, картинок Нужно уметь искать, Один из видов поиска – по текстовой аннотации к изображению Не все фотографии, картинки имеют подписи (аннотации) Задача: автоматическое создание подписи изображения Поиск изображений в интернет:
- 3. Два метода автоматического аннотирования изображений 1) Анализ структурных элементов изображений, сопоставление их с текстовыми аннотациями на основе обучающей коллекции 2) Анализ текста (статьи, сообщения), к которому прикреплено изображение
- 4. Используемые статьи: Yong Wang and Shaogang Gong , « Refining Image Annotation Using Contextual Relations Between Words » «Улучшение аннотации к картинке, используя контекстную зависимость между словами»
- 5. Ключевые методы: Binary image classi fi ers: получение набора слов-подписей с их весом. The normalized Google distances (NGD's): вычисление контекстной зависимости между словами. Conditional Random Field (CRF): ранжирование с учётом веса и контекстной зависимости слов. Обзор статьи:
- 6. 5000 цветных изображения, каждое содержит 1 ~ 5 слов-заголовков (проставленных вручную). ( Corel Data set ) Всего 374 слова-заголовка. 4000 – training set, 500 - testing set, 500 - validation set. Исходные данные:
- 7. Пример картинки: Corel data set
- 8. Схема работы системы Обзор статьи:
- 9. Необходимо подписать изображения (указав вес слов-заголовков). В качестве одного из методов был выбран: R elevance vector machine (RVM) Основан на выделении визуальных областей изображений и сопоставлении с ними слов-заголовков из исходной базы (всех слов в заголовках к исходным картинкам) с весом каждого из них. Binary Image Classification :
- 10. R elevance vector machine (RVM) Создаём словарь визуальных областей (кластеров) картинок. Размечаем области словами-заголовками Классифицируем их с помощью RVM Получаем набор слов-кандидатов для каждой картинки (с весом).
- 11. R elevance vector machine (RVM)
- 12. w1, w2 – слова. f(w1), f(w2), f(w1,w2) – кол-во страниц, выданных Google на запрос со словом w1, w2 и « w1 and w2 » соответственно . M – размер индекса Google . Normalized Google Distance :
- 14. Conditional Random Field (CRF) : Пример работы CRF. Результат – ранжированный набор слов-аннотаций
- 15. Результаты: Сравнительный анализ трёх методов. RWR – Random Walk with Restarts
- 16. Пример:
- 17. Постановка задачи диплома Имеется текст новостного сообщения с иллюстрацией Нужно проанализировать текст и выдать список текстовых сущностей, которые могут быть изображены на иллюстрации
- 18. Визуальные сущности в тексте Слова: существительные и прилагательные Концепты из тезауруса НИВЦ МГУ (учет синонимов, словосочетания) Характеристики Частотность в документе Частотность в коллекции (1 млн. новостных сообщений ) Вхождение в заголовок Собственные имена Визуальность – приписана экспертами к концептам тезауруса
- 19. Формирование списка кандидатов для аннотации В отличие от метода, изложенного выше, я беру слова-кандидаты из текста статьи (новостной). Веса вычисляются по формуле ( условной ) : Freq*iFreq*(a + b + v + n). a – базовая оценка, b – учёт заголовка, v – учёт визуальности, n – учёт имени собственного. iFreq – относительная частота.
- 20. Оценка предложенных кандидатов Всем словам предварительно проставлены оценки (ManScore) вручную. (0 – нет на картинки, 1 – косвенно присутствует, 2 – присутствует) Конечная оценка вычисляется по трем словам, имеющим наибольший вес, как: w1* ManScore 1 + w2* ManScore 2 + w3* ManScore 3 . где w1 = 1, w2 = 0.5, w3 = 0.33 .
- 21. Дальнейшая работа Сейчас учет простых характеристик Первая задача: подобрать параметры, чтобы получить максимально хорошие аннотации – базовый уровень Следующая задача : Более глубокий анализ текста статьи и / или списка кандидатов Учет начал предложений, подлежащих, местоимений Автоматическая сборка словосочетаний Контекстная зависимость кандидатов в аннотации