Art Recorder. AI recognizes paintings.

Превью проекта
United Kingdom Creative Ideas Ltd. (UKCI) — международная компания со штаб-квартирой в Лондоне. Они регистраторы и владельцы доменной зоны .art — это их главный проект. Параллельно они развивают сервисы для художников и коллекционеров и делают искусство технологичным.
UKCI обратились к нам, чтобы разработать технологию по оценке объектов искусства через смартфон. Идея такая: пользователь делает снимок картины — а программа понимает, кто ее автор и когда она написана.

Задачи

  • Разработать алгоритм, который сопоставит картину с фотографии и ее оригинал из каталога музея The Metropolitan (он же The Met).
  • Оценить качество поиска по каталогу, найти основные проблемы и сформировать план по их решению.
Превью проекта

Решение

1. Собрали данные


Для этого мы интегрировались с датасетом MetObjects. Это хранилище данных музея The Met, в котором описано примерно 470 000 объектов искусства.


2. Проанализировали их


Теперь наша система за 2 секунды выдает характеристику картины: ее автора, век и название.

Система ищет картины 2 способами:

Способ 1.


Через API музея The Met по ключевым словам: например, painting, landscape, portrait и др.


Способ 2.


Тоже по ключевым словам, но в датасете MetObjects.

ID картин, найденных этими способами, объединили. Всего так нашли около 25 000 объектов.
Превью проекта

Как это работает?

Мы опробовали несколько алгоритмов распознавания и сбора изображений. Первый из них — эмбедеры.

Эмбедер — это нейронная сеть. Такая модель обучается как классический классификатор. На этапе применения модели, обычно берется последний полносвязный слой для представления изображения в виде числового вектора длины n.
Превью проекта

SIFT и алгоритмы классического компьютерного зрения

Мы протестировали классические архитектуры классификаторов на основе ResNet50 и MobileNet, а также архитектуры с использованием слоя ArcFace, который позволяет на этапе обучения максимизировать расстояние между эмбедингами или векторами объектов разных классов.


Также в процессе обучения были использованы различные форматы подаваемых на вход изображений (намеренное искажение изображений) для снижения риска переобучения модели под обучающую выборку.

Превью проекта

Как только общие точки между двумя изображениями найдены, к ним можно применить специальные тесты, чтобы отфильтровать шумовые общие точки. По количеству найденных общих точек между двумя изображениями можно судить о том, насколько эти изображения похожи.

Пайплайн

Превью проекта

Детекция картин на фото

Для обучения такого детектора собрали обучающую выборку, состоящую 
из 367 фотографий музеев, а также провели разметку картин и рисунков на этих фотографиях.
Превью проекта

Тестирование

Детектор и пайплайн мы тестировали на выборках, на которых проверяли эмбедеры. Но возникла сложность: во время тестов на фотографиях была только одна картина. А в реальной жизни в кадр могут попасть и соседние. Чтобы убедиться, что детектор работает, мы решили научить его узнавать и их.
Превью проекта

Сбор информации по выделенным детектором картин

Когда детектор выделил все интересующие нас картины на фотографии, система ищет их в базе. Здесь возникает нюанс: мы используем расширенную валидацию, в которой кроме основных картин есть дополнительные, расположенные рядом с основными.


Но для большинства таких дополнительных картин у нас нет разметки на класс. Иными словам, в нашей базе нет картин, с которыми их можно сопоставить. Поэтому следующая задача — расширить каталог.

Расширение каталога

Мы рассматриваем несколько способ расширения каталога. Наиболее простой из них — работа с датасетом Wikiart.


Изначально он состоял из 81 000 картин, разбитых по стилям. В названии изображение только имя художника и название картины.

Результаты

  • Алгоритм матчинга стал работать не только с фотографиями картин, но и с фотографиями рисунков.
  • Был выстроен рабочий пайплайн от детекции картин и рисунков на фотографиях до их матчинга.
  • Каталог вырос до 90 000 картин и рисунков, а пайплайн работает с глобальным поиском и показывает хорошие результаты.

Используемые технологии

  • MetObjects
  • ResNet50
  • MobileNe
  • ArcFace
  • CenterNet

Награды

  • Логотип награды

    2022 Теглайн

    Лучшее приложение для искусства

  • Логотип награды

    2022 Теглайн

    Лучший мобильный сервис

Do you like it? Share it on social networks

Get in touch

Would you like to say hello or find out more information?

Let's talk
+7 495 981-01-85 + Become a customer
Services Cases Content-hub