AGIMA — The largest digital integrator

United Kingdom Creative Ideas Ltd. (UKCI) — международная компания со штаб-квартирой в Лондоне. Они регистраторы и владельцы доменной зоны .art — это их главный проект. Параллельно они развивают сервисы для художников и коллекционеров и делают искусство технологичным.

UKCI обратились к нам, чтобы разработать технологию по оценке объектов искусства через смартфон. Идея такая: пользователь делает снимок картины — а программа понимает, кто ее автор и когда она написана.

Задачи

Разработать алгоритм, который сопоставит картину с фотографии и ее оригинал из каталога музея The Metropolitan (он же The Met).
Оценить качество поиска по каталогу, найти основные проблемы и сформировать план по их решению.

Решение

1. Собрали данные

Для этого мы интегрировались с датасетом MetObjects. Это хранилище данных музея The Met, в котором описано примерно 470 000 объектов искусства.

2. Проанализировали их

Теперь наша система за 2 секунды выдает характеристику картины: ее автора, век и название.

Система ищет картины 2 способами:

Способ 1.

Через API музея The Met по ключевым словам: например, painting, landscape, portrait и др.

Способ 2.

Тоже по ключевым словам, но в датасете MetObjects.

ID картин, найденных этими способами, объединили. Всего так нашли около 25 000 объектов.

Как это работает?

Мы опробовали несколько алгоритмов распознавания и сбора изображений. Первый из них — эмбедеры.

Эмбедер — это нейронная сеть. Такая модель обучается как классический классификатор. На этапе применения модели, обычно берется последний полносвязный слой для представления изображения в виде числового вектора длины n.

SIFT и алгоритмы классического компьютерного зрения

Мы протестировали классические архитектуры классификаторов на основе ResNet50 и MobileNet, а также архитектуры с использованием слоя ArcFace, который позволяет на этапе обучения максимизировать расстояние между эмбедингами или векторами объектов разных классов.

Также в процессе обучения были использованы различные форматы подаваемых на вход изображений (намеренное искажение изображений) для снижения риска переобучения модели под обучающую выборку.

Как только общие точки между двумя изображениями найдены, к ним можно применить специальные тесты, чтобы отфильтровать шумовые общие точки. По количеству найденных общих точек между двумя изображениями можно судить о том, насколько эти изображения похожи.

Пайплайн

Детекция картин на фото

Для обучения такого детектора собрали обучающую выборку, состоящую  из 367 фотографий музеев, а также провели разметку картин и рисунков на этих фотографиях.

Тестирование

Детектор и пайплайн мы тестировали на выборках, на которых проверяли эмбедеры. Но возникла сложность: во время тестов на фотографиях была только одна картина. А в реальной жизни в кадр могут попасть и соседние. Чтобы убедиться, что детектор работает, мы решили научить его узнавать и их.

Сбор информации по выделенным детектором картин

Когда детектор выделил все интересующие нас картины на фотографии, система ищет их в базе. Здесь возникает нюанс: мы используем расширенную валидацию, в которой кроме основных картин есть дополнительные, расположенные рядом с основными.

Но для большинства таких дополнительных картин у нас нет разметки на класс. Иными словам, в нашей базе нет картин, с которыми их можно сопоставить. Поэтому следующая задача — расширить каталог.

Расширение каталога

Мы рассматриваем несколько способ расширения каталога. Наиболее простой из них — работа с датасетом Wikiart.

Изначально он состоял из 81 000 картин, разбитых по стилям. В названии изображение только имя художника и название картины.

Результаты

Алгоритм матчинга стал работать не только с фотографиями картин, но и с фотографиями рисунков.
Был выстроен рабочий пайплайн от детекции картин и рисунков на фотографиях до их матчинга.
Каталог вырос до 90 000 картин и рисунков, а пайплайн работает с глобальным поиском и показывает хорошие результаты.

Используемые технологии

MetObjects
ResNet50
MobileNe
ArcFace
CenterNet

Награды

2022 Теглайн

Лучшее приложение для искусства
2022 Теглайн

Лучший мобильный сервис

Do you like it? Share it on social networks

Art Recorder. AI recognizes paintings.