Microsoft создала ИИ-алгоритм для поиска взаимосвязей между предметами искусства

Исследователи из Microsoft и Массачусетского технологического института (MIT) разработали систему MosAIc для поиска взаимосвязей между предметами искусства из различных культур и эпох. Об этом говорится в сообщении компании Microsoft.

Протестировать работу MosAIc можно здесь.

MosAIc использует глубокое обучение (deep learning) для анализа базы изображений предметов искусства, представленных в Музее Метрополитен (Нью-Йорк) и национальном музее Амстердама Рейксмузеум. Целью ученых было создать алгоритм, который будет подбирать предметы искусства, похожие не только по цвету и стилю, но и по значению и теме.

В результате система анализирует не только контуры и цвета на изображении, но и позволяет учитывать при поиске культуру, к которой принадлежит предмет, а также материал, из которого он изготовлен. Таким образом с ее помощью можно отследить процесс культурного обмена между различными эпохами и территориями.

Например, на запрос «какой музыкальный инструмент больше всего похож на это изображение бело-голубого платья?» к домашнему пальто, которое носили богатые голландцы в XVII веке, система предложила бело-голубую фарфоровую голландскую скрипку. Обе картинки не только похожи по узору и форме, они также являются наглядной демонстрацией обмена между голландскими и китайскими культурами – об этом говорит использование голландцами фарфора.

В создании алгоритма команда использовала новую структуру данных для поиска изображений, называемую «условным деревом KNN (K-nearest neighbors, k-ближайших соседей)», которая группирует похожие изображения вместе в древовидную структуру. При поиске совпадений система начинает со «ствола» дерева и следует за наиболее перспективным ответвлением, пока не найдет самое близкое изображение.

Исследователей вдохновила выставка «Рембрандт и Веласкес» в Рейксмюсеуме, в рамках которой картины художников, объединенные незаметными на первый взгляд общими чертами, выставлялись парами. Это распространенное явление в искусстве, когда в произведениях из разных периодов времени и частей света можно проследить схожие черты, ставшие результатом культурного обмена. Однако, человеку было бы невозможно проанализировать миллионы картин за тысячи лет и найти в них параллели в темах, мотивах и визуальных стилях.

Как отмечается в сообщении компании Microsoft, разработка пригодится не только в искусствоведении, но и в любой сфере, где может быть полезен поиск сходных факторов: гуманитарных науках, медицине и других.

Автор:	Softodrom.ru
Дата:	18.08.2020 18:06