Новый AI может отличить поддельную картину от оригинала по одному мазку кисти
Привет. Обнаружение подделок в произведениях искусства трудно и дорого. Историки искусства могут принести подозрительную работу в лабораторию для инфракрасной спектроскопии, радиометрического датирования, газовой хроматографии или комбинации таких тестов. Кажется, AI не нуждается в этом: он может обнаружить подделку, просто взглянув на мазки, используемые для создания полотна.
Исследователи из Университета Рутгерса и Ателье по восстановлению и исследованию картин в Нидерландах рассказывают, как их система проанализировала почти 300 картин Пикассо, Матисса, Модильяни и других известных художников, разбив их на 80 000 индивидуальных мазков. Затем глубокая рекуррентная нейронная сеть (RNN) определила, какие функции в мазках кисти важны для идентификации художника.
Исследователи также разработали алгоритм машинного обучения для поиска конкретных функций, таких как форма линии в мазке. Это дало им два разных метода для обнаружения подделок, и комбинированный метод оказался более мощным. Глядя на результат алгоритма машинного обучения, он также дал некоторое представление о RNN, которая действует как «черный ящик» - система, результаты которой трудно объяснить исследователям.
Поскольку алгоритм машинного обучения был обучен конкретным особенностям мазков, разница между ним и RNN, вероятно, указывает на характеристики, которые нейронная сеть искала для обнаружения подделок. В этом случае сеть использовала переменную силы нажатия кисти - то есть, как сильно художник давил на кисть, основываясь на характеристике линий, - чтобы идентифицировать художника. С помощью обоих алгоритмов, работающих в тандеме, исследователи смогли правильно идентифицировать художников примерно в 80% случаев.
Кроме того, исследователи поручили художникам создавать рисунки в том же стиле, что и фрагменты в наборе данных, чтобы проверить способность системы обнаруживать подделки. Система смогла идентифицировать фальшивки в каждом случае, просто взглянув на один мазок.
«Человек не может этого сделать», - говорит Ахмед Эльгаммал, профессор Рутгерса и один из авторов статьи.
Этот метод можно использовать только тогда, когда линии мазков очевидны, поэтому для картин, где мазки сделаны невидимыми, алгоритм не поможет. Но для дальнейшего развития технологии, они планируют протестировать метод на работах импрессионистов и в других направлениях искусствах XIX века, где мазки выражены более очевидно.
Наиболее перспективной частью исследования может быть то, как исследователи использовали второй метод машинного обучения для выяснения того, что конкретно делает RNN. Приминение алгоритмов AI в искусстве должно быть расширено, но искусствоведы и исследователи, погруженные в вековые традиции, не спешат использовать такие методы. Это отчасти потому, что может быть трудно понять, как машина достигла своих результатов - проблема, которую может решить описанное исследование. Возможно, проблема "черного ящика" глубоких нейронных сетей скоро будет решена.
