Василий Кандинский — художник, который мог «видеть звуки». Совместно с центром Помпиду специалисты Google Arts & Culture разработали виртуальную выставку Sound Like Kandinsky, которая с помощью алгоритмов машинного обучения пытается эмулировать эффект синестезии — и позволяет зрителям тоже «увидеть звуки».
Работы Василия Кандинского — одно из наиболее известных проявлений синестезии. «Цвета и формы превращались в звуки, гармонии и вибрации, собираясь в рисунки», — объяснил Серж Лавин (Serge Lasvignes), президент центра Помпиду. К примеру, красный цвет звучал как скрипка, а желтый — как труба.
Для виртуальной выставки Google Arts & Culture пригласили экспериментальных музыкантов Антуана Бертина и NSDOS — именно они попытались озвучить картины Кандинского. Они проанализировали заметки художника о том, как он воспринимал мир, какие эффекты синестезии ощущал, и трансформировали картину «Желтый, красный, синий» в мелодию.
Нейронная сеть же проанализровала музыку того времени, когда творил Кандинский. И эта система уже на основе анализа создала новые саундтреки к картинам. На виртуальной выставке можно приблизить различные элементы картины — и каждый из них будет звучать так, как, вполне возможно, его и воспринимал художник. Из различных кусков картины можно собрать свой собственный микс и поделиться им в соцсетях.