Города, которые можно услышать
Что, если у любимого города появится своя мелодия, а из поездки можно будет привезти музыкальную открытку?
Музыку из фотографий хочется сделать способом познакомиться с местом. Открываешь город, нажимаешь на воспроизведение и слышишь небольшую композицию, в которой у воды, зданий и улиц есть свои партии. Потом открываешь другой город. Или тот же самый - вечером. И начинаешь замечать разницу.
У фотографии появилась ещё одна сторона
Я обсудил с ИИ-помощником широкую задумку: собрать сайт со звуковыми описаниями городов, людей, предметов и процессов. Хотелось придумать, как изображения и данные могут складываться в музыку, и сначала разобраться, что уже существует.
Мне хотелось получить художественный портрет, а не единственно верное звучание города. У одного места может быть несколько прочтений, как бывает несколько хороших фотографий одной набережной.
Для первой версии помощник предложил сосредоточиться на городах. У них есть силуэт, повторяющиеся детали, вода, зелень, движение. А у слушателя - связь с местом: он здесь вырос, приезжал в отпуск или давно собирается побывать. У музыки появляется понятный повод.
Атлас, в котором хочется задержаться
Представьте небольшой атлас. Вместо бесконечной ленты треков - несколько городов, у каждого фотографическая подборка и минутная музыкальная история. Можно начать со знакомого места, а затем перейти к совершенно чужому. Интересно же, каким оно окажется на слух.
Рядом с проигрывателем видны исходные кадры. Пока звучит мелодия, подсвечивается линия крыш. Вступает ритм - внимание переходит к улицам и фасадам. Появляется протяжный слой - на экране остаётся вода. Картинка помогает расслышать замысел.
У такой страницы есть небольшое, но приятное приключение: посмотреть, послушать, разобраться, сравнить. Можно спорить с музыкальным портретом собственного города, отправить его другу и спросить, похоже ли по ощущению. Здесь разговор вокруг композиции становится частью продукта.
Самая интересная кнопка - «Убрать реку»
Среди предложений исследования особенно нагляден один приём: дать слушателю выключать отдельные партии. Пока звучит всё вместе, легко принять результат просто за красивую музыку. Сдвигаешь ползунок воды до нуля - и слышишь, какую роль играл этот слой.
Потом оставляешь только архитектуру. Возвращаешь улицы. Сравниваешь два района с одинаковыми инструментами. Получается маленькая музыкальная мастерская, где связь изображения и звука можно исследовать самому.
Для такого взаимодействия партии нужно хранить отдельно. На странице пригодятся понятные переключатели: «Вода», «Архитектура», «Улицы», а также возврат к исходному миксу. Не обязательно сразу давать десятки настроек. Три ясных ползунка способны рассказать о замысле больше, чем длинное описание алгоритма.
Сначала договориться, что во что превращается
Для такой музыки нужны последовательные правила: что на снимке влияет на мелодию, а что - на ритм и звучание инструментов. Сначала выбираем эти связи, затем пробуем музыку. Пока это схема будущего генератора, а не работающий сервис.
Например, линия крыш может задавать подъёмы и спады мелодии. Повторяющиеся окна - расположение акцентов. Плотность деталей - насыщенность ритма. Доля воды - выраженность плавной звуковой фактуры. Свет и контраст - яркость тембра.
Эти связи выбирает создатель системы. Сами по себе вода или кирпич не диктуют единственно правильный инструмент. Зато последовательные правила дадут коллекции общий музыкальный язык. По нему будет интересно сравнивать разные места.
Между признаками и звуком нужен ещё и композиторский порядок: диапазон нот, паузы, гармония, начало и окончание. Без него можно старательно пересчитать все окна и получить звуковую толкотню. Окна выполнили свою часть работы, а музыку всё равно придётся собирать с вниманием.
Один закат легко сыграет за весь город
Есть тонкость, которую стоит учесть ещё до первой генерации. Если взять одну красивую фотографию, результат сильно зависит от ракурса, сезона и обработки. Оранжевый закат может задать всей музыке настроение, хотя большую часть города на снимке вообще не видно.
Для первой проверки в исследовании предложена подборка из 8-12 собственных или разрешённых кадров: панорама, обычная улица, жилой район, вода, зелень, транспорт, вечер. Одинаковые категории понадобятся и следующему городу. Тогда сравниваться будут сопоставимые материалы.
Полезный приём для своего эксперимента: приготовить две подборки одного места по этим категориям, но с другими фотографиями. Если музыка целиком меняет характер, стоит проверить влияние обработки и отдельных кадров. Если основа узнаётся, а детали меняются, появляется повод дальше разбираться в устойчивости метода.
Рядом с каждой композицией хорошо бы показать её исходники и версию правил. Слушатель сможет понять, какой именно портрет перед ним: летний, вечерний, собранный вдоль реки или посвящённый определённому маршруту.
У идеи уже есть соседи
Исследование быстро показало: само превращение изображения в музыку уже существует. Mubert предлагает Image-to-Music. Photosounder позволяет работать с изображением как со звуком. У NASA Chandra есть сонификации, в которых данные астрономических изображений переводятся в звук по объяснимым правилам.
Есть и близкая по настроению история - Cities and Memory: настоящие записи мест соседствуют с их художественными переосмыслениями. Значит, интерес к тому, чтобы слушать мир разными способами, уже нашёл несколько форм.
Для будущего атласа остаётся задача собрать собственное сочетание: хорошая музыка, последовательная коллекция городов, понятное происхождение партий и возможность вмешаться в звучание. Каждую из этих частей придётся делать хорошо. Одной кнопки «создать» для интересного продукта может оказаться мало.
Привезти из поездки свою мелодию
Представьте обычный вечер после путешествия: фотографии уже разложены по папке, несколько кадров отправлены друзьям. Из этой же подборки можно было бы собрать музыкальную открытку - короткую пьесу с фотографиями и понятной связью между ними.
Она может пригодиться как подарок человеку, с которым вы ездили, или как маленькая история любимого места. На карте останется маршрут, в композиции - переход от улиц к воде и дальше к вечернему городу. Так у файла появляется личный смысл.
Для музея или туристического маршрута возможен другой вариант: посетитель слушает несколько мест и открывает объяснения по дороге. Для автора видео - композиция из собственных материалов с понятными условиями использования. Заказные истории и личные открытки можно проверить отдельно; спрос на них ещё предстоит выяснить.
А потом можно послушать процессор
В исходной задумке были и другие объекты. Например, процессор. Здесь интереснее взять данные его работы: загрузку ядер, частоту, температуру, ход одной и той же задачи. Тогда отдельные партии смогут меняться вместе с реальным процессом. Получится музыкальная интерпретация вычисления.
Для человека полезнее проверенная хронология событий, чем попытка услышать характер по фотографии лица. Для роста растения или смены сезонов - наблюдения во времени. У каждого предмета нужен свой содержательный материал и свои правила.
Возможностей много, и именно поэтому первую версию разумно ограничить городами. У одной понятной коллекции проще проверить музыкальный язык и увидеть, что увлекает слушателя. Остальные двери спокойно подождут.
С чего может начаться первая проверка
В исследовании предложен небольшой пилот. Для него важнее несколько хороших композиций и ясный опыт слушателя, чем большой каталог
- 01
Выбрать шесть разных городов
Собрать сопоставимые подборки фотографий и заранее записать, какие признаки будут влиять на музыку. Не давать одной удачной панораме решать за всю коллекцию
- 02
Подготовить короткие аудиопримеры
Для нескольких городов сравнить вариант по собственным музыкальным правилам с обычной AI-композицией по описанию. Сначала оценить, приятно ли вообще слушать результат
- 03
Дать человеку разобрать композицию
Показать исходные кадры и отдельные партии. Проверить, понятно ли без подсказок, что происходит при отключении воды или ритма улиц
- 04
Посмотреть, куда он пойдёт дальше
Откроет ли второй город, захочет ли собрать собственную поездку, вернётся ли к коллекции. Личную открытку или заказ музея проверять реальным предложением, а не догадкой о будущих продажах
Услышать знакомое чуть иначе
В этой задумке привлекает возможность задержаться возле знакомой фотографии. Посмотреть на реку и различить её партию. Убрать улицы, вернуть их, сравнить два берега. Вроде всё уже было перед глазами, а внимание нашло ещё одну дорожку.
Если удастся собрать приятную музыку и понятные связи, у атласа появится свой характер. Туда захочется зайти за впечатлением, а потом принести собственное место. Приятная мысль: открыть папку с фотографиями и спросить, какая мелодия могла бы из неё получиться.