1.1M
3 года назад · 3 фото · 2294 просмотров · 11 комментариев
Мексиканский инженер сделал «слепой фотоаппарат», который «слушает» предметы (3 фото + 1 видео)
Камера ориентируется на звуки вокруг и с помощью искусственного интеллекта создает снимки.
Мексиканский инженер Диего Трухильо Писанти разработал оригинальную цифровую камеру, лишённой привычного объектива. Вместо использования датчика для улавливания света устройство ориентируется по звуковой картине окружающей обстановки, создавая изображение на её основе.
В общих чертах необычный аппарат под названием Blind Camera используется как обычная камера. Достаточно навести его на объект, и нажать кнопку спуска затвора. В передней части устройства установлен рупор, который используется для усиления улавливаемых звуков.
Обработав данные, специальный ИИ-алгоритм формирует готовое изображение. В качестве аппаратной платформы используется модуль Raspberry Pi 3B, оснащённый небольшим экраном, который выполняет роль видоискателя. Последний также информирует пользователя о процессе обработки и отображает сгенерированную картинку.
По словам Писанти, он создал пользовательскую искусственную нейронную сеть (ANN) с использованием Python 3 и обучил её с помощью видеороликов, записанных в окрестностях Мехико. Модель была создана путём анализа каждого кадра и сопровождения его последней секундой аудиоряда. Это помогло создать ассоциации звука и видео, которые система может использовать для создания изображений. Сейчас все созданные аппаратом «фотографии» в значительной степени основаны на образах города.
Метки: #в мире #звук #изобретение #инженер #кадр #слепой фотоаппарат #снимки
а как быть с художественнографическими изображениями на поверхностях обьектов? хотя летучих мышей и некоторых видов рыб это неособо расстраивает.
Он собрал коллекцию звуков. Программа ищет похожие звуки и вставляет смешанную композицию из картинок, что выдавали подобные. Потому в метро это едущий поезд, среди деревьев деревья.
Не знаю для чего это (практическое применение), но определённо интересно.
Томас Сальвадор "Марсуф слушает, как растет трава"
А цвет он как получает?!
ИИ дорисовывает
"Модель была создана путём анализа каждого кадра и сопровождения его последней секундой аудиоряда.
"Сейчас все созданные аппаратом «фотографии» в значительной степени основаны на образах города.""
в affter effect
Наверно, что-то вроде окрашивания черно-белых фотографий, колоризация.