Новый класс нейросетей впервые применили для обработки снимков с камеры

Ученым удалось ликвидировать разрыв между классическими и нейросетевыми алгоритмами обработки цвета, создав универсальный нейросетевый подход cmKAN. Он позволяет более точно сравнивать и корректировать в автоматическом режиме цвета изображения.

Юлия УгловаАвтор Hi-Tech Mail

Команда ученых из России, Германии и Канады представила новую технологию повышения точности воспроизведения цветов цифровыми камерами cmKAN. Разработанную методику успешно испытали на разных видах задач, касающихся обработки цветных снимков. Итоги тестов демонстрируют значительное превосходство технологии над ныне используемыми методами коррекции цветопередачи, предлагаемыми производителями мобильных телефонов и фотокамер по всему миру, говорится на сайте Десятилетия науки и технологий в России.

«Разные камеры по-разному отображают цвет, при переходе между камерами цвета на снимках существенно различаются, более того, эти различия камер носят нелинейный характер, что затрудняет и восприятие, и автоматическую обработку изображений. Несмотря на впечатляющие успехи нейросетевых методов практически во всех сферах компьютерного зрения, точная обработка цвета до настоящего времени оставалась вотчиной классических алгоритмов», — комментирует профессор Артем Никоноров, директор Института искусственного интеллекта и руководитель Центра «Интеллектуальная мобильность многофункциональных беспилотных авиационных систем» Самарского университета им. Королева.

Как пояснил эксперт, функционирование нейросети нового класса похоже на работу профессионала, который настраивает цвета на фотографиях в программах вроде Photoshop или Lightroom. Оператор меняет оттенок неба, стен здания и фонарей по отдельности, поскольку каждый участок требует своего подхода. Нейросеть тоже разделяет картинку на разные зоны и обрабатывает каждую зону индивидуально, учитывая особенности освещения и деталей.

Чтобы обучить и проверить эффективность технологии cmKAN, специалисты сформировали и выложили в открытый доступ обширный датасет Volga2K. Он состоит из более чем двух тысяч пар фотографий, сделанных разными камерами в различных условиях и локациях. Известно, что технология уже прошла тестирование на ключевых задачах, связанных с обработкой цветных изображений. Экспериментальные результаты демонстрируют превосходство нового метода над существующими аналогами в среднем на 37,3%.

Помимо прочего, cmKAN прекрасно справляется с обработкой сцен, характеризующихся высоким динамическим диапазоном, и изображений, сделанных в сложных условиях освещения. Предлагаемый подход перспективен не только для интеграции в камеры смартфонов, но и для внедрения в разработку новых процессоров обработки изображений для цифровых фотокамер. Он также подходит для автоматического редактирования и цветокоррекции снимков в таких отраслях, как издательство, полиграфия, подготовка медиаконтента и профессиональная визуализация.

Тем временем австралийская полиция создала нейросеть для перевода эмодзи, используемых преступниками.

• Нейросети

Поделиться