Ключевые выводы
- Новые достижения в области увеличения изображений могут помочь во всем, от семейных фотографий до медицинских изображений.
- Исследователи Google объявили о прорыве в использовании искусственного интеллекта для увеличения разрешения фотографий.
- Но один эксперт говорит, что программное обеспечение для масштабирования может не понадобиться фотографам.
Новые методы увеличения изображений с помощью ИИ могут улучшить все, от фотографий до графики видеоигр, говорят эксперты.
Исследователи Google недавно обсудили прорыв, которого они достигли в увеличении разрешения изображения. Ученые использовали модель машинного обучения, чтобы превратить фотографию с низким разрешением в детализированное изображение с высоким разрешением. Это часть растущей тенденции использования ИИ для улучшения изображений.
Мы наблюдаем рост масштабирования с помощью ИИ, особенно в играх, где такие технологии, как NVIDIA DLSS, используют машинное обучение для воссоздания изображения с гораздо более высоким разрешением, которое конкурирует, а иногда и превосходит качество исходных изображений. », - сказал Lifewire эксперт по визуализации Ионут-Александру Попа в интервью по электронной почте.
"Этот тип масштабирования отлично работает в компьютерных играх, где он использует меньше ресурсов, чем прямой рендеринг изображения более высокого качества."
Создание пикселя
Google изучает способ масштабирования фотографий с помощью метода, называемого диффузионными моделями.
Компания утверждает, что этот метод улучшает существующие технологии, когда людей просят оценить результаты. Один из подходов, который использовал Google, называется SR3, или Super-Resolution via Repeated Refinement.
«SR3 - это модель диффузии сверхвысокого разрешения, которая принимает в качестве входных данных изображение с низким разрешением и строит соответствующее изображение с высоким разрешением из чистого шума», - написали исследователи Google в своем блоге.«Модель обучена процессу искажения изображения, в котором шум постепенно добавляется к изображению с высоким разрешением, пока не останется только чистый шум».
Методы масштабирования не новы и обычно используются в приложениях для редактирования фотографий, сказал Попа.
«Существует множество ситуаций, когда вам нужно изображение с более высоким разрешением, поэтому масштабирование используется для создания пикселей между существующими», - добавил он. «Большинство людей не осознают, но когда они смотрят телевизор на экране 4K, видеосигнал 1080p автоматически масштабируется, чтобы покрыть весь экран. Это автоматически делает ваш телевизор».
Многие современные методы используются для «угадывания» содержимого новых пикселей, чтобы итоговое изображение выглядело хорошо, сказал Попа.
«В настоящее время наиболее часто используемыми алгоритмами апскейлинга изображения являются билинейный и бикубический методы, которые обеспечивают непрерывный переход между соседними пикселями с постепенным изменением цвета, но этот метод часто приводит к потере резкости», - добавил он.«Это частично компенсируется за счет применения прохода повышения резкости к увеличенному изображению».
Существует множество ситуаций, когда вам нужно изображение с более высоким разрешением, поэтому масштабирование используется для создания пикселей между существующими.
Масштабирование изображений имеет решающее значение для того, как работают развлечения, средства массовой информации и Интернет, – сказал фотограф Себастьен Коэлл в интервью Lifewire по электронной почте.
«Например, вместо того, чтобы иметь несколько размеров изображения для веб-страницы, например, одно для использования на телефоне, другое для планшета, - сказал он, - если вы можете масштабировать это изображение 1080p до 2k или 4k и это изображение с телефона на планшет и 1080p, вы внезапно сократили количество необходимых изображений с 6 до 2."
"Вы также сэкономите место для файлов, необходимое для больших файлов 2k и 4k, что уменьшит общий размер хранилища примерно на 70-90%."
Не только для ТВ
Масштабирование фотографий также может повысить качество фотографий и даже помочь с медицинскими изображениями. Разработчики программного обеспечения говорят, что апскейлинг может увеличить разрешение изображений без ухудшения качества.
Но Matic Broz, основатель фотосайта Photutorial, сказал Lifewire в интервью по электронной почте, что фактические результаты зависят от используемого программного обеспечения.
«Недавно ИИ нашел свое применение в масштабировании изображений, хотя я пока не впечатлен им», - добавил он.
Броз сказал, что лучшим программным обеспечением для масштабирования, которое он использовал, является AI Image Enlarger от Vance AI.
«Даже их 8-кратный апскейлер изображения не вносит значительного шума (это 64-кратное увеличение разрешения)», - сказал он. «Я ожидаю, что в последующие годы алгоритмы станут только лучше, что позволит еще больше масштабировать».
Для фотофотографов, по словам Броз, остается открытым вопрос, нужны ли апскейлеры изображения.
"Разработчики камер постоянно улучшают разрешение датчиков камеры, теперь даже с разрешением 100MP+", добавил он. «Лично я использовал 24-мегапиксельную и около 50-мегапиксельную, и я никогда не чувствовал необходимости в изображениях большего размера, даже для крупных отпечатков».
