Upscaler

Upscaler делает изображение крупнее. Обычная интерполяция вычисляет новые пиксели по соседним, а обученная модель ещё и оценивает, какие контуры и фактуры могли быть в исходной сцене. Результат бывает убедительным, но достроенные детали не становятся документально точными.

Коротко

Коротко. Upscaler, или апскейлер, увеличивает разрешение изображения. Простые методы плавно заполняют новые пиксели значениями соседей. Нейросетевые методы распознают знакомые структуры и достраивают вероятные края, шерсть, кожу, ткань и другие мелкие детали. Картинка может стать заметно чётче, но это не доказывает, что новые детали действительно присутствовали в исходной сцене.

Что это такое

В маленьком изображении мало пикселей. При увеличении холста между ними появляются пустые места, которые нужно чем-то заполнить.

Обычная интерполяция решает задачу математически. Она смотрит на соседние пиксели и вычисляет промежуточные цвета. Такой способ предсказуем: он не пытается угадать ресницы, текстуру дерева или отдельные волоски. При сильном увеличении результат часто выглядит мягким, потому что новой информации в нём не появилось.

Обученный апскейлер идёт дальше. Он ищет в изображении знакомые закономерности и оценивает, как могла бы выглядеть более детальная версия. Контуры становятся выразительнее, поверхности получают фактуру, а следы сжатия или шума могут ослабнуть.

В компьютерном зрении эту задачу называют super-resolution, или повышением разрешения. Если модель работает с одним кадром, встречается более точное название single-image super-resolution.

Почему точного ответа может не быть

Одному маленькому изображению способны соответствовать разные большие оригиналы. Несколько тонких прядей волос после уменьшения превращаются в одно размытое пятно. По этому пятну уже нельзя однозначно определить форму каждой пряди.

Апскейлер выбирает правдоподобный вариант, опираясь на обучение. Он не достаёт скрытую копию исходника и не возвращает данные, которые когда-то исчезли. Поэтому детальная шерсть на увеличенном снимке может выглядеть естественно, но отличаться от настоящей шерсти животного в момент съёмки.

Это особенно важно для документов, мелких надписей, лиц, медицинских изображений, улик и любых материалов, где значение имеет не красота, а достоверность каждого элемента.

Как обучается апскейлер

Для обучения нужны пары изображений: большое качественное изображение и его ухудшенная версия. Уменьшенную копию получают с помощью размытия, изменения размера, шума, сжатия и других искажений. Модель видит маленький вариант и учится приближать большой.

Если учебное ухудшение слишком простое, модель хорошо справляется с аккуратно уменьшенными картинками, но теряется на реальных снимках из мессенджеров, старых камер или сильно сжатого видео. Поэтому более устойчивые системы моделируют сразу несколько дефектов и меняют их порядок и силу.

Набор данных тоже влияет на характер результата. Модель, которая часто видела фотографии, лучше знает привычные фактуры кожи и ткани. Модель, обученная на графике, увереннее сохраняет ровные заливки и нарисованные контуры. Универсального поведения для всех материалов не существует.

Два подхода к качеству

Апскейлеры условно тяготеют к одному из двух вариантов.

Осторожное восстановление старается быть ближе к входным пикселям. Оно меньше фантазирует, но может оставить изображение мягким.

Перцептивное восстановление стремится сделать результат визуально убедительным. Оно добавляет выраженные фактуры и резкие границы, зато чаще достраивает то, чего нельзя проверить по исходнику.

Между этими полюсами есть множество промежуточных решений. Поэтому «самая резкая» картинка не обязательно окажется самой верной, а лучший вариант зависит от того, что важнее: естественный вид, сохранение геометрии, читаемость или осторожность к деталям.

Что ещё меняется вместе с размером

Современный апскейлер нередко совмещает увеличение с восстановлением изображения. Он может одновременно уменьшать:

• шум матрицы;
• блочные следы сжатия;
• лёгкое размытие;
• цветные ореолы вокруг контуров;
• ступеньки на диагональных линиях.

Это удобно, но усложняет оценку. Если модель слишком активно сглаживает шум, вместе с ним исчезают поры, тонкие узоры и зерно. Если слишком сильно повышает резкость, вокруг объектов появляются светлые и тёмные каймы. Если уверенно достраивает фактуру, лица и мелкие предметы могут незаметно измениться.

Известное и неизвестное ухудшение

Иногда способ получения маленькой картинки известен: например, исходник уменьшили конкретным алгоритмом без дополнительного сжатия. Такая задача относительно чистая.

Чаще история файла неизвестна. Изображение могли несколько раз уменьшать, пересохранять, отправлять через разные сервисы, размывать и усиливать резкость. Это называют реальным, или слепым, восстановлением: модель сначала должна косвенно понять характер повреждений, а затем увеличить кадр.

Чем сильнее и неоднозначнее исходные дефекты, тем больше свободы получает модель и тем осторожнее стоит относиться к новым деталям.

Большие изображения и тайлы

Расход памяти растёт вместе с площадью изображения. Поэтому очень большие кадры часто делят на перекрывающиеся фрагменты — тайлы. Каждый фрагмент обрабатывается отдельно, после чего части собираются обратно.

Перекрытие помогает спрятать границы, но не гарантирует идеального результата. На стыках могут появиться:

• разная яркость или цвет;
• повторяющиеся фактуры;
• разрывы длинных линий;
• неодинаковая детализация соседних участков.

Чем больше контекста видит модель вокруг тайла, тем легче ей сохранять цельную структуру. Но вместе с контекстом растёт и расход памяти. Размер тайла, перекрытие и способ склейки — части одного компромисса.

Фотографии, иллюстрации и текст

На фотографиях зритель обычно терпимее к небольшим изменениям шерсти, листвы или ткани. Главное, чтобы фактура выглядела естественно и не превращалась в повторяющийся узор.

У иллюстраций другие слабые места: ровные контуры могут начать дрожать, плоские заливки — покрываться ненужной текстурой, а линии — становиться толще. Модель с агрессивным фотореалистичным восстановлением здесь часто выглядит неуместно.

Текст и схемы требуют особой осторожности. Если символ уже неразличим, генеративная модель способна нарисовать похожую, но другую букву или цифру. Визуально надпись станет аккуратнее, а смысл — неверным. Для таких материалов полезнее методы, которые сохраняют геометрию и не изобретают содержимое.

Один кадр, несколько кадров и видео

Апскейлер одного изображения видит только текущий кадр. В видео и серийной съёмке соседние кадры содержат дополнительные данные: объект немного сдвигается, и камера фиксирует детали с другой позиции.

Многокадровое повышение разрешения использует эту информацию, чтобы восстановить больше структуры. При этом появляется новая задача — согласованность во времени. Если каждый кадр обрабатывать независимо, фактура волос, кожи или травы может мерцать, хотя отдельные кадры выглядят хорошо.

С чем часто путают

• С повышением резкости. Резкость усиливает локальный контраст возле границ, но не обязательно увеличивает разрешение.
• С устранением шума. Шумоподавление очищает изображение, хотя его размеры могут остаться прежними.
• С восстановлением лица. Специализированная модель может заново собрать черты лица. Это отдельная и ещё более неоднозначная задача.
• С расширением холста. Outpainting добавляет новую сцену за пределами кадра. Upscaler увеличивает существующее изображение целиком.
• С повторной генерацией. Генеративный проход способен заметно изменить композицию и предметы. Апскейлер обычно старается удерживать их расположение, хотя тоже может достраивать детали.
• С изменением физического размера печати. Размер в пикселях, плотность печати и размер листа связаны, но не равны друг другу.

Частые ошибки

• Сравнивать только весь кадр. Многие артефакты заметны лишь на лицах, мелком тексте, повторяющихся узорах и тонких линиях.
• Оценивать по одной картинке. Удачный портрет ничего не говорит о работе с графикой, архитектурой или документами.
• Принимать придуманную фактуру за восстановленную. Визуальная правдоподобность не подтверждает историческую точность.
• Повторять сильное увеличение без проверки. Каждый проход может усиливать прежние ошибки и добавлять новые.
• Не учитывать исходное повреждение. Сильное сжатие, смаз и шум требуют разного поведения модели.
• Забывать о стыках тайлов. Ровный общий кадр иногда скрывает швы, которые становятся заметны после печати или дополнительной обработки.
• Проверять только резкость. Полезно также смотреть на геометрию, цвет, естественность фактур и сохранность мелких объектов.

Частые вопросы

Апскейлер возвращает настоящее исходное изображение?

Нет. Он строит вероятную большую версию по маленькому входу. Чем меньше данных осталось в исходнике, тем больше вариантов подходят под него.

Чем нейросетевой апскейл отличается от интерполяции?

Интерполяция вычисляет новые пиксели по соседним значениям. Нейросетевая модель дополнительно использует закономерности, усвоенные во время обучения, и потому умеет создавать более выраженные детали.

Почему результат выглядит слишком пластиковым?

Обычно модель слишком сильно сгладила мелкую фактуру или восстановление не совпало с типом изображения. Естественное зерно и небольшая нерегулярность важны для ощущения живого материала.

Можно ли безопасно увеличивать текст?

Размер увеличить можно, но неразборчивые символы не становятся автоматически достоверными. Содержание лучше сверять с исходным документом или распознанным текстом.

Всегда ли большее увеличение даёт лучший результат?

Нет. Количество пикселей растёт, но исходной информации больше не становится. При сильном увеличении модель сильнее опирается на предположения.

Зачем делить изображение на тайлы?

Так можно обработать большой кадр при ограниченной памяти. Цена — риск заметных стыков и меньший контекст для каждого фрагмента.

Как сравнивать два апскейлера?

Полезно взять несколько типичных изображений и рассмотреть одинаковые фрагменты: лицо, волосы, текст, диагональные линии, небо и мелкую фактуру. Сравнение показывает не абстрактную «мощность», а характер ошибок на нужном материале.

Главное

Upscaler увеличивает изображение и оценивает недостающие детали. Интерполяция делает это по соседним пикселям, обученная модель — ещё и по закономерностям из данных. Результат может быть крупнее, чище и убедительнее, но достроенные элементы остаются предположением. Поэтому качество апскейла определяется не одной резкостью, а тем, насколько хорошо сохранены структура, смысл и естественный вид исходника.