Компания Nvidia недавно представила исследовательскую работу, описывающую новую технологию NTC (Neural Texture Compression — Нейронное сжатие текстур). Она обещает сократить использование видеопамяти (VRAM) до 85% без какой-либо потери качества.
Nvidia признала, что потребление VRAM стало чрезмерным, что предположительно связано с растущим спросом пользователей на фотореалистичную графику.
В довольно техническом документе рассматривается процесс кодирования текстур вместо их сохранения в полном разрешении. Методика опирается на машинное обучение и использует технологию нейронных сетей для реконструкции изображения. Это также позволяет значительно уменьшить размер текстуры; Nvidia привела пример, где размер был сокращен до 1/24 от первоначального.
Важным моментом является то, что этот метод не использует какие-либо генеративные алгоритмы или аналогичные подходы, а является полностью детерминированным. Это означает, что случайные элементы отсутствуют, и одна и та же входная информация всегда будет приводить к одному и тому же результату. Поскольку процесс кодирования и нейронной обработки происходит в матричном движке, управляемом ядрами Tensor Cores, обычная производительность ядер CUDA не будет затронута. Это также означает, что современные видеокарты серии RTX 50 теоретически смогут поддерживать эту технологию, как только разработчики игр начнут ее внедрять.
