Sony запатентовала систему генерации кадров на основе ввода с геймпада

Компания Sony Interactive Entertainment описала в новом патенте технологию генерации кадров на основе искусственного интеллекта, которая использует данные ввода с контроллера для прогнозирования промежуточных кадров. Новая разработка, получившая название Generation Super Sampling, призвана существенно снизить задержку вывода и обеспечить более стабильную частоту кадров в сложных динамичных игровых сценариях.

Ключевой особенностью предлагаемой системы является способность предсказывать промежуточные кадры еще до того, как графический процессор завершит рендеринг реального следующего кадра. Для этого планируется задействовать нейронную сеть типа «энкодер-декодер». Энкодер отвечает за обработку текущего изображения и формирование его компактного представления, в то время как декодер использует полученные данные для прогнозирования последующих кадров.

Сигналы от игрового контроллера задействуются в патенте наряду с традиционными векторами движения для улучшения точности прогнозов. Поскольку действия игрока с геймпадом опережают их визуальное отображение на экране, такая информация позволяет нейросети точнее предсказывать изменения в динамичных сценах. В документе также упоминается альтернативный алгоритм прогнозирования движения с помощью смещения блоков пикселей без привлечения нейросетей.

В настоящее время в игровых консолях семейства PlayStation применяются иные технологии улучшения изображения и повышения частоты кадров. Так, на мощной PlayStation 5 Pro используется фирменный алгоритм PlayStation Spectral Super Resolution, а на базовой версии консоли задействована его более легкая модификация Quick Spectral Super Resolution.

Стоит учитывать, что описанная система пока существует исключительно в виде патентной заявки. На данный момент компания Sony не делала официальных анонсов о внедрении технологии Generation Super Sampling в будущие поколения игровых приставок или программные обновления для текущих устройств.