k-sunakoの技術ログ

Image-GS: Content-Adaptive Image Representation via 2D Gaussians (Zhang et al. 2025) という論文を見た。

Neural image representations have emerged as a promising approach for encoding and rendering visual data. Combined with learning-based workflows, they demonstrate impressive trade-offs between visual fidelity and memory footprint. Existing methods in this domain, however, often rely on fixed data structures that suboptimally allocate memory or compute-intensive implicit models, hindering their practicality for real-time graphics applications. Inspired by recent advancements in radiance field rendering, we introduce Image-GS, a content-adaptive image representation based on 2D Gaussians. Leveraging a custom differentiable renderer, Image-GS reconstructs images by adaptively allocating and progressively optimizing a group of anisotropic, colored 2D Gaussians. It achieves a favorable balance between visual fidelity and memory efficiency across a variety of stylized images frequently seen in graphics workflows, especially for those showing non-uniformly distributed features and in low-bitrate regimes. Moreover, it supports hardware-friendly rapid random access for real-time usage, requiring only 0.3K MACs to decode a pixel. Through error-guided progressive optimization, Image-GS naturally constructs a smooth level-of-detail hierarchy. We demonstrate its versatility with several applications, including texture compression, semantics-aware compression, and joint image

ニューラルイメージの表現は、視覚データをエンコードしてレンダリングするための有望なアプローチとして浮上しています。学習ベースのワークフローと組み合わせて、視覚的な忠実度とメモリフットプリントの間の印象的なトレードオフを示しています。ただし、このドメインの既存のメソッドは、多くの場合、メモリを最適に割り当てる固定データ構造や、リアルタイムグラフィックスアプリケーションの実用性を妨げている固定データ構造に依存しています。 Radianceフィールドレンダリングの最近の進歩に触発されて、2Dガウスに基づいたコンテンツに適した画像表現であるImage-GSを紹介します。カスタム微分可能なレンダラーを活用すると、画像GSは、異方性の色付きの2Dガウスのグループを適応的に割り当て、徐々に最適化することにより、画像を再構築します。特に、不均一に分散されている機能や低ビトレートレジームで頻繁に見られるさまざまな様式化された画像にわたって、視覚的な忠実度と記憶効率の間の好ましいバランスをとっています。さらに、リアルタイムの使用のためのハードウェアに優しい迅速なランダムアクセスをサポートし、ピクセルをデコードするのに0.3K Macのみが必要です。エラー誘導のプログレッシブ最適化を通じて、 Image-GSは自然に控えめなレベルの階層を自然に構築します。テクスチャ圧縮、セマンティクス認識圧縮、ジョイント画像など、いくつかのアプリケーションでその汎用性を示します

随分前に画像検索を上記とは別の特徴抽出で行なった。画像の特徴量の抽出方法はいくつかあるが、この方法はレンダリングにも関わる方法である。微分レンダリングなどの技術にも興味を惹かれた。Alice’s Adventures in a Differentiable Wonderland – Volume I, A Tour of the Land | Abstract も併せて読みたい。