Diffutoon(ディフュトゥーン)は素晴らしいトゥーンシェーディングアプローチで、アニメスタイルのフォトリアリスティックなビデオを変換することを目的としています。非常に高い解像度と高速なモーションを扱うことができます。ソースコードはDiffSynth-Studioで公開されており、技術レポートも公開されています。
論文やコード自体は5ヶ月前に公開されていましたが、この分野のハッカーであるCamenduru氏が紹介したことで突然注目されました。
美しい動画の一覧はこちらにファイルがあります
大本の文献はこちら
和訳版
注目すべきは DiffSynth Studio
DiffSynth Studio は Diffusion エンジンです。Text Encoder、UNet、VAE などのアーキテクチャを再構築し、オープンソースコミュニティのモデルとの互換性を維持しながら、計算性能を向上させています。多くの興味深い機能を提供しています。
インストールにはPython, Conda環境が必要で、以下の技術によって構成されています。
Comments