[ComfyUI]コミュニティ・HoudiniとComfyUIの組み合わせスーパーテクニック
- AICU Japan
- 6月21日
- 読了時間: 15分
2025年6月20日、ComfyUI公式コミュニティスポットライトがXのストリーミングで開催されました。HoudiniとComfyUIを組み合わせた魔法のような絵作りが1時間弱にわたって紹介されました。
Shane Fuによる制作ワークフロー
ビジュアルアーティスト Shane Fu @shanef3d によるワークフロー紹介です。
HoudiniとComfyUIを組み合わせた魔法のような絵作りが1時間弱にわたって紹介されました。
⭐︎詳細の文字起こし（日本語版）については文末でメンバーシップ向けに共有します。
ComfyUI ミニハッカソン開催
ComfyUI公式でミニハッカソンを開催！
🏆賞品: 新品 RTX 5090 GPU 2式!!
🧩課題: ComfyUI を使用した製品を出荷する、カスタムノードを Vibe コードで記述する、または最も洗練されたワークフローコンテンツを作成する
🎉アフターパーティー保証
⏳席数に限りがあります
ComfyUI Mini-Hackathon @ Github HQ のカバー画像
主催
Charlene - Comfy
Yoland - Comfy
robin
Jo Zhang
ComfyUI Mini-Hackathon @ Github HQ
🗓 6月26日（木）16:30〜20:15（GMT-7）
📍 GitHub 本社（サンフランシスコ, カリフォルニア州）
参加登録/承認制
6月26日（木）16:30〜20:15、GitHub本社（サンフランシスコ）にて、Comfy Orgチーム主催による初のComfyUIハッカソンを開催します！ノートPCを持って、無料の食べ物とドリンクを楽しみながら、ComfyUIで何かすごいものを作りましょう！
アフターパーティー：Woodbury SF（685 3rd St）にて開催予定
テーマ
ComfyUIのカスタムノードまたは製品を一から作成
Comfyワークフローを使ったコンテンツ対決
※ソロ参加でも、チーム（最大4人）でもOK！
※RTX最適化技術を使ったプロジェクトは賞金$500あり！
タイムテーブル
16:30 開場・ネットワーキング
17:00 ハッカソン概要説明
17:15 ハッカソン開始
19:15 ハッカソン終了・プレゼン開始
19:45 受賞者発表
20:15 イベント終了 → Woodbury SF でアフターパーティー
23:00 アフターパーティー終了
賞品
🏆 NVIDIA RTX-5090 ×2台！
🥇 カスタムノード部門・1位チーム
🥇 ワークフロー部門・1位チーム
💵 RTX最適化プロジェクトに$500賞金！
個人でもチームでも参加可能（最大4人）
持ち物
ノートPC、充電器、そしてアイデア！
ShaneFuのワークフロー紹介はこちらから
日本語翻訳 (Japanese Translation)
(ホスト): 皆さん、こんにちは。今日は特別、特別なゲストをお招きしています。ShaneF3DさんとPurseさんです。皆さん、ようこそ。 (Purse): こんにちは。 (ホスト): Purseさん、Shaneさん、ようこそ。ええ、あなたは素晴らしいゲストです。今夜お越しいただけて本当に嬉しいです。あなたの作品はきっと多くの人が目にしたことがあるでしょうし、本当に素晴らしいものです。自己紹介をお願いできますか？
(ShaneF3D): はい、皆さん、お招きいただきありがとうございます。私は3Dアーティスト、デジタルアーティストで、Comfyをしばらく使っています。と言っても、断続的に2年近くになりますね。ええ、Comfyを使ってたくさんのアニメーションやデジタルアートを制作してきました。
(ホスト): ええ、そしてあなたは非常に深い3Dのバックグラウンドをお持ちですが、お使いのツールは何ですか？皆さんに教えてあげてください。何かすごいものを使っているのは知っていますよ。 (ShaneF3D): ええ、まあ、それほど深くはないんですが、普段はCinema 4Dを使っています。Cinema 4DとHoudiniを混ぜたような感じですね。最近はBlenderも使い始めています。 (ホスト): 素晴らしい。
(ホスト): では、あなたの作品をいくつか見せてもらいましょうか。最近、何か大きなことをされたそうですね。見たことがある人がいるかわかりませんが、最近ラスベガスのスフィアで何かを手がけられたとか。信じられないことです。 (ShaneF3D): ええ、彼らから外装用のカスタムアニメーションとデジタルアートを依頼されました。そして、そのうちの一つが公開されたばかりです。仕上がりにはかなり満足しています。それから、もう一つ、屋外のARコンポーネントのようなものも作りました。大変でした。でも、とにかく、私の以前の作品をいくつか見ていただければ。その多くはAnimateDiffで作られていますが、新しいモデルも試しています。
(ホスト): 今シェアされたコメント、まさに私がいつもあなたに対して感じていたことです。あなたはとてつもなく才能があって、AIを使って自分の作品を他とは違うものにする方法を見つけ出した。でも、あなたの深いバックグラウンドはそのまま活かされている。それが、私の意見では、あなたを非常にユニークなアーティストにしている点です。あなたの作品は素晴らしい。なぜなら、あなたが基本的に素晴らしいものを作れると感じるからです…どうやって作っているのか説明できません。見せる前に…面白い話をさせてください。Jbugがいるサーバーにいて、あなたが参加する前にJbugと話していたんですが、あなたがどうやってこれを作っているのか当てようとしていました。「ああ、彼はたぶん、ちょっとしたデプスマップといくつかのdiffを使っているだけだろう、特別なことは何もないよ、まあ、そんなもんだろう」って。そして、あなたがどうやって作っているか教えてくれたとき、私たちは「うわっ、マジか、ああ、これは本物だ」ってなりました。Cinema 4DやHoudiniとか、そういうすごいツールを使って独自のものを作っていたなんて。ええ、そうだったんです…
(ShaneF3D): 私のバックグラウンドは、この分野に入る上で幸運だったとも言えます。そして今では多くの人が同じことをやっているのを目にしますが、それは素晴らしいことです。まだ開拓されていない可能性がたくさんあると思いますから。完全なCGや手描きの作品と比べると、不完全な部分が多いと感じますが、私はその不完全さを受け入れているつもりです。それが私にとって特別なたものにしているのだと思います。
(ホスト): まさにそうですね。見てくださいよ、これ。豪華絢爛です。これは心に響きました。これは信じられないほど素晴らしい。ええ、それは本当に新しいモデルの問題点ですね。古いモデルが持っていたような弾力性がない。でも、いずれは解決するでしょう。これがJbugと話していた作品ですね。覚えています。素晴らしい作品です。ええ、そして今、多くの人がどうやってこれを作っているのか不思議に思っていることでしょう。だから、これからその舞台裏を少し見せてくれるんですよね。
(ShaneF3D): これがプロジェクトファイルのようなもので、レンダリング済みの3Dもお見せできます。 (ホスト): なるほど、まず3Dで作るんですね。それが最初のステップですか。 (ShaneF3D): これは商業プロジェクトで使ったものです。葉っぱだったかな、ええと。そう、基本的には葉っぱをアニメーションさせて、スケールアップして開くようにしました、よね？そのあと、二次的な動きを加えました。ここで揺れているのがわかるように。より有機的な感じです。そして、全体の分解と爆発はHoudiniの中でやっています。
(ホスト): ええ、Houdiniは最高にクールです。知らない方、使ったことがない方、それが何かわからない方のために説明すると、Blenderに優れた物理エンジンが搭載されたものだと考えてください。3Dでシミュレーションやロジックの問題を解決するために使うものです。ここに見えるようにノードベースであるという点でComfyに似ていますが、リアルタイム3Dエンジンであり、その他にもたくさんの機能が追加されています。Houdiniは一度ハマると抜け出せない深い世界なので、Comfyが好きな人なら…
(ShaneF3D): ご覧の通り、ノードのワークフローとはかなり相性がいいと思います。3DとCGの基本的な理解があれば、それほど難しくなく入れると思います。これが元のアニメーションで、これをクリーンアップして、基本的には…基本的に、小さな塊に切り分けます…これじゃないな、ああ、ここにありました。これです。これで爆発できるようになります、よね？そして、このアニメーションと、より小さな破片をRBDソルバーに入力します。これは本質的にリジッドボディソルバーのようなもので、各破片が飛び散るようになります。そして、これがシミュレーション中です。 (ホスト): ええ。すごい見た目ですね。ええ。風とかもあって。 (ShaneF3D): ええ、何というか、砕け散るような感じを出しています。まあ、それで、基本的にはもう少しクリーンアップしてエクスポートしました。ええ、そんなところです。そして、ええ、基本的にはそれを取り込み直して、テクスチャを付けました。元々はただの葉っぱだったので。そしてレンダリングしました。では、Comfyの部分に入りましょうか。
(ホスト): ええ、クールですね。つまり、基礎となる部分があるんですね。黒い背景で3Dレンダリングされたテクスチャ付きのベースを作った。Shaneの頭の中の第一段階。第一段階がわかりました。そしてループさせる。ループさせる方法を見つけるだけですね。 (ShaneF3D): これはシンプルな方の一つだと思います。複数のパスを使っていますが、これはもっとシンプルな方です。これには2つか3つのパスがあります。この隣のアニメーション、バラを持つ手を覚えていますか？これは、3つのパートに分けたと思います。これが手だけ。そして、これがポータルだけです。
(ホスト): つまり、別々のdiffで作業して、それを合成しなければならなかったということですね。そうしないと混ざってしまうから。 (ShaneF3D): でも、ええ、元に戻りましょう。基本的には、手と葉っぱがありますね。ええ、これが私が使っている本質的なAnimateDiffのワークフローです。これは単に画像シーケンスを読み込むためのものです。一つはオリジナルのCGレンダー用、もう一つはデプスマップ用です。このケースではデプスマップは使わなかったと思いますが。でも、使う場合もあります。 (ホスト): ええ、使う場合もありますよね。 (ShaneF3D): ちょっと待ってください。基本的には簡単なプロンプトトラベラーを書く必要がありました。これがその結果です。でも、普段はどれだけイテレーションを重ねるか見せたことがあると思います。これはこのアニメーションだけのものです。基本的に、今お見せしたこのイテレーションでは、炎はありません。確か、きらめき、火花、星のようなものを使っていたと思います。そうです。こちらの方が近いと思います。
(ホスト): このチカチカする感じが大好きです。あなたのスタイルに合っていると思います。 (ShaneF3D): ええ、そして、これでも、基本的にはイーズインもできます。新しいモデルにまだその機能があるかはわかりませんが、AnimateDiffや他のStable Diffusionモデルでは、低い値を持つことができます… (ホスト): コントロールアップ、コントロールダウンですね。 (ShaneF3D): ええ。イージングのように、イーズアウトもできます。そして、このストップモーションのような感じについては、文字通り、革新的なカスタムノードの一つの設定です。開始とパーセンテージをコントロールできます。通常、デフォルトでは全てを実行しますが、半分だけ実行したり、後半まで開始しないようにしたりすると、また違う結果が得られます。そうしないと、こんな風になってしまいます…
(ホスト): 面白いですね、見た目の違いが半端ないです。 (ShaneF3D): ええ、違うモデルですが、良い結果は得られませんでした。確か、このためにCalvinに何か見せようとしていたんです。どんなモーションモデルやビデオモデルでも。これが唯一のことだと思いますが、これはAnimateDiffノードの一部で、各フレームを異なる出力で生成できます。たくさんのfluxを試しましたが…でもこれは…これは非常に基本的なモデルだと思います。皆さんがこれについてもっと技術的な詳細を知っているかわかりませんが、プロンプトトラベルもありませんし。そして、中国語を母国語として話すことの利点の一つは、中国語でプロンプトを書けることです。
(ホスト): 数ヶ月前にそのトリックを教えてもらって、「ああ、その手は君にはいいけど、僕には無理だな」って思いましたよ。モデルの母国語でプロンプトを入力すると、かなり良くなると思いますか？ (ShaneF3D): 実際、多くの場合で多少は良くなると思います。でも、結果の違いは、もっとこう、感覚的なものだと思います。あまり… (ホスト): 言いたいことはわかります。 (ShaneF3D): でも、ええ、そして、これなんかは、葉っぱの代わりに魚でやってみて、変換されるか試しました。入力しているのはデプスマップだけです。でも、うまくいきません。でも、まあ、他にどうやって認識させろって話ですよね？
(ホスト): これはデプスマップだけですよね？本質的にはデプスマップを入力しているだけに見えます。いや、待てよ。Melがかつて言っていたんですが、モデルは複数の入力を本当に嫌うそうです。デプスマップを入力した方が、OpenPoseなどを合成して入力するよりも良い結果が得られるとか。でも、それについてA/Bテストをしたことがないので、意見はありません。 (ShaneF3D): ええ、デプスマップとOpenPoseを一つの画像に合成して、それを入力するような感じですよね。でも、彼らは一つだけ選んだ方がずっと良いと言っていました。 (ホスト): ええ、これは本当にクールに見えますね、これ。 (ShaneF3D): ええ、これは最も成功した例の一つだと思います。見てみましょう。
(ホスト): はい、ちょっと待ってください。Cosmicからの質問に答えたいと思います。Cosmicは「つまり、3Dモデル全体ではなく、本当に高品質なデプスマップが必要なだけなんですか？」と言っています。その通りです。本当に良いデプスマップさえあれば、これらのことは何でもできます。そして、Blenderで本当に良いデプスマップを作ることができて、それに関するチュートリアルもたくさんありますから、後で連絡してください。でも、ええ、3Dはデプスマップを得るための一つの方法ですが、デプスマップを得る方法は無数にあり、ビデオからも作れます。 (ShaneF3D): そして、マッピングも少しトリッキーです。なぜなら、通常のデプスマップのように0から無限大までではなく、Comfyの多くのモデリングでは、0から1に正規化されたものを使っていると思います。それに合わせるために、いくらかリマッピングをする必要があると感じます。なぜなら、通常は…ええ、Blenderはそうかもしれませんが、私が知っているのは…
(ホスト): ええ、それで、これは全編を通して実行しました。これがモデルが処理できる最大フレーム数だと思いますが、合っていますか？そうですよね？皆さん、確認できますか？何のですか？実行できる最大フレーム数です。最大があるのかどうかは知りません。どういう仕組みなのかも。私はいつもそれ以下にしています。なぜなら、超えるとゴミが生成されるだけだといつも思っていて、無駄にしたくないからです。 (ShaneF3D): これでも最後の方にはもうアーティファクトが出ています。 (ホスト): とは言え、昨夜multitalkでやっていたものでは、一度に600フレームを問題なく処理していましたよ。 (ShaneF3D): すごい、待って、その例を見せてもらえますか？ (ホスト): ええ、ええ。じゃあ画面を…これは美しいですね。 (ShaneF3D): ええ、これはとても気に入っています。 (ホスト): 実は、私のビデオは…見せられないんです。全部著作権のある音楽を使っているので。著作権のある音楽にリップシンクしていないものが何もないことに今気づきました。あ、これを見てください。パイナップルみたいですね。
(ShaneF3D): これは161フレーム以上使った結果だと思います。見てみましょう。181ですね。そうすると、崩れてしまいます。 (ホスト): 12,000に変えて、何が起こるか見てみましょうよ。 (ShaneF3D): ああ、そうですね、それをやって1時間後くらいまで待ってみましょうか。フリーズするだけでしょうけど。 (ホスト): どんなGPUを使っていますか？ (ShaneF3D): 私はただ…いいですね、ほら？拡張フレームを使えるようにする引数か何かありませんでしたっけ？ (ShaneF3D): ええ、81フレームのように実行して、16フレームごとに開始して、それらを一緒にブレンドすることができます。でも、あまりうまくいきません。 (ホスト): ええ、まだあまり機能的ではないと聞きました。 (ShaneF3D): ええ、ただ「latent dirt（潜在的なゴミ）」を生成するだけです。よくわかりません。 (ホスト): 「Latent Dirt」はクラストパンクバンドの名前としてかなり良いですね。 (ShaneF3D): そうですか？面白い名前ですね。ええ、こんな感じです。あ、これは火に近づけすぎましたね。ええ。でも、ええ、今は新しいモデルがあります。Vazeがありますね、もし話したければ。 (ホスト): ええ。Vazeの例で何かシェアしたいものはありますか？ああ、そういえば先ほど見せてくれましたね。ぜひ見たいです。これは素晴らしい。比較を見せれば、初めて見る人たちはきっと気に入りますよ。
(ShaneF3D): オーケー、やりましょう。いくつか作りましたが、たくさんありますね。いくつかすごく奇妙なテストをしていました。でも、これはプレビュー版です。オーケー、プレビュー版は飛ばしましょう。プレビューの3D版は動きますが、あまり…なので、新しい方をお見せします。ええと、これが最初に行ったテストのいくつかです。これが最初に行ったテストです。動きを非常によく変換していると思います。私はVazeをモデルというよりはビデオエディターだと考えるのが好きです。本質的に、これはベース入力だけで行われていて、3Dの成長シミュレーションのようなものです、よね？そして、そこからのデプスマップ。これら2つのコントロールがVazeに入力されています。一つは、ご存知の通り、ベースイメージとして使用するために入力し、denoise strengthを75に設定するだけです。なので、ベースから構造と色をかなりの量受け継いでいます。このエンコードはデプスマップを入力します。これがその中のデプスマップです。そして、前のエンベディングは…オーケー、これは無視しましょう。つまり、これにはデプスマップ入力しかないとしましょう。でも、元の画像アニメーションの入力も、一つのビデオエンコードからサンプル入力を通しています。これはVazeがなくても存在します。これが私がこれを手に入れた方法です…このサンプルでdenoiseを下げて元のアニメーションの構造と色を取得し、さらに画像をControlNetとして埋め込んでビデオをガイドします。そして、これが最終結果です。一部を変更しています、ご存知の通り、新しく出てくるものがキノコになります。
(ホスト): 『The Last of Us』に出てきそうですね。 (ShaneF3D): まるで完全に生成されたかのようです。ええ。これは面白くなるでしょう。本質的に、先ほど言ったように、出力内でさまざまなコントロールを重ねることができます。なので、ベースビデオのデプスマップを入力するだけでなく、このような軌道コントロールも入力できます。スプライン軌道ですね。ええ。もっといじれるスプラインがあればいいのにと思います。
Originally published at note.com/aicu on June 21, 2025.
Comments