高馬爾今天小編(謝飛揚)要和大家分享的是劇本自動生成3D動畫！北航中大等提出新方法，破解多人互動難題,歡迎閲讀~
設定一個 3D 場景，你便可以用文字編織你的劇情。
一句話，就能讓兩個人激烈争吵。
吵完之後，又温馨共舞起來 ~
想怎麼排就怎麼排，就像影視拍攝或舞台劇的編排一樣，只需在劇本中設定角色的行動、互動和環境要素，就能自動生成符合邏輯的 3D 角色動畫，讓你的劇情真正 " 動 " 起來。
來自北京航空航天大學、香港中文大學（深圳）、悉尼科技大學、中山大學等高校的研究者提出 Sitcom-Crafter。成果已被 ICLR 2025 會議接收。
作為一項探索性研究，它重點解決基于場景的多人互動運動生成問題，嘗試如何整合多種動作生成技術，為創意工作者提供更加高效的工具。
來看看是如何解決的吧。
你是否曾夢想，只需撰寫一個劇本，就能在 3D 場景中自動呈現生動的角色演出？現在，這一願景正逐步成為現實！
在動畫和遊戲制作中，角色的動作設計是一項關鍵任務，通常需要人工精細調節或依賴昂貴的動作捕捉技術。
而現有的自動化方案往往局限于單一類型的動作，難以滿足復雜劇情中多人互動和場景互動的需求。
Sitcom-Crafter 的核心創新在于場景感知的多人互動運動生成。
在多人互動的 3D 劇情動畫中，角色之間的動作協調和場景适應性是決定動畫質量的關鍵。Sitcom-Crafter 提出了場景感知的角色 - 角色互動生成模塊，專門解決多人互動中的碰撞、動作同步以及場景适應性等問題。
現有的多人互動運動生成方法未考慮 3D 場景信息，直接應用到 3D 場景時，角色容易與環境物體發生嚴重碰撞。
Sitcom-Crafter 采用自監督 SDF（Signed Distance Function）策略，在訓練過程中自動生成環境 3D 體素點信息，自動标注哪些區網域可行走，哪些為障礙物：
提取角色運動軌迹，生成 3D 網格模型
計算步行區網域的凸包，标記角色可活動的地面範圍
合成 3D 障礙物，通過二值 SDF 計算物體分布
将 SDF 作為模型條件輸入，在生成過程中主動規避場景碰撞
基于此，Sitcom-Crafter 在無需額外數據采集的情況下，利用已有的人體标記點數據智能推測場景信息，自動生成物理合理的互動，使角色動作更加自然。這一創新降低了數據成本，提高了創作效率，為動畫和遊戲行業提供了一種新的探索方向。
數據規範化策略，優化角色互動建模
傳統方法在多人互動數據處理時，采用單角色歸一化，即将一個角色固定在原點，另一角色相對其位置進行建模。然而，這種方式導致模型難以同時學習兩位角色的動态特性。
Sitcom-Crafter 提出了雙角色局部歸一化策略：
每個角色的骨盆位置，作為局部坐标原點
所有骨架标記點，相對于角色自身骨盆位置計算
僅對骨盆的全局位移建模，簡化數據分布
通過這一策略，Sitcom-Crafter 使兩位角色的運動分布更加一致，避免了傳統方法中一方角色較易學習，而另一方角色較難學習的問題。
多模塊協同，讓角色動作更加自然
Sitcom-Crafter 采用 " 核心動作生成 "+" 增強優化 " 的雙類型模塊架構，以确保動作的多樣性、流暢性與一致性。
三大核心生成模塊——支撐劇情中最重要的角色動作
角色移動 （Locomotion）：基于前沿技術，角色可在 3D 場景中自然行走。
角色 - 場景互動 （Human-Scene Interaction）：角色可感知環境，與物體進行符合物理邏輯的互動。
角色 - 角色互動 （Human-Human Interaction）：采用創新的 3D 場景感知方法，減少角色之間及角色與場景的碰撞，使動作更加協調。
五大增強模塊——讓生成的動畫更具沉浸感
劇情解析：AI 自動拆解劇本，轉化為具體的角色動作指令。
動作同步：确保多個角色在互動時節奏匹配，避免生硬的動作銜接。
手勢優化：智能匹配手部動作，使角色的表現更加生動自然。
碰撞修正：檢測并修復角色之間的潛在碰撞問題，提升動畫流暢度。
3D 角色重定向：将動作适配至不同風格的 3D 角色模型，保證最終視覺效果。
Sitcom-Crafter 充分展現了其在智能化角色動畫生成方面的強大潛力。實驗結果表明，該系統能夠在多個開源 3D 場景中生成多樣化且符合物理約束的角色動作。下圖摘錄的部分實驗數據進一步驗證了 Sitcom-Crafter 在物理一致性和約束生成能力方面的卓越表現。
（FS：足部滑動檢測、FP：足部穿透檢測、HSP：角色與場景碰撞檢測、HHP：角色間幹擾檢測）
Sitcom-Crafter 在 3D 劇情動畫和遊戲制作領網域展現出廣闊的應用前景，為多角色動作生成提供了創新性的解決方案，進一步推動了角色動畫創作的智能化進程。
項目主頁：
https://windvchen.github.io/Sitcom-Crafter/
論文鏈接：https://arxiv.org/abs/2410.10790
— 完 —
投稿請工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
一鍵關注 點亮星标
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
關于劇本自動生成3D動畫！北航中大等提出新方法，破解多人互動難題就分享完了，您有什麼想法可以聯系小編(謝飛揚)。