mesh-avatar-studio 完整教學:一張插畫變會說話的 2D 虛擬形象

Mesh Avatar Studio 用 coding agent 把一張插畫拆成 mesh 骨架,做出會眨眼、說話、轉頭、呼吸的 2D 虛擬形象;本地編輯器微調、OBS 綠幕直播、瀏覽器 Player 免安裝。含完整指令、直播設定、器材建議與三個授權/隱私限制(1,347 星、MIT)。

  • Dennis
  • 6 分鐘閱讀
mesh-avatar-studio 完整教學:一張插畫變會說話的 2D 虛擬形象

一句話結論

Mesh Avatar Studio 把「做一個會動的 2D 虛擬形象」從一週的 Live2D 手工活,壓縮成「丟一張插畫給 coding agent +拖拉修幾個點」:它把你的圖拆成多層 mesh 骨架,之後這個角色會眨眼、說話、轉頭、呼吸、頭髮搖擺;要直播時再開 Live 模式,用你的 Webcam 做人臉追蹤、用麥克風做對嘴,直接丟進 OBS。

GitHub shinshin86/mesh-avatar-studio 於 2026-10-28 查證:1,347 顆星、149 個 fork、MIT 授權、TypeScript 撰寫,2026-10-04 建倉,四天前才剛推送——是這波「用 agent 做資產」工具裡動得很快的一個。

它解決的問題:Live2D 的門檻不在畫圖,在「分層與骨架」

傳統做虛擬形象的痛點不是畫一張好看的圖,而是後面這串:

傳統做法卡在哪
Live2D/Spine 手動分層與 rig要會拆圖層、拉變形網格、設參數,學習曲線陡
請人代做一個角色幾千到上萬元,改一次再收費
用影片預錄不能即時互動,改一句話就要重錄

Mesh Avatar Studio 把「拆層 + 建骨架」交給你已經在用的 coding agent(Claude Code 或 Codex),人只負責「看起來怪的地方拖一下」。

一表看懂

項目內容(2026-10-28 查證)
專案shinshin86/mesh-avatar-studio
星數/Fork1,347 ★/149
授權MIT(但內附範例角色 Miko 不在 MIT 範圍,見下方限制)
語言TypeScript
建倉/最後推送2026-10-04/2026-10-28
執行環境Node.js 22.17+、Git;選配 uv+Python(重建圖層)、Playwright Chromium(姿勢檢查)
快速啟動npx create-mesh-avatar-studio → npm run dev
推薦 agentClaude Code(Opus 5.5)或 Codex(GPT-6.1 Sol)
輸出格式.mavatar(單一檔,含骨架、圖層、表情)
直播輸出OBS Browser Source(含透明背景)、或 OBS 虛擬攝影機進 Zoom/Meet

四個步驟:agent 做兩步、你做兩步

步驟誰做做什麼
1. 建角色Agent對 agent 說「用這張圖建立 avatar,照 docs/agent-guide.md」→ 它讀座標、切圖層、擺骨架、用固定姿勢自我檢查
2. 檢查你開編輯器 → Pose test 轉頭閉眼、Lip sync 試嘴型
3. 修正你左邊選部位、圖上拉點位,右邊即時預覽;改到輪廓(眼、手、髮際)要按「Save and rebuild layers」
4. 補表情Agent勾 Eyes/Mouth,把訊息貼給 Codex → 它畫閉眼與母音嘴型並自動匯入

輸入圖的建議:正面、頭肩構圖、透明背景的 PNG,效果最好。

一行指令請 Codex 全做完

npm run create -- /path/to/your-image.png

沒有圖也可以讓它畫:

npm run create -- --random --prompt "silver short hair, school uniform"

⚠️ 隱私注意:Codex 版本會用 OpenAI 圖片生成畫閉眼/嘴型,這會把圖與遮罩送到 OpenAI(指令會先問你)。要全部留在本機加 --no-variants;不想連網就用 --no-variants + Claude Code 路線(Claude 不能生圖,只幫你準備遮罩與提示詞)。

安裝與啟動

# 需要 Node 22.17+ 與 Git
npx create-mesh-avatar-studio
cd mesh-avatar-studio
npm run dev        # 開 http://127.0.0.1:5173/

自己 clone 的話:

git clone https://github.com/shinshin86/mesh-avatar-studio
cd mesh-avatar-studio && npm install && npm run doctor

npm run doctor 會檢查 uv、Python、Playwright Chromium 是否齊備(只有編輯器與 Live 頁時,只需要 Node)。

Live 直播:Webcam 人臉追蹤 + 麥克風對嘴

這是它最有價值的一段。在編輯器選 Live:

動作說明
Start camera → Calibrate正臉、眼睛放鬆、嘴巴閉著校準;可調鏡像、靈敏度、平滑度
Microphone lip sync開麥克風,聲音直接驅動嘴型(相機是選配)
Copy OBS URL貼進 OBS 的 Browser Source(例:1080×1080),透明背景直接可用
綠幕其他擷取軟體用綠色背景 + chroma key
表情按鍵 1–8 或 Stream Deck 切換(微笑、驚訝、眨眼…)
燈光可拖曳光源做陰影,存 8 組預設,Shift+1–8 切換
進 Zoom/Meet用 OBS 的虛擬攝影機把自己變成 avatar

隱私設計:相機影像與麥克風音訊都留在你機器上,只有「數值的動作參數」會送到串流頁面。

不想安裝?用瀏覽器 Player

Player 頁 直接在 Chrome/Edge 跑人臉追蹤、對嘴、表情與燈光,什麼都不上傳。限制是沒有 stream URL,要用 OBS 的 Window Capture + 綠幕 + Chroma Key 抓視窗。

你需要準備的兩樣器材

這套工具在 Live 模式下會用到兩項硬體,選購時看兩個重點:相機要能穩定拍到整張臉(1080p 起)、麥克風要心型指向(減少環境噪音)。

用途建議機型價格(2026-10-28 酷澎查詢)
人臉追蹤logitech 羅技 Brio 100(Full HD 1080p、內建全向麥克風)NT$1,190
對嘴收音Shure MV7+(USB/XLR 動圈式,台灣公司貨)NT$9,990

為什麼對嘴收音選動圈式(MV7 系列)而不是便宜的電容麥:動圈麥的收音範圍窄、對房間反射音與冷氣聲寬容,不需要先做吸音就能得到乾淨人聲;USB 直連即可(XLR 才需要錄音介面),對「坐在書桌前開直播」的人是最省事的組合。缺點是單價高,建議搭配桌面支架或懸臂使用(距離嘴巴 10–15 公分)。

預算有限的話:Shure 自家 MV6(USB 動圈,約 NT$5,400–6,300)是同方向但更便宜的選擇;相機端羅技 C270(約 NT$789)也能跑 —— 人臉追蹤只需要「臉部 landmarks 清楚」,720p 在光線足夠時夠用。真正影響成品質感的是光源與麥克風指向性,不是帳面規格。

⚠️ 酷澎上同款常有明顯低於行情(例如 MV7 標價不到 4,000)的賣場,建議認明公司貨與保固再下單。

利益揭露(三層):本文含酷澎聯盟連結。若你透過上述連結購買,本站可能獲得佣金,不會影響你的購買價格。商品由酷澎販售與出貨,價格為撰寫時查詢,實際以酷澎頁面為準。

已知限制與風險(誠實揭露)

限制說明
範例角色 Miko 不是 MITMiko 是 AITuber OnAir 的角色(© Yuki Shindo),依其角色使用規範提供:可用於自己的作品、可修改,但不可單獨再散布或做成素材包。商用前務必確認
Codex 路線會上傳圖到 OpenAI畫閉眼/嘴型時會送圖與遮罩;要留在本機用 --no-variants,或改用 Claude Code 路線
建角色要幾十分鐘官方寫「usually takes tens of minutes」,不是秒級
需要 coding agent沒有 Claude Code/Codex 就只能手動拆層(有 docs/reference.md 的手動流程,但費工)
原生 Rust runtime 是實驗性native/ 下的桌面版 API 與操作可能變動
Windows 有權限地雷ZIP 下載要先「解除封鎖」;projects/ 資料夾若由其他帳號或沙箱建立,編輯器會讀不到
本文沒有實測所有內容來自 README 與 GitHub API(2026-10-28),沒有實際建立角色、沒有跑過 Live 串流

誰適合/誰不需要

適合:想低成本做 VTuber/虛擬主持形象的人;已經在用 Claude Code/Codex、想讓 agent 產出「可用資產」而不只是程式碼的人;要一個能即時對嘴、能進 OBS 的輕量方案。

不需要:追求 Live2D 頂級動作品質的專業接案者(這條路線的目標是「夠用、可自製」);沒有 coding agent 也不想手動拆層的人;需要多角色群像、複雜物理(布料/頭髮動力學)的專案。

站內延伸閱讀

除標示的聯盟連結外,本文未受任何廠商贊助。所有數字請以官方頁面當下顯示為準。

📬 訂閱 most.tw 電子報

每週精選 AI 工具教學與技術乾貨,直接送到你的信箱。免費、隨時可退訂。

訂閱即表示同意收到 most.tw 電子報,隨時可一鍵退訂。

💬 有問題想討論?加 LINE 聯絡我

歡迎透過 LINE 官方帳號直接留言,我會盡快回覆你的問題。

加入 LINE 好友