一句話答案:VoiceStudio 是一套 AGPL-3.0 的開源桌面程式,把語音克隆、聲音設計、影片配音、聽寫、轉錄與有聲書製作全部跑在自己的電腦上,官方宣稱支援 646 種語言、內建 16 個 TTS 與 10 個語音辨識引擎;截至 2026-10-17,GitHub API 顯示 72,975 顆星、7,986 個 fork,最新版本 v0.5.6(2026-09-23)。
如果你只是想知道「這東西能不能取代 ElevenLabs」——簡答:對「有自己的 GPU 或 Apple Silicon、且在意音檔不要上傳」的人可以;對「只想貼一段文字、三秒拿到音檔、不想碰模型下載與 VRAM」的人,雲端服務仍然省事。細節在下面。
它為什麼突然被大量轉推
2026-10-17 的 GitHub Trending 上,VoiceStudio 單日 +2,135 星,是當天成長最快的專案之一。這個專案 2026-04-09 才建立,前身叫 OmniVoice Studio(MarkTechPost 在 5 月報導過),改名後一路長到七萬多星,定位也很清楚:開源、全本機的 ElevenLabs 替代品。
它吸引人的點不是「又一個 TTS 模型」,而是把整條語音工作流做成桌面 App:克隆、設計、配音、聽寫、轉錄、有聲書,加上本機 API 與 MCP,讓 AI Agent 也能直接呼叫。
一表看懂:跟 ElevenLabs 的差異
官方首頁自己列了一張對照表(標註「每個來源欄位皆經查證,2026-09-30」),下表依該表整理,並補上筆者查證的欄位:
| 項目 | VoiceStudio(開源版) | VoiceStudio Pro | ElevenLabs 雲端 |
|---|---|---|---|
| 執行位置 | 自己的機器 | 自己的機器 | 他們的雲端 |
| 開始使用 | 安裝即用 | 安裝 + 金鑰 | 註冊帳號 + 金鑰 |
| 原始碼 | AGPL-3.0 | 閉源 | 閉源(SDK 為 MIT) |
| 費用 | 免費 | US$99/年 或 US$299 買斷 | 訂閱制,官方標示 credits 自 US$6 起 |
| 商用 | 需符合 AGPL-3.0 條件 | 已授權 | 依方案 |
| 語言數 | 官方宣稱 646 | 646 | 官方標示付費方案 74 種 |
| 音檔位置 | 留在本機 | 留在本機 | 上傳到對方伺服器 |
Pro 版權益依官網標示是:1 人席位、3 台裝置、7 天退款、商業授權、可連遠端裝置與早期功能。要注意的是,Pro 授權只涵蓋應用程式,不涵蓋模型權重、分詞器與生成音檔的使用條件——官方在 README 的 License 段落寫得很明白,這點後面「已知限制」會再展開。
功能全景:六個工作區
| 工作區 | 做什麼 | 實務場景 |
|---|---|---|
| Voice Cloning | 用一段參考音複製音色 | 自製有聲書、課程旁白、Podcast 片頭 |
| Voice Design | 用文字描述生成一個聲音 | 找不到適合音色時直接「描述」出來 |
| Video Dubbing | 影片換語言、保留時間軸 | 教學影片多語版本、產品 demo 本地化 |
| Dictation Widget | 浮動聽寫小工具,全系統可用 | 寫稿、會議即時輸入 |
| Stories / Audiobook | 把腳本分角色、把書分章輸出 | 有聲書量產、廣播劇 |
| Model Catalogue | 安裝與切換本機模型 | 依硬體與品質需求換引擎 |
另外還有三個常被忽略但很實用的能力:人聲分離(配音前把背景音與人聲分開)、語者分離(一段錄音自動判斷誰在說話,配音流程用 pyannote)、批次佇列(大量檔案排隊跑)、以及AI 水印(輸出時加註)。
引擎盤點:16 個 TTS、10 個語音辨識
VoiceStudio 的核心設計是「引擎可換」。預設引擎是自家品牌、底層跑 k2-fsa/OmniVoice。下表挑幾個台灣使用者最可能用到的:
| 引擎 | 跑在 | 克隆 | 啟用方式 |
|---|---|---|---|
| VoiceStudio(OmniVoice,預設) | CUDA/MPS/CPU | ✅ | 預設安裝 |
| VoxCPM2 | CUDA/MPS/CPU | ✅ + 聲音設計 | pip install "voxcpm>=2.0.3" |
| CosyVoice 3 | CUDA/CPU | ✅ | clone repo + requirements |
| IndexTTS 2.5 | CUDA/CPU | ✅ + 情緒控制 | 一鍵 sidecar 安裝 |
| MLX-Audio(Kokoro、CSM、Dia…) | Apple Silicon | 依模型 | pip install mlx-audio |
| KittenTTS | CPU | —(8 個預設音色) | pip install kittentts |
| GPT-SoVITS | 外部伺服器 | ✅ | 自架 API server |
| MOSS-TTS-v1.5(8B) | CUDA/CPU | ✅ | clone + 環境變數 |
| dots.tts(2B) | CUDA/CPU(不支援 Windows) | ✅ | clone + 環境變數 |
| sherpa-onnx | CUDA/CPU | —(預設音色) | pip install sherpa-onnx + 模型目錄 |
語音辨識端預設是 WhisperX(擅長配音需要的逐字時間戳與語者分離),另有 Faster-Whisper、MLX Whisper(Mac 預設)、PyTorch Whisper、Parakeet TDT、Moonshine(低功耗、無時間戳)、FunASR(50+ 語言、內建語者分離)、sherpa-onnx(即時聽寫),以及可接自架或遠端的 OpenAI 相容端點。
實務建議:台灣使用者如果要做中文配音,先試預設 OmniVoice,再試 CosyVoice 3 與 IndexTTS 2.5。三者都能零樣本克隆,但情緒表現與中文斷句習慣差異明顯,值得各跑三段同一句話比較。
硬體需求:先看這張表再下載
| 硬體 | 支援狀況 |
|---|---|
| NVIDIA GPU(Windows/Linux) | CUDA 加速,官方建議 ≥16 GB VRAM 可平行 3–4 個生成 |
| Apple Silicon(M 系列) | Metal(MPS)加速,16 GB 統一記憶體可跑,多工時要注意記憶體壓力 |
| 無獨顯(Intel/AMD 內顯、舊電腦) | 可用但慢;安裝會裝 CPU 版 PyTorch,約需 5 GB 磁碟 |
| Windows on ARM(Snapdragon X 等) | 實驗性:原生 ARM64 App + x64 Python 後端模擬,僅 CPU |
| Intel Mac | 只跑得動 UI,需連遠端後端 |
一段重要提醒:Windows 上的 PyTorch GPU 加速只支援 NVIDIA/CUDA。AMD 與 Intel 顯卡在 PyTorch 引擎上會退回 CPU(audio.cpp 引擎可透過 Vulkan 用到 Radeon)。也就是說,如果你手上是 AMD 顯卡的 Windows 桌機,實際體驗會比規格表看起來慢很多。
安裝:官方指令原文
macOS/Linux 一行安裝:
curl -fsSL https://voicestudio.sh/install | sh
裝指定版本,或直接從 main 建置:
curl -fsSL https://voicestudio.sh/install | sh -s -- --version 0.5.6
curl -fsSL https://voicestudio.sh/install | sh -s -- --main
Windows(PowerShell):
irm https://voicestudio.sh/install | iex
也可以直接下載安裝檔(macOS .dmg、Windows .exe、Linux .AppImage/.deb),或用 Docker 跑無介面的後端:
git clone https://github.com/debpalash/VoiceStudio.git
cd VoiceStudio
bun install
bun run setup:api # 先備妥 Python 依賴
bun run dev
兩個容易踩的坑:
- Tauri 版已經退役。v0.5.3 是最後一個 Tauri 版本,現在只有 Electron。舊使用者要用 Electron 另外安裝並照
docs/electron-migration.md遷移,安裝腳本不會退回舊的 Tauri 建置。 - macOS 首次啟動要手動放行。因為沒有付費簽章流程,第一次開啟會被 Gatekeeper 擋,需右鍵→打開。
驗證後端有沒有起來:
curl http://127.0.0.1:3900/health
curl http://127.0.0.1:3900/openapi.json
第一次克隆:三個會決定成敗的設定
- 參考音長度:Voice Clone 接受最多 75 秒,但官方建議 5–15 秒乾淨語音。預設引擎實際只取 20 秒內、且會自動挑「講話最密集的 15 秒」段落(
best_window策略);VoxCPM2 取前 30 秒。 - Transcript 欄位一定要填。這是全站最常見的「怎麼變慢了」原因:如果語音設定檔的逐字稿是空的,每次生成都要先跑一次 Whisper 轉錄。v0.3.15 之後會自動轉錄一次並存回設定檔,但手動匯入或編輯過的設定檔仍可能每生成一次就多付一次 ASR 成本。
- 第一次生成一定最慢。模型權重延遲載入約 8 秒、CUDA 要編譯 torch.compile、Apple Silicon 要暖 Metal kernel。判斷速度請看第二次之後。
把它當本機語音 API 用:三種接法
VoiceStudio 的後端就是一個常駐在本機 3900 埠的語音服務,桌面 App 只是其中一個前端。官方文件列出四種介面:
| 傳輸方式 | 端點 | 用途 |
|---|---|---|
| OpenAI 相容 HTTP | POST :3900/v1/audio/transcriptions | 檔案轉錄,直接沿用既有 SDK |
| WebSocket | :3900/v1/audio/transcriptions/stream | 即時逐字稿(partial/final) |
| MCP Streamable HTTP | POST :3900/mcp/ | 新式 Agent 客戶端 |
| MCP stdio | python -m backend.mcp_shim | Claude Code、Codex 等只吃 stdio 的客戶端 |
無依賴的 Python 橋接工具可以直接測:
python -m backend.speech_client capabilities
python -m backend.speech_client transcribe recording.wav
要把 Claude Code 或 Codex 接上,官方給的 MCP 設定長這樣:
{
"mcpServers": {
"omnivoice": {
"command": "python",
"args": ["-m", "backend.mcp_shim"],
"cwd": "/path/to/VoiceStudio",
"env": { "OMNIVOICE_PORT": "3900", "OMNIVOICE_CLIENT_ID": "claude-code" }
}
}
}
另外有個設計滿有意思:每個 Agent 可以綁不同聲音。Client 用 OMNIVOICE_CLIENT_ID 識別自己,語音解析順序是「明確指定的 profile_id → 該 Agent 的綁定 → 系統預設」,所以可以做到「Claude Code 用 Morgan、Cursor 用 Scarlett」。
安全邊界要注意:MCP 傳輸本身沒有身分驗證,官方文件明講不要直接曝露在公網,只能放在受信任的 LAN 或 TLS 反向代理後面。這台後端一旦被別人打到,等於你的 TTS/ASR 算力被免費借用。
效能調校:五個真正有用的旋鈕
| 環境變數 | 預設 | 什麼時候動它 |
|---|---|---|
OMNIVOICE_GPU_WORKERS | 自動(每 5 GB VRAM 給 1 個,最多 4) | ≤10 GB 顯卡與 Apple Silicon 不要調高,兩個任務搶 VRAM 正是當機主因 |
OMNIVOICE_SINGLE_ENGINE_RESIDENT | 1 | 32 GB 以上記憶體可設 0,切換引擎時不用重新載入 |
OMNIVOICE_UNIFIED_OFFLOAD_HEADROOM_GB | 6 | Apple Silicon 統一記憶體太低時,配音前先釋放 TTS 模型 |
OMNIVOICE_GENERATE_TIMEOUT_S | 300 | GPU 主機的單次生成預算,長文會自動加時 |
OMNIVOICE_CPU_GENERATE_TIMEOUT_S | 600 | 純 CPU 主機的上限,合理 CPU 生成本來就比較久 |
官方也提供 Settings → Performance & Device 的圖形介面,會顯示目前實際使用的運算裝置(cuda/mps/cpu)與「GPU active」徽章——這比看工作管理員可靠,因為驅動不相容時它會靜默退回 CPU,只是變慢而不報錯。
價格與授權:免費到什麼程度
- 開源版:AGPL-3.0,免費,功能完整。AGPL 的重點是:如果你把修改後的版本做成網路服務給別人用,必須開源你的修改。
- Pro:US$99/年 或 US$299 買斷(官網標示),含商業授權、3 台裝置、7 天退款。這對「公司內部要用,但不想碰 AGPL 網路服務條款」的團隊是主要賣點。
- 模型權重另外算:README 明確寫「AGPL-3.0 涵蓋應用程式,模型權重、分詞器、聲音與生成輸出屬於另外的條件;付費 App 授權不會連帶授予那些權利」。例如 audio.cpp(Breeze-TTS-2)引擎的權重就標示為研究/非商用。
已知限制與還沒被驗證的事
按本站慣例,這一段單獨列出來,因為它通常比規格表更有用:
官方自述、筆者未實測
- 「646 種語言」是官網與 README 的宣稱,筆者沒有逐一驗證;語言數量通常取決於底層模型(Whisper 系與各家 TTS 語料),不同引擎的實際覆蓋率一定不一樣。
- 「Downloads ~596,000」與首頁按鈕上的「103K+」是兩組不同數字,看起來一個算下載次數、一個算安裝器點擊,官方沒有說明定義,建議只看趨勢不看絕對值。
- 官網顯示「50,000 stars」,但 GitHub API 在 2026-10-17 回傳 72,975。網頁上的星數是快取值(官網自己寫「stars and downloads refresh live」,實際明顯落後),以 API 為準。
明確的技術限制
- Intel Mac 只能當 UI,需要另一台機器跑後端。
- Windows on ARM 是實驗性,官方說「validation pending」。
- 沒有獨顯的機器可跑,但長文生成會等到天荒地老;16 GB 統一記憶體機器同時開瀏覽器 + 配音會被作業系統殺掉後端。
- MCP 與本機 API 沒有內建身分驗證機制(本地端點靠 loopback,遠端要靠 API key 與網路隔離)。
- 專案主要貢獻者集中在單一作者(API 顯示 debpalash 3,375 次貢獻),雖有 7,986 個 fork,但單一作者依賴風險(bus factor)比大型基金會專案高,長期維護要看後續是否形成核心團隊。
法務與倫理
- 克隆聲音請取得當事人授權。台灣的《民法》人格權與相關個資規範下,未經同意複製他人聲音做商業用途風險很高;官方 README 也寫「Clone voices only with permission」。
- AI 水印功能是加分項,但各家平台的偵測機制不一致,「有加水印」不等於「不會被平台判定為 AI 內容」。
誰適合、誰不需要
| 你是誰 | 建議 |
|---|---|
| 有 RTX 顯卡或 M 系列 Mac 的內容創作者 | 值得裝,配音 + 有聲書這條線省下的訂閱費很快回本 |
| 需要把教材/產品影片做成多語版本的團隊 | 值得裝,時間軸保留與批次佇列是核心價值 |
| 在意音檔不能離開內網的企業 | 值得評估 Pro,但先確認模型權重的商用條件 |
| 只想偶爾把一段文字轉語音 | 不需要,雲端服務更快更省事 |
| 用 AMD 顯卡的 Windows 用戶 | 先確認你的引擎能不能吃到 GPU,否則體感會很差 |
| 需要 SLA 與技術支援的生產系統 | 目前不適合,這是社群專案 |
站內延伸閱讀
- RVC 是什麼?開源 AI 變聲與聲音模型訓練教學——如果你要的是「把 A 的聲音換成 B」,RVC 走的是另一條技術路線。
- CosyVoice:阿里巴巴的開源多語言語音生成模型——VoiceStudio 內建的引擎之一,想單獨用可看這篇。
- VoxCPM2:OpenBMB 免分詞器多語音合成模型——同樣是 VoiceStudio 支援的引擎,聲音設計能力是它的差異點。
- Context Mode 完整指南——如果你打算把 MCP 接進 Claude Code,這篇談的是上下文管理的另一面。
資料來源與查證方式
- GitHub 專案:debpalash/VoiceStudio(README、README_CN、docs/install/agent.md、docs/engines/README.md、docs/performance.md、docs/speech-platform.md、docs/mcp.md,2026-10-17 讀取)
- 官方網站:voicestudio.sh(定價與 ElevenLabs 對照表,站方標示查證日 2026-09-30)
- GitHub API:
api.github.com/repos/debpalash/VoiceStudio(stars 72,975、forks 7,986、license AGPL-3.0、created 2026-04-09、pushed 2026-10-17)與/releases/latest(v0.5.6,2026-09-23),皆於 2026-10-17 查詢。 - 第三方報導:MarkTechPost:Meet OmniVoice Studio(2026-05-26,改名前的報導)
- 星數與下載數採 API 與官網並列,兩者不一致處已於文中標明。
本文為工具介紹,未註冊 Pro、未在 Windows ARM 與 Intel Mac 上實測;安裝指令皆為官方文件原文,未經改寫。
