一句話結論
VibeVoice 不是一個模型，而是一個已經分裂成三條線的語音 AI 家族：能一次吞 60 分鐘錄音的 ASR 7B、首音只要 200 毫秒的 Realtime-0.5B、以及能生成 90 分鐘 4 人對話的 TTS-1.5B。三條線都是 MIT 授權，但處境完全不同——TTS 那條的程式碼在 2025 年 9 月被微軟自己下架了，權重還留在 Hugging Face，官方「Quick Try」欄位直接寫著 Disabled。
換句話說：現在要動手，真正能用的是 ASR 與 Realtime，不是那個最有名的 TTS。
一表看懂
| 模型 | 參數量 | 能力 | HF 下載量 | 現況 |
|---|---|---|---|---|
| VibeVoice-ASR | 7B | 60 分鐘單次轉寫、講者分離、時間戳 | 715,743 | ✅ 可用（含 vLLM、微調、串流版） |
| VibeVoice-ASR-BitNet | 壓縮版 | CPU 推論（4.62 GB → 1.58 GB） | 94,192 | ✅ 可用（VibeASR.cpp） |
| VibeVoice-ASR-Streaming | 7B／1.5B | 邊講邊轉、熱詞、10 語言 | 4,973／1,796 | ✅ 可用（2026-09 釋出） |
| VibeVoice-Realtime-0.5B | 0.5B | 串流輸入 TTS、~200 ms 首音、約 10 分鐘 | 203,612 | ✅ 可用 |
| VibeVoice-TTS-1.5B | 1.5B | 90 分鐘、最多 4 位講者 | 210,346 | ⚠️ 程式碼已下架，只剩權重 |
（下載量與星數為 2026-11-07 查詢；repo ★56,629、forks 6,376、MIT、Python。）
時間線：這個專案最值得看的一段歷史
| 日期 | 事件 |
|---|---|
| 2025-08-25 | 開源 TTS-1.5B：90 分鐘長篇、最多 4 位講者，後來被 ICLR 2026 收為 Oral |
| 2025-09-05 | 微軟把 TTS 的程式碼從 repo 移除（原因見下） |
| 2025-12-03 | 開源 Realtime-0.5B：串流輸入、即時合成 |
| 2026-01-21 | 開源 ASR：60 分鐘單次、Who／When／What 結構化輸出、50+ 語言 |
| 2026-03 | ASR 進 Hugging Face Transformers、進 Azure AI Foundry Labs |
| 2026-07-23 | ASR-BitNet：純 CPU 也能跑（RTF < 1、3 執行緒以上） |
| 2026-09-03 | ASR-Streaming：邊收到音訊邊轉文字 |
官方對 2025-09-05 那次下架寫得很直接：
「After release, we discovered instances where the tool was used in ways inconsistent with the stated intent. Since responsible use of AI is one of Microsoft’s guiding principles, we have removed the VibeVoice-TTS code from this repository.」
這是「開源後被濫用、於是收回程式碼但留下權重」的少見案例。對讀者的實務意義：想跑 TTS，得自己想辦法把舊版權重接起來，官方不再提供推論程式碼與支援；要穩定的話，ASR 與 Realtime 才是現在該投入的方向。
技術核心：7.5 Hz 的語音 tokenizer
三條線共用同一套想法：
- 連續語音 tokenizer（acoustic＋semantic）只跑 7.5 Hz。一般語音 token 一秒幾十個，序列長到 LLM 吃不下；壓到 7.5 Hz 後，一小時音訊的序列長度才進得了 64K token 的上下文。
- next-token diffusion：用 LLM 理解文字上下文與對話流，再用 diffusion head 補上聲學細節。文字邏輯交給語言模型、音質交給擴散頭，這是它敢做「長篇」的原因。
- 底座是 Qwen2.5-1.5B——官方在風險段落自己承認，會繼承底座模型的偏差與錯誤。
三條線各自的真實規格
① ASR：把一小時錄音一次吞完
| 項目 | 規格 |
|---|---|
| 單次長度 | 60 分鐘（64K token 內） |
| 輸出 | 結構化：誰說（speaker）、何時（timestamp）、說什麼（content） |
| 熱詞 | 可自訂專有名詞、人名、技術詞 |
| 語言 | 官方稱 50+ 種 |
| 加速 | vLLM 推論、BitNet CPU 版（RTF < 1） |
| 微調 | 官方提供 finetuning 程式碼 |
官方公布的多語實測（MLC-Challenge，DER／cpWER／tcpWER／WER 皆為越低越好）：
| 語言 | DER | cpWER | tcpWER | WER |
|---|---|---|---|---|
| 英文 | 4.28 | 11.48 | 13.02 | 7.99 |
| 西班牙文 | 2.67 | 10.51 | 11.71 | 8.04 |
| 韓文 | 4.52 | 15.35 | 16.07 | 9.65 |
| 日文 | 0.82 | 15.33 | 15.41 | 14.69 |
| 法文 | 3.80 | 18.80 | 19.64 | 15.21 |
| 中文（AISHELL-4） | 6.77 | 24.99 | 25.35 | 21.40 |
這裡要照實說：中文 WER 21.40% 並不好看。英文 7.99% 才是它的甜蜜點，中文場景請先拿自己的音檔實測再決定，不要看「支援 50+ 語言」就上線。
② Realtime-0.5B：首音 200 毫秒
| 項目 | 規格 |
|---|---|
| 參數量 | 0.5B（部署友善） |
| 首音延遲 | 官方文件寫 ~200 ms；README 寫 ~300 ms，並註明實際播放可能因網路更久 |
| 輸入 | 串流文字（邊給邊念） |
| 長度 | 約 10 分鐘的穩定長篇 |
| 硬體 | 官方實測 NVIDIA T4、Mac M4 Pro 可達即時 |
零樣本 TTS 對照（LibriSpeech test-clean，WER 越低越好、SIM 越高越好）：
| 模型 | WER (%) | Speaker Similarity |
|---|---|---|
| VALL-E 2 | 2.40 | 0.643 |
| Voicebox | 1.90 | 0.662 |
| MELLE | 2.10 | 0.625 |
| VibeVoice-Realtime-0.5B | 2.00 | 0.695 |
0.5B 的模型在 SIM 上贏過三個更大的對手，這是它最有說服力的一張表。另外官方在 2025-12 加了實驗性音色：九種語言（德、法、義、日、韓、荷、波、葡、西）各一款，加上 11 種英文風格音色。
③ TTS-1.5B：規格漂亮，但不要當成可依賴的選項
90 分鐘單次生成、最多 4 位講者自然輪替、支援英文中文與跨語言、甚至能示範即興演唱——這些能力都在，權重也還在（21 萬次下載）。但推論程式碼已被移除，repo 裡沒有對應 demo，官方也不接受這條線的支援請求。
怎麼安裝（官方指令原文）
ASR（Docker + flash-attn）：
sudo docker run --privileged --net=host --ipc=host \
--ulimit memlock=-1:-1 --ulimit stack=-1:-1 --gpus all --rm -it \
nvcr.io/nvidia/pytorch:25.12-py3
git clone https://github.com/microsoft/VibeVoice.git
cd VibeVoice/
pip install -e .
# 若容器內沒有 flash attention：
# pip install flash-attn --no-build-isolation
Realtime（換成 streamingtts 依賴；容器 24.07／24.10／24.12 都驗證過）：
pip install -e .[streamingtts]
python demo/vibevoice_realtime_demo.py --model_path microsoft/VibeVoice-Realtime-0.5B
三個要注意的地方：
- 它不是
pip install vibevoice就能用的套件，是git clone+pip install -e，還要自己備 Docker CUDA 環境。 - flash-attn 常要手動編，官方直接連到 Dao-AILab 的安裝說明，沒有幫你處理。
- 要有 NVIDIA GPU。CPU 路線只有 ASR-BitNet 那條（走另一套 VibeASR.cpp），TTS 沒有等價方案。
限制與風險（官方自己列的）
| 項目 | 說明 |
|---|---|
| 繼承底座偏差 | 官方明寫會繼承 Qwen2.5-1.5B 的偏差、錯誤與遺漏 |
| Deepfake | 高品質合成語音可被用於冒充、詐騙、假訊息；官方要求標示 AI 生成 |
| 中文表現 | ASR 中文 WER 21.40%，明顯落後英文的 7.99% |
| TTS 支援斷點 | 程式碼下架後，社群得自己接舊權重，升級與相容性風險自負 |
| 長篇優先 | Realtime 官方自述「更專注長篇生成」，短句基準只是順帶及格 |
誰適合、誰先別碰
適合
- 要把會議、訪談、Podcast 一次轉成帶講者與時間戳逐字稿的人：60 分鐘單次、不用切片，這是它最強的場景
- 想做即時語音輸出（客服、有聲書邊生成邊播）的產品：0.5B 的延遲與音色相似度是實測可查的
- 需要在邊緣 CPU 上跑辨識的場景：ASR-BitNet 把 4.62 GB 壓到 1.58 GB
先別碰
- 想找「一句 pip 就能用的 TTS」：這不是那個東西，而且最有名的 TTS 程式碼已經沒了
- 主要語言是中文且要求高準確率：先自測，官方數字不站在這邊
- 沒有 GPU 又想合成語音：這條線目前沒有官方 CPU 解
站內延伸閱讀
- Xiaomi 小愛音箱接上 LLM：xiaogpt 實作 — 語音輸入端接自家模型的另一種做法
- MLX Audio：在 Apple Silicon 上跑語音模型 — 沒有 NVIDIA GPU 時的語音推論路線
- 本地 AI 推論 2026：從量化到部署的取捨 — 模型大小、量化與硬體的整體選擇
本文為獨立整理，不含聯盟連結、未受微軟或任何廠商贊助。規格與數字取自 repo 內的 README 與
docs/（2026-11-07 查證），下載量取自 Hugging Face 公開資料。本文未實際執行模型（本機無 NVIDIA GPU），所有效能數字皆為官方公布值，非本站實測。