6 min read

Mistral が Voxtral TTS をオープン公開 — ElevenLabs を超え、半額・自己ホスト可能な音声生成モデル

mistralttsopen-sourceaudioai-tools

概要

2026年3月26日、Mistral AI が Voxtral TTS(モデル ID: mistralai/Voxtral-4B-TTS-2603)を発表・公開した。

4B パラメータのオープンウェイト TTS モデルで、ElevenLabs Flash v2.5 を品質で上回りつつ API 価格を約半額に設定。重みは Hugging Face に CC BY-NC 4.0 で公開されており、vLLM を使えばセルフホストも可能だ。

「私たちはオーディオが自然なインターフェースになる世界のために構築している。特に作業を委任できるエージェントのための」 — Pierre Stock, VP of Science Operations, Mistral AI


モデル仕様

アーキテクチャ

コンポーネントパラメータ数役割
Transformer decoder backbone3.4BMinistral ベースの言語モデル
Flow-matching acoustic transformer390M音響特徴の生成
Neural audio codec300M音声のエンコード/デコード
合計4B

出力は 24 kHz で WAV / PCM / FLAC / MP3 / AAC / Opus 形式に対応。セルフホスト時は ≥16 GB GPU が必要で、H200 上で動作確認済み。

主要スペック

項目
レイテンシ(標準)70 ms(10秒の参考音声 + 500文字)
Real-time factor0.103(単一リクエスト)
音声クローン最小長3秒
プリセット音声20種
最大生成長2分
対応言語9言語(英・仏・独・西・蘭・葡・伊・ヒンディー・アラビア語)

単一 GPU でのスループット特性は以下のとおり。

並列数レイテンシRTF文字/秒/GPU
170 ms0.103119
16331 ms0.237879
32552 ms0.3021,431

競合比較

ベンチマーク(SEED-TTS)

モデルWER(↓)話者類似度(↑)自然性 UTMOS-v2(↑)
Voxtral TTS1.23%0.6284.11
ElevenLabs v31.26%0.392
ElevenLabs Flash v2.54.09

人間評価では、ElevenLabs Flash v2.5 と同等の TTFA(音声開始までの時間)でありながら Voxtral TTS が約 63% の確率で選ばれた。声のカスタマイズ(声クローン)タスクでは 70% の優位を示した。

価格比較

サービス価格オープンウェイトセルフホスト
Voxtral TTS(API)$0.016 / 1K 文字✅ CC BY-NC 4.0✅ vLLM 対応
ElevenLabs Flash v2.5~$0.030 / 1K 文字
ElevenLabs v3~$0.050 / 1K 文字
OpenAI TTS$0.015 / 1K 文字

価格は OpenAI TTS と同水準だが、オープンウェイトでセルフホスト可能な点が本質的な差別化だ。


使い方

Mistral API 経由(クラウド)

import io, httpx, soundfile as sf

BASE_URL = "https://api.mistral.ai/v1"

payload = {
    "input": "Paris is a beautiful city!",
    "model": "mistralai/Voxtral-4B-TTS-2603",
    "response_format": "wav",
    "voice": "casual_male",
}

response = httpx.post(
    f"{BASE_URL}/audio/speech",
    json=payload,
    timeout=120.0,
    headers={"Authorization": f"Bearer {MISTRAL_API_KEY}"},
)
audio_array, sr = sf.read(io.BytesIO(response.content), dtype="float32")

vLLM によるセルフホスト

# vLLM >= 0.18.0 が必要
uv pip install -U vllm
uv pip install git+https://github.com/vllm-project/vllm-omni.git --upgrade

# モデルを起動
vllm serve mistralai/Voxtral-4B-TTS-2603 --omni

起動後は BASE_URL = "http://localhost:8000/v1" に変更するだけで、上記のコードがそのまま動作する。OpenAI 互換エンドポイントを使うため、既存の音声パイプラインへの組み込みが容易だ。


特徴的な機能

Voxtral TTS にはいくつかの技術的なユニークポイントがある。

ゼロショット声クローン(クロスリンガル対応): 3秒の参考音声から音声クローンが可能で、フランス語の声でそのまま英語を生成するクロスリンガル合成もネイティブに対応する。リアルタイム翻訳パイプラインの音声出力段に直接組み込める。

感情表現の推論: プロンプトのコンテキストから自然・喜び・皮肉などのトーンを自動で推定し、音声に反映する。特別なプロンプトエンジニアリング不要。

エッジ対応サイズ: Mistral は「スマートウォッチ・スマートフォン・ラップトップで動作する」と主張する。量子化により PC 上での推論が視野に入る。


日本への示唆

制限: 日本語は非対応

現時点の対応 9 言語に日本語は含まれていない。エンタープライズの音声アシスタントや顧客対応 AI への直接導入は不可だ。

日本語対応の TTS としては現状、VOICEVOX(OSS)・Style-Bert-VITS2(OSS)・OpenAI TTS(未対応)・ElevenLabs(限定対応)などが選択肢になる。Mistral が日本語を追加する予定は未発表。

オープンウェイトがもたらす構造変化

観点クローズド TTS(ElevenLabs 等)Voxtral TTS
データのオンプレ処理不可✅ セルフホスト可
個人情報・音声データ外部送信が必要社内完結
カスタムファインチューニングベンダー依存独自学習が可能
コスト上限API 従量課金GPU コストのみ

日本の金融・医療・製造業など、音声データをクラウドに送れないユースケースで Voxtral のオープンウェイトは重要な選択肢になる。英語が主言語のプロダクト(グローバル向けサービス、社内英語音声)でなら今すぐ実運用に使える。

エージェント音声インターフェースの加速

Mistral の Pierre Stock が語るように「エージェントへの音声デリゲーション」が Voxtral の設計思想だ。音声→テキスト(Whisper 等)→ LLM 推論→テキスト→音声(Voxtral)というパイプラインのコストが $0.016/1K 文字で調達できるようになった。

音声入出力を持つ AI エージェントの開発コストが一段階下がる。日本語対応が来れば即座に日本の現場へも影響が及ぶ。


まとめ

  • 2026年3月26日、Mistral AI が 4B パラメータの TTS モデル Voxtral TTS をオープンウェイトで公開
  • ElevenLabs Flash v2.5 を品質・価格の両面で上回り、セルフホスト対応
  • API 価格 $0.016/1K 文字、CC BY-NC 4.0 ライセンスで重みを無償公開
  • 現時点で日本語は非対応(英・仏・独・西・蘭・葡・伊・ヒンディー・アラビア語のみ)
  • オンプレ要件のある日本企業向けには、英語 TTS ユースケースで即座に実用価値がある

参考リンク