はじめに
こんにちは、AIチームの大竹です。
近年、音声対話アプリケーションの進化が目覚ましく、顧客対応の自動化や業務効率化への期待が高まっています。弊社のAI Messenger Voicebotも例外ではなく、最先端の生成AI技術を活用した自然な対話基盤を構築し、お客様の電話応対業務のDXを推進すべく日々進化を続けています。
しかし、依然としてシナリオ（ワークフロー）型の構成になっており、「エッジケースに対応しきれず離脱率が高い」、「対象とするタスクのスコープが狭くタスク完了率が低いとが低い」といった課題があります。また、複雑なシナリオ設計は人手では限界があり、より柔軟で自律的な対話システムが求められていると考えています。
本記事では、このような課題を解決しうる「自律型対話システム」の実現可能性を探るため、最新のE2E（End-to-End）音声対話APIと音声対話システム構築プラットフォームに関する調査・検証結果をまとめてご紹介します。
E2E音声対話API
1. OpenAI Realtime Agents
OpenAIが提供するRealtime APIを基盤とし、さらに高度なエージェント連携パターンを示す公式デモを動かしてみました。
特徴
- あらかじめ定義されたエージェントグラフに基づき、会話の文脈に応じて各エージェントが順番に処理を引き継ぎます 。
- 重要な判断が必要な場面では、GPT-4.1のようなRealtime API内で動作しているGPT-4oシリーズのモデルと比較して高性能なモデルが判断を支援する仕組みが取り入れられています 。
- 会話のフローはプロンプトによって細かく制御でき、例えばユーザーの名前や電話番号といった重要なヒアリング項目を文字単位で確認するなど、正確な項目のヒアリングと認証を目的とした設計が可能です 。
デモ：エージェント連携
以下のデモでは飲食予約対話を題材にして、エージェント連携を試しています。予約エージェントとFAQ回答エージェントを定義し、お互いのエージェントが連携して予約対話を進めていきます。予約中に店舗への質問を検知したら、FAQ専門のエージェントが出てきて回答するという挙動になっています。
検証からの所感
- 自然言語による大まかな対話設計と、Function Callingによる外部システム連携や厳密な制御を組み合わせるアプローチは、開発のしやすさと柔軟性のバランスが良いと感じました。
- 一方で、音声合成の品質や、エージェントの自律性が高すぎることによる意図しない応答、バージイン（ユーザー発話への割り込み）処理の安定性など、実用化に向けた課題も散見されました。
- また、エージェント連携機能がリアルタイムの音声対話において有用かどうかは疑問でした。明確に役割を分けた方が回答の精度は高くなるだろうと思う一方で、対話のインタラクションの面でエージェントがその都度切り変わるというのはUXを下げてしまうのではないかとも感じました。例えばデモではエージェントが切り替わる際にそれぞれのエージェントが挨拶をしていて不自然と感じられます。LLMに渡すコンテキストをうまく設定すれば解決できるのかもしれませんが、挙動を制御するための設定が煩雑になり大変そうです。
2. Gemini Live API
Gemini Live APIはGoogleのGeminiモデルを活用した、双方向かつリアルタイムな通信が可能なマルチモーダル対話ができるAPIです 。
特徴
- Function Callingを活用し、外部API連携をシームレスに実行するリアルタイム音声対話システムを構築できます 。
- 画面共有をしながらGeminiと対話するといった、よりリッチなインタラクションも可能です 。
- 特筆すべきは「Grounding with Google Search」機能で、APIがGoogle検索と連携し、外部情報を参照しながら回答を生成します 。
デモ：Grounding with Google Search機能
Google AI Studioの画面でGrounding with Google SearchをオンにしてGemini Live APIを起動することで簡単に試すことができます。以下のデモでは、LLMが学習していないはずの新しいAI Shiftのミッションとビジョンを質問していますが、正確かつ高速に答えられています。
検証からの所感
- 音声合成の品質は比較的高く、自然な印象でした。
- しかし、人名などの固有名詞の認識誤りや、その誤りを訂正する仕組みの作り込みは、システムプロンプトやFunction Callingの設計で工夫が必要です。このような制御性に関する問題はRealtime APIと同様に実用化する上でボトルネックだと感じました。
- Google Searchとの連携機能は非常に強力で、事前の知識登録なしにドメイン固有の質問にも答えられるのでとても便利そうです。
これらのE2E音声対話APIは、「スムーズな対話」の実現に向けて大きく前進していますが、現状では「対話の質や精度」との間にトレードオフが存在します。特に複雑な業務や高い正確性が求められる窓口応対業務などの場面が求められる場面では、まだ改善の余地があると感じます。
音声対話システム構築プラットフォーム
より高度でカスタマイズされた音声AIエージェントを構築するためのプラットフォームも進化しています。
1. ElevenLabs Conversational AI
リアルな音声合成技術で知られるElevenLabsが提供する、人間と自然な対話が可能な音声AIエージェントを迅速かつ容易に構築するためのプラットフォームです 。
アーキテクチャ
ユーザーの音声入力を音声認識でテキスト化し、LLMが応答を生成、それを音声合成で再び音声として出力するという、パイプライン型の構成を採用しています 。
構築要素
- 使用するLLMの選択
- エージェントの性格や会話の文脈を定義するシステムプロンプト
- ドメイン固有情報を提供するナレッジベース
- 外部機能と連携するツール
など、多岐にわたる設定項目を通じてエージェントをカスタマイズできます 。なお、声の選択、話し方（安定性、スピード、類似性など）も細かく調整可能です 。
所感
- 多機能である反面、設定項目が多く、構築難易度が高いと感じました。
- 日本語の音声認識・合成の精度については、まだ向上の余地があると感じられました。
2. Twilio AI Assistants (α版)
顧客とのコミュニケーションを自動化し、パーソナライズされた体験を提供することを目指す、Twilioの強力なプラットフォームです 。現在はまだα版で、開発者向けに実験的なプロジェクトとして提供されており、「次世代の顧客インタラクションの定義」を目標に掲げています 。
構成要素
- 顧客メモリ & Segment連携: 顧客理解を深め、対話履歴を活かして個別対応を実現
- Tools: 外部システムと連携し、特定タスクを自動実行
- Knowledge Sources : 外部情報を参照し、幅広い質問への対応力を強化
- Channels: 多様な経路（電話、API等）でアシスタントと接続
所感
- 非常に多機能で、顧客理解に基づいた高度なパーソナライゼーション機能といったvoicebotの展望を考える上で非常に参考になる機能が多かったです。
- 一方でこれらの機能を実現するには、各コンポーネントの深い理解と緻密な設定が求められ、構築難易度と運用の難易度は高そうだと感じました。
自律型音声対話システム実現への考察
これまでの検証を踏まえ、自律型音声対話システムに求められる要素と、その実現に向けた課題を改めて整理します。
自律型音声対話システムに求められる要素
スムーズな対話
- 自然なタイミングでの話者交替と応答
- 発話の割り込みがあった際に内容に応じて話者交替を行うべきかどうかを判断する
- 適切なタイミングで相槌を打ち、話を聞いていることを示してユーザを安心させ話の続きを促す
上記の要素に関して、Realtime APIやGemini Live APIに部分的に搭載はされてきてはいるものの機械学習の技術的にまだ実現できていないものです。実用を考えると、システムが動き続けている間、常時ストリーミングで動作しなければいけないため、低コストかつ高スケーラビリティを維持しながら実現することはさらに困難です。
自律的な行動
- 文脈に応じた柔軟な意図・スロットの訂正
- 外部API連携
- 外部ナレッジを考慮した応答
- 人間のオペレーターへの適切なタイミングでのエスカレーション
- 曖昧な発話への明確化質問
- 電話音声対話での適切な情報の粒度を考えた応答生成
こちらはLLMを用いることで解決する見込みがあり、対話品質を高める上で非常に効果的だと考えています。
実現に向けた課題
「スムーズさ」と「対話品質」のジレンマ
リアルタイム性を追求する現在のE2E APIでは、対話のスムーズさは向上しつつありますが、その反面、応答の質や精度が犠牲になるケースも見られます。スムーズさを向上させ、音声対話のインタラクション性を高めるがゆえに、対話の質が下がって結果的にUXを下げてしまうことになると元も子もなくなってしまいます。実用レベルの対話品質を考慮すると対話の全てをE2E APIないし一つのLLMモデルに任せるといったことは、まだまだだいぶ先の話になりそうです。
対話設計の複雑性
Agent型のシステムは、ツールやガードレール、ナレッジやメモリなど多くの要素を管理する必要があり、設計が複雑になりがちです。「自律性を高めれば設計の複雑さが低減する」という単純な仮説は、現状では成り立ちにくいと言えます。とはいえ、自律性を高めていこうとすると、自ずとAgent型のシステム構成になってくるので、これらの設定項目の自動生成など、対話設計のサポート機能などは必要なのかなと思います。
まとめ
リアルタイム音声対話APIや高度な構築プラットフォームの登場により、音声対話システムはより自然で、より賢く進化しつつあります。しかし、まだまだ実用に耐えうる精度ではないと感じました。真に「自律型」と呼べる音声対話システムを実現するには、音声対話特有のインタラクションに関する技術的な課題の克服と、ドメイン固有の課題を踏まえた設計や運用をいかに音声対話に反映できるかが重要になるのではと考えています。
今後もこれらの技術動向を注視し、人とAIがより効果的に協働できる未来を目指して、技術調査および検証・開発を進めてまいります。
長文お読みいただきありがとうございました！
