NVIDIA は、大規模言語モデルのトラフィックをルーティングするための Apache-2.0 ライセンスの Rust 製プロキシおよびライブラリ「Switchyard」を発表した。MarkTechPost の記述によると、このプロジェクトはリクエストをプロバイダーに依存しない形式に変換し、さまざまなアルゴリズムでルーティングした後、レスポンスをクライアント形式に戻して変換する。
発表されたルーティングモードには、スルーパス、ランダム選択、言語モデルによる分類、段階的なシーケンシャルルーティングが含まれる。また、記述では、Claude Code や Codex CLI が、クライアント側の変更なしに Switchyard を介して vLLM、NIM、または Ollama と連携できると言及されている。
本プロジェクトは pre-alpha 段階にあり、利用可能な記述によれば本番環境での使用を意図していない。これは現時点でのリリースの実用的な意義を制限しており、確認された完成済みサービスというよりは、主に宣言されたアーキテクチャと初期プロジェクトの可能性に関するものである。
編集部コメント
なぜ重要か
本プロジェクトのおそらく重要な価値は、プロバイダーの変更や異なる実行環境間でのリクエスト分散を簡素化する点にある。次の観測可能なシグナルは、ソースコード、ドキュメント、または互換性の独立したテストの出現となるだろう。pre-alpha 段階であり、パッケージに情報源の全文が含まれていないため、実質的な不確実性が残っている。