NVIDIA a publié Switchyard, un proxy et une bibliothèque en Rust sous licence Apache-2.0 destiné au routage du trafic des grands modèles de langage. Selon la description de MarkTechPost, le projet convertit les requêtes dans un format neutre par rapport au fournisseur, les achemine via différents algorithmes et retraduit les réponses dans le format du client.
Parmi les modes de routage annoncés figurent la transmission directe, la sélection aléatoire, la classification par modèle de langage et le routage séquentiel par étapes. La description indique également que Claude Code et Codex CLI pourront fonctionner via Switchyard avec vLLM, NIM ou Ollama sans modification côté client.
Le projet en est au stade pre-alpha et, selon la description disponible, n'est pas destiné à un usage industriel. Cela limite la portée pratique de cette version à l'heure actuelle: il s'agit avant tout d'une architecture annoncée et de fonctionnalités d'un projet précoce, et non d'un service prêt à l'emploi confirmé.
commentaire éditorial
Pourquoi c’est important
La valeur probable du projet réside dans la simplification du changement de fournisseur et de la répartition des requêtes entre différents environnements d'exécution. Le prochain signal observable sera l'apparition du code source, de la documentation ou de tests de compatibilité indépendants. Une incertitude substantielle subsiste en raison du stade pre-alpha et de l'absence du texte complet de la source originale dans le paquet.