Hébergement IA souverain : modèles open-weight en France

Des modèles open-weight (familles Llama, Mistral et équivalents) sont servis sur une infrastructure GPU dans un datacenter en France, derrière une API privée compatible avec les usages courants (complétion, chat, embeddings). Chaque client est isolé ; les données d'inférence ne sont ni partagées ni réutilisées pour de l'entraînement.

L'accès est authentifié et journalisé, avec un suivi de la consommation par application. Le modèle, sa taille et le dimensionnement GPU sont choisis selon le cas d'usage (temps réel, traitement par lots, RAG). L'ensemble reste en Union européenne et hors de portée du Cloud Act. Pour un projet complet (agent, RAG, intégration métier), cet hébergement se combine avec le développement d'agent IA.

Dimensionnement : charger les poids d'un modèle de X milliards de paramètres demande environ 2 × X Go de mémoire GPU en précision bfloat16, soit environ 140 Go pour un modèle de 70 milliards de paramètres. Une quantification en 8 ou 4 bits réduit fortement ce besoin, au prix d'un écart de qualité à vérifier sur vos cas d'usage (Hugging Face). La licence compte aussi : « open-weight » ne veut pas dire sans condition, chaque famille de modèles a sa propre licence, à vérifier avant un usage commercial. Pour un assistant documentaire, voir comment construire un RAG qui cite ses sources.