Overview

KServe fournit une définition de ressource personnalisée Kubernetes pour la mise en œuvre de modèles de machine learning (ML) prédictifs et génératifs. Elle vise à résoudre les cas d'utilisation de mise en œuvre de modèles de production en fournissant des interfaces hautement abstraites pour les modèles Tensorflow, XGBoost, ScikitLearn, PyTorch et Huggingface Transformer/LLM, utilisant des protocoles de plan de données standardisés.

Elle intègre la complexité de la mise à l'échelle automatique, de la mise en réseau, des vérifications d'intégrité et de la configuration serveur pour intégrer des fonctionnalités de mise en œuvre de pointe telles que la mise à l'échelle automatique GPU, la mise à l'échelle à zéro et les déploiements Canary à vos déploiements de ML. Elle offre une solution simple, évolutive et complète pour la mise en œuvre de ML en production, incluant la prédiction, le prétraitement, le post-traitement et l'explicabilité. KServe est utilisé par diverses organisations.