Utilisez vos modèles entraînés

Envoyez des requêtes d’inférence aux modèles que vous avez entraînés

Après avoir entraîné un modèle avec Serverless RL, il est automatiquement disponible pour l’inférence.

Pour envoyer des requêtes à votre modèle entraîné, vous avez besoin de :

• Votre clé API W&B
• L’URL de base de l’API Serverless RL, https://api.training.wandb.ai/v1/
• Le point de terminaison de votre modèle

Le point de terminaison du modèle utilise le schéma suivant :

wandb-artifact:///<entity>/<project>/<model-name>:<step>

Le schéma se compose de :

• du nom de votre entité W&B (équipe)
• du nom du projet associé à votre modèle
• du nom du modèle entraîné
• de l’étape d’entraînement du modèle que vous souhaitez déployer (il s’agit généralement de l’étape où le modèle a obtenu les meilleurs résultats lors de vos évaluations)

Par exemple, si votre équipe W&B s’appelle email-specialists, que votre projet s’appelle mail-search, que votre modèle entraîné s’appelle agent-001 et que vous souhaitez le déployer à l’étape 25, le point de terminaison ressemble à ceci :

wandb-artifact:///email-specialists/mail-search/agent-001:step25

Une fois que vous disposez de votre point de terminaison, vous pouvez l’intégrer à vos flux de travail d’inférence habituels. Les exemples suivants montrent comment envoyer des requêtes d’inférence à votre modèle entraîné à l’aide d’une requête cURL ou du SDK d’OpenAI pour Python.

​

cURL

curl https://api.training.wandb.ai/v1/chat/completions \
    -H "Authorization: Bearer $WANDB_API_KEY" \
    -H "Content-Type: application/json" \
    -d '{
            "model": "wandb-artifact://<entity>/<project>/<model-name>:<step>",
            "messages": [
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Summarize our training run."}
            ],
            "temperature": 0.7,
            "top_p": 0.95
        }'

​

SDK d’OpenAI

from openai import OpenAI

WANDB_API_KEY = "your-wandb-api-key"
ENTITY = "my-entity"
PROJECT = "my-project"

client = OpenAI(
    base_url="https://api.training.wandb.ai/v1",
    api_key=WANDB_API_KEY
)

response = client.chat.completions.create(
    model=f"wandb-artifact:///{ENTITY}/{PROJECT}/my-model:step100",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Summarize our training run."},
    ],
    temperature=0.7,
    top_p=0.95,
)

print(response.choices[0].message.content)