Gemini-modellen fine-tunen (supervised fine-tuning op Vertex AI)

Wanneer fine-tunen

Fine-tuning is zinvol als je wilt dat het model:

• Consistent een specifieke toon of schrijfstijl aanhoudt.
• Domeinspecifieke antwoorden geeft in een vast patroon.
• Een specifiek outputformaat altijd correct toepast.
• Bedrijfsjargon of productnamen correct gebruikt.

Fine-tuning is NIET de juiste oplossing voor:

• Het model leren over recente gebeurtenissen (gebruik grounding of zoek-tools).
• Grote kennisbanken doorzoeken (gebruik RAG, retrieval augmented generation).
• Complexe redenering verbeteren (gebruik een groter of sterker redenerend model, of prompt-technieken).

Op Vertex AI ondersteunen op dit moment de Gemini 2.5-modellen supervised fine-tuning: gemini-2.5-flash, gemini-2.5-flash-lite en gemini-2.5-pro. Begin bij voorkeur met gemini-2.5-flash: snel, goedkoop en in de meeste gevallen ruim voldoende.

Wat je vooraf nodig hebt

• Een Google Cloud-project met Vertex AI ingeschakeld en een actief factureringsaccount (Vertex AI tuning is, anders dan de oude gratis Developer-tuning, niet gratis).
• Een Cloud Storage-bucket in dezelfde regio waarin je je trainingsdata plaatst.
• De Python-SDK google-genai (de opvolger van het uitgefaseerde google-generativeai).
• Voldoende rechten (roles/aiplatform.user) op het project.

Trainingsdata voorbereiden

Vertex AI verwacht trainingsdata in JSONL-formaat, waarbij elke regel een gesprek is met een contents-array van beurten (role is user of model). Een vaste systeeminstructie geef je optioneel mee via systemInstruction.

import json

trainingsdata = [
    {
        "systemInstruction": {
            "role": "system",
            "parts": [{"text": "Je bent de klantenservice-assistent van GadgetNL. Antwoord vriendelijk, kort en concreet."}],
        },
        "contents": [
            {"role": "user", "parts": [{"text": "Schrijf een begroeting voor onze webshop."}]},
            {"role": "model", "parts": [{"text": "Welkom bij GadgetNL! Ontdek meer dan 10.000 elektronica-producten met gratis verzending vanaf 25 euro."}]},
        ],
    },
    {
        "systemInstruction": {
            "role": "system",
            "parts": [{"text": "Je bent de klantenservice-assistent van GadgetNL. Antwoord vriendelijk, kort en concreet."}],
        },
        "contents": [
            {"role": "user", "parts": [{"text": "Hoe reageer ik op een klacht over een beschadigd pakket?"}]},
            {"role": "model", "parts": [{"text": "Excuses voor het ongemak. Stuur een foto van het beschadigde pakket naar service@gadgetnl.nl, dan sturen we binnen 24 uur een vervangend product of een volledige terugbetaling."}]},
        ],
    },
]

with open("trainingsdata.jsonl", "w", encoding="utf-8") as f:
    for item in trainingsdata:
        f.write(json.dumps(item, ensure_ascii=False) + "
")

Upload het bestand daarna naar je bucket, bijvoorbeeld met de gcloud-CLI:

gcloud storage cp trainingsdata.jsonl gs://jouw-bucket/tuning/trainingsdata.jsonl

Fine-tune job starten via Python

De unified SDK gebruikt een Client. Door vertexai=True met een project en regio mee te geven, richt je je op Vertex AI in plaats van de Developer API.

from google import genai
from google.genai import types

client = genai.Client(
    vertexai=True,
    project="jouw-project-id",
    location="europe-west4",
)

training_dataset = types.TuningDataset(
    gcs_uri="gs://jouw-bucket/tuning/trainingsdata.jsonl",
)

tuning_job = client.tunings.tune(
    base_model="gemini-2.5-flash",
    training_dataset=training_dataset,
    config=types.CreateTuningJobConfig(
        epoch_count=5,
        learning_rate_multiplier=1.0,
        tuned_model_display_name="GadgetNL Klantenservice v1",
    ),
)

print(f"Job gestart: {tuning_job.name}")

Fine-tune voortgang monitoren

Een tune-job draait asynchroon. Poll de status tot de job in een eindtoestand zit.

import time

completed_states = {
    "JOB_STATE_SUCCEEDED",
    "JOB_STATE_FAILED",
    "JOB_STATE_CANCELLED",
}

while tuning_job.state not in completed_states:
    print(f"Status: {tuning_job.state}")
    time.sleep(60)
    tuning_job = client.tunings.get(name=tuning_job.name)

print(f"Eindstatus: {tuning_job.state}")

Getuned model gebruiken

Na een geslaagde job vind je het endpoint van het getuned model op het job-object. Dat endpoint geef je als model mee aan een gewone generatie-aanroep.

response = client.models.generate_content(
    model=tuning_job.tuned_model.endpoint,
    contents="Schrijf een antwoord op een vraag over bezorgtijd.",
)

print(response.text)

Tuned modellen beheren

Lopende en afgeronde tune-jobs vraag je op met client.tunings.list(). Het beheer van getunede modellen (bekijken, hernoemen, verwijderen) verloopt verder via de Vertex AI Model Registry, in de Cloud Console of via de Vertex AI-beheer-API. Je rekent inferentie op een getuned model af volgens de Vertex AI-tarieven van het basismodel.

for job in client.tunings.list():
    print(f"Naam: {job.name}, status: {job.state}")

Trainingsdata-kwaliteit checklist

Goede trainingsvoorbeelden voldoen aan:

• Diversiteit: dek alle varianten van de taak af.
• Consistentie: dezelfde soort vraag geeft altijd hetzelfde type antwoord.
• Kwaliteit: outputs zijn werkelijk de gewenste uitkomst, zonder fouten.
• Evenwicht: geen grote ongelijkheid tussen soorten voorbeelden.
• Representativiteit: ze weerspiegelen de echte verdeling van invoer in productie.

Slechte trainingsdata levert een slechter model op dan helemaal niet fine-tunen. Controleer bij kleine datasets elke output handmatig.

Kosten en aandachtspunten

Controleer de actuele prijzen, regio-beschikbaarheid en modelondersteuning altijd in de Vertex AI-documentatie, want Google werkt het modelaanbod regelmatig bij.