Een model dat vandaag goed werkt, werkt niet vanzelf morgen nog goed. De wereld verandert, en daarmee verandert de data die het model binnenkrijgt. Langzaam gaat het model dan slechter presteren, zonder dat er een foutmelding verschijnt. Het blijft gewoon voorspellingen geven, alleen worden ze stiekem minder goed. Model monitoring vangt dit op.
Het verraderlijke is dat verslechtering sluipt. Een model crasht niet, het wordt gewoon geleidelijk minder accuraat. Zonder monitoring merk je het pas als gebruikers klagen of als een verkeerde voorspelling schade veroorzaakt. Monitoring maakt deze stille verslechtering zichtbaar voordat ze pijn doet.
Vertex AI heet nu Agent Platform
Sinds 2026 schuift Google de Vertex AI-onderdelen onder de noemer Gemini Enterprise Agent Platform. De functies blijven bestaan, maar de menupaden in de console en de naamgeving veranderen. De begrippen in dit artikel (skew, drift, hertrainen) blijven hetzelfde, alleen de exacte knoppen kunnen onder een andere naam staan. Controleer de actuele Google Cloud-documentatie voor de precieze stappen in jouw omgeving.
Wat er mis kan gaan
De belangrijkste sluipmoordenaar heet drift. Dat betekent dat de data die het model nu binnenkrijgt, langzaam afwijkt van de data waarop het is getraind. Een model dat klantgedrag van vorig jaar leerde, herkent het gedrag van dit jaar misschien minder goed. De wereld is veranderd, het model niet.
Vertex AI maakt onderscheid tussen twee verschijnselen:
- Skew is het verschil tussen je trainingsdata en de live invoer. Het model krijgt in productie systematisch andere data dan waarop het leerde. Skew detecteren vereist dat je je trainingsdata als referentie aanlevert.
- Drift is een verschuiving in de inkomende data of de voorspellingen over de tijd. Hiervoor heb je geen trainingsdata als baseline nodig, omdat het de huidige stroom met zichzelf in de tijd vergelijkt.
Beide zorgen ervoor dat een model dat ooit klopte, nu de plank misslaat. Monitoring helpt je ze allebei te signaleren.
Drift in een notendop
Drift betekent dat de werkelijkheid is veranderd sinds je model is getraind. Het model is niet kapot, het is verouderd. De oplossing is meestal hertrainen op verse data die de huidige werkelijkheid weerspiegelt.
Wat monitoring meet
Monitoring vergelijkt de data en voorspellingen in productie met wat je verwacht. Bij skew is dat je trainingsdata als referentie, bij drift is dat de eerdere productiestroom. Wijkt de inkomende data sterk af, dan is dat een signaal. Verschuiven de voorspellingen van het model opvallend, dan is dat eveneens een waarschuwing.
Vertex AI kan naast de ruwe feature-distributies ook de feature-attributies bewaken: hoeveel elke feature bijdraagt aan een voorspelling. Verandert die bijdrage sterk, dan is dat vaak een vroeger signaal dan de distributie alleen. Onder de motorkap logt Vertex AI een steekproef van de voorspellingsverzoeken naar een BigQuery-tabel, en daarop draait het de vergelijkingen.
Je stelt drempels in voor wat normaal is. Blijft alles binnen die grenzen, dan is er niets aan de hand. Gaat iets eroverheen, dan krijg je een melding. Zo hoef je niet handmatig elke dag te controleren, maar word je vanzelf gewaarschuwd als er iets opvalt.
Zo zet je monitoring op
- Bepaal welke modellen kritisch genoeg zijn om te monitoren.
- Lever je trainingsdata of een baseline aan als je skew wilt detecteren; voor pure drift is dat niet nodig.
- Schakel monitoring in op je endpoint of model en stel de sampling-rate en frequentie in.
- Stel per feature een drempel in voor toegestane afwijkingen.
- Koppel meldingen aan een kanaal dat je echt in de gaten houdt, bijvoorbeeld e-mail of een alertingkanaal.
- Onderzoek elke melding en hertrain als skew of drift de oorzaak is.
Reageren op signalen
Een melding is geen ramp maar een uitnodiging om te kijken. Niet elke afwijking betekent dat je model stuk is. Soms is er een tijdelijke oorzaak, zoals een feestdag of een eenmalige gebeurtenis. Onderzoek dus eerst de oorzaak voordat je in actie schiet.
Blijkt het echte drift, dan is de meest gebruikelijke oplossing hertrainen op verse data. Het model leert dan de huidige werkelijkheid. Heb je een pipeline ingericht, dan kun je dat hertrainen grotendeels automatiseren, zodat je model zichzelf actueel houdt.
De gebruikelijke route na een melding ziet er zo uit:
- Monitoring signaleert een afwijking en stuurt een melding.
- Je onderzoekt de oorzaak: is het tijdelijk of echte drift?
- Bij een tijdelijke oorzaak laat je het model staan en houd je het in de gaten.
- Bij echte drift hertrain je op verse data.
- Je evalueert het nieuwe model en rolt het gecontroleerd uit.
Wat je moet bewaken
Niet elk model verdient even strenge bewaking. Een model dat belangrijke beslissingen voedt, monitor je nauwlettend. Een experimenteel model dat niemand kwaad doet, mag losser. Stem de intensiteit van je monitoring af op de impact van het model.
Let naast skew en drift ook op de gewone gezondheid van je endpoint: hoe snel het reageert, hoeveel fouten er optreden en hoe zwaar het belast wordt. Een model dat traag wordt of vaak faalt, is net zo goed een probleem als een model dat onnauwkeurig wordt.
De volgende tabel helpt je de intensiteit te kiezen:
| Monitoringniveau | Wanneer | Voorbeeld |
|---|---|---|
| Intensief | Modellen die belangrijke of onomkeerbare beslissingen beinvloeden | Financiele of medische toepassingen |
| Gematigd | Modellen met merkbare maar herstelbare impact op de gebruikerservaring | Aanbevelingen, ranking |
| Licht | Experimentele of laag-risico modellen waar verslechtering weinig kwaad kan | Interne proef, A/B-experiment |
Niet vergeten na de lancering
De grootste fout is denken dat het werk klaar is zodra een model live staat. In werkelijkheid begint dan een nieuwe fase: die van bewaken en onderhouden. Een model zonder monitoring is een tikkende klok die op een dag stil verkeerde antwoorden geeft.
Maak monitoring daarom een vast onderdeel van elke modellancering. Net zoals je een model traint en deployt, richt je ook de bewaking in. Een model is pas echt af als je weet dat je het in de gaten houdt en op tijd ingrijpt.
Geen lancering zonder bewaking
Een model in productie zonder monitoring verslechtert vroeg of laat ongemerkt. Het blijft antwoorden geven, alleen worden die stiller fout. Richt monitoring in bij elke lancering, niet pas nadat een fout schade heeft aangericht.
Tot slot
Monitoring sluit de cirkel van een ML-systeem. Je traint, je deployt en je bewaakt, en op basis van wat je bewaakt train je opnieuw. Zo blijft je model meebewegen met de werkelijkheid in plaats van langzaam achterop te raken. Het is de stille bewaker die voorkomt dat goede modellen onopgemerkt slecht worden.
Wat is drift?
Drift betekent dat de data in productie over de tijd afwijkt van eerder, waardoor het model geleidelijk minder goed presteert. De wereld is veranderd, het model niet.
Wat is het verschil tussen skew en drift?
Skew is het verschil tussen je trainingsdata en de live invoer en vereist dat je je trainingsdata als referentie aanlevert. Drift is een verschuiving over de tijd in de productiestroom zelf, waarvoor je geen trainingsdata als baseline nodig hebt.
Waarom merk ik verslechtering niet vanzelf?
Omdat een verslechterend model niet crasht maar gewoon doorgaat met geleidelijk minder goede voorspellingen. Zonder monitoring zie je het pas als er al schade is.
Wat doe ik bij een driftmelding?
Onderzoek eerst de oorzaak. Bij een tijdelijke gebeurtenis laat je het model staan. Bij echte drift hertrain je het model op verse data, eventueel automatisch via een pipeline.
Moet ik elk model even streng monitoren?
Nee, stem de intensiteit af op de impact. Modellen die belangrijke beslissingen voeden bewaak je nauwlettender dan experimentele modellen.
Verandert er iets nu Vertex AI onder Agent Platform valt?
De onderliggende techniek voor monitoring, skew en drift blijft hetzelfde. Wel kunnen menupaden en namen in de Google Cloud-console verschuiven, dus controleer de actuele documentatie voor de exacte stappen.
Model monitoring is de verzekering tegen stille verslechtering. Richt het in bij elke lancering, stel zinnige drempels in en hertrain op tijd, zodat je modellen scherp blijven terwijl de wereld om hen heen verandert.