Multimodale invoer met de Gemini API

Wat is multimodale AI

Multimodale AI verwerkt meerdere soorten invoer tegelijk: tekst, afbeeldingen, audio, video en documenten. Gemini is van de grond af aan ontworpen als multimodaal model, wat betekent dat het verbanden kan leggen tussen visuele, auditieve en tekstuele informatie binnen dezelfde redenering.

Typische toepassingen zijn: afbeeldingen beschrijven, grafieken analyseren, audio transcriberen, video samenvatten, PDF-documenten doorzoeken en vragen beantwoorden die meerdere media combineren.

De client opzetten

Bij de nieuwe SDK maak je eerst een client-object aan. Dat leest standaard de omgevingsvariabele GEMINI_API_KEY.

from google import genai
from google.genai import types

client = genai.Client()

Als modelnaam gebruik je in dit artikel gemini-2.5-flash (snel en goedkoop, stabiel). Voor zwaardere multimodale redenering kun je een Pro- of Gemini 3-model kiezen, bijvoorbeeld gemini-2.5-pro of gemini-3.5-flash. Controleer de actuele lijst in de officiele modeldocumentatie, want modelnamen wijzigen regelmatig.

Afbeeldingen meesturen als inline data

Voor kleine bestanden stuur je de bytes rechtstreeks mee met types.Part.from_bytes. Gebruik dit zolang je totale request onder ongeveer 20 MB blijft.

from google import genai
from google.genai import types

client = genai.Client()

with open("diagram.png", "rb") as f:
    image_bytes = f.read()

response = client.models.generate_content(
    model="gemini-2.5-flash",
    contents=[
        types.Part.from_bytes(data=image_bytes, mime_type="image/png"),
        "Beschrijf wat er op dit diagram staat en leg de relaties uit.",
    ],
)

print(response.text)

Je hoeft de bytes niet zelf naar base64 om te zetten: from_bytes doet de codering intern. Je kunt ook een PIL-Image-object direct in de contents-lijst zetten, dat zet de SDK automatisch om.

import PIL.Image

image = PIL.Image.open("diagram.png")
response = client.models.generate_content(
    model="gemini-2.5-flash",
    contents=["Beschrijf dit diagram:", image],
)
print(response.text)

Bestanden uploaden via de Files API

Voor grote bestanden of hergebruik upload je eerst via de Files API. Dat scheelt bandbreedte en kosten als je hetzelfde bestand in meerdere requests gebruikt.

from google import genai

client = genai.Client()

uploaded_file = client.files.upload(file="presentatie.pdf")

print(f"Bestand URI: {uploaded_file.uri}")
print(f"Status: {uploaded_file.state}")

response = client.models.generate_content(
    model="gemini-2.5-flash",
    contents=[
        uploaded_file,
        "Geef een samenvatting van de belangrijkste punten uit dit rapport.",
    ],
)
print(response.text)

Limieten van de Files API

Houd rekening met deze grenzen wanneer je veel of grote bestanden uploadt:

• Geüploade bestanden blijven 48 uur beschikbaar en worden daarna automatisch verwijderd. Voor langer gebruik upload je opnieuw.
• Maximale bestandsgrootte is 2 GB per bestand.
• Per project mag je in totaal 20 GB opgeslagen hebben.
• Opslag via de Files API is gratis in alle regio's waar de Gemini API beschikbaar is.

Ondersteunde bestandstypen

Meerdere modaliteiten combineren

Je kunt tekst, afbeeldingen en andere media in één prompt combineren. Het model verwerkt alle parts als één geïntegreerde context.

import PIL.Image

response = client.models.generate_content(
    model="gemini-2.5-flash",
    contents=[
        "Vergelijk de twee grafieken en leg het verschil in de trend uit:",
        PIL.Image.open("grafiek_2024.png"),
        PIL.Image.open("grafiek_2025.png"),
        "Gebruik concrete getallen waar die zichtbaar zijn.",
    ],
)
print(response.text)

Het antwoord verwijst naar beide afbeeldingen, omdat het model de volgorde en samenhang van de parts meeneemt.

Media via een URI meesturen

Voor bestanden die al in Google Cloud Storage staan of die je via de Files API hebt geüpload, gebruik je types.Part.from_uri.

from google.genai import types

response = client.models.generate_content(
    model="gemini-2.5-flash",
    contents=[
        types.Part.from_uri(
            file_uri="gs://generativeai-downloads/images/scones.jpg",
            mime_type="image/jpeg",
        ),
        "Wat staat er op deze foto?",
    ],
)
print(response.text)

Batchverwerking van meerdere afbeeldingen

Voor het verwerken van veel afbeeldingen in één sessie bouw je de contents-lijst op in een lus.

from pathlib import Path
import PIL.Image

image_folder = Path("./producten")
images = sorted(image_folder.glob("*.jpg"))

prompt_parts = ["Geef voor elke afbeelding een productnaam en een geschatte prijs:"]
for img_path in images:
    prompt_parts.append(PIL.Image.open(img_path))
    prompt_parts.append(f"Afbeelding: {img_path.name}")

response = client.models.generate_content(
    model="gemini-2.5-flash",
    contents=prompt_parts,
)
print(response.text)