Audio verwerken met de Gemini API

Audioverwerking met Gemini

Gemini begrijpt audio als native modaliteit: spraak transcriberen, toon en sentiment analyseren, muziek beschrijven en vragen beantwoorden over de inhoud. Dat onderscheidt het van klassieke speech-to-text, waarbij je eerst transcribeert en dan pas analyseert. Gemini doet beide tegelijk, in een enkele stap.

Veelvoorkomende toepassingen zijn het automatiseren van vergadernotities, klantenservicegesprekken analyseren, podcasts samenvatten, audio doorzoekbaar maken en meertalige transcriptie.

De voorbeelden hieronder gebruiken de actuele Google Gen AI SDK (google-genai) en het stabiele model gemini-3.5-flash (stand juni 2026). De oudere google-generativeai-bibliotheek en modellen uit de 2.0-reeks zijn uitgefaseerd.

Audio uploaden via de Files API

Je uploadt een audiofragment eerst naar de Files API en wacht tot de verwerking klaar is. Voor verzoeken die samen groter zijn dan 20 MB is de Files API verplicht. Kleinere fragmenten mag je ook inline als bytes meesturen.

from google import genai
import os
import time

client = genai.Client(api_key=os.environ["GEMINI_API_KEY"])

audio_file = client.files.upload(file="vergadering.mp3")

while audio_file.state.name == "PROCESSING":
    print("Wacht op verwerking...")
    time.sleep(3)
    audio_file = client.files.get(name=audio_file.name)

if audio_file.state.name == "FAILED":
    raise ValueError("Audio-upload mislukt")

print(f"Bestand klaar: {audio_file.uri}")

Na het uploaden gaat de status van PROCESSING naar ACTIVE. Pas dan kun je het bestand gebruiken in een generate_content-aanroep.

Spraak transcriberen

response = client.models.generate_content(
    model="gemini-3.5-flash",
    contents=[
        audio_file,
        "Transcribeer dit audiofragment volledig. Gebruik spreker-labels "
        "(Spreker 1:, Spreker 2:) als er meerdere sprekers zijn.",
    ],
)

print(response.text)

Voor gestructureerde transcriptie met tijdstempels geef je het gewenste formaat expliciet mee in de prompt:

response = client.models.generate_content(
    model="gemini-3.5-flash",
    contents=[
        audio_file,
        """Transcribeer dit audiofragment met tijdstempels per zin.
        Formaat: [MM:SS] Spreker: Tekst
        Voorbeeld: [01:23] Jan: Goedemorgen iedereen.""",
    ],
)

Je kunt Gemini ook naar een specifiek tijdsbereik laten kijken, bijvoorbeeld door in je prompt te vragen om alleen het deel tussen 02:30 en 03:29 te transcriberen.

Vergadernotities automatiseren

Een veelgebruikt patroon is een functie die een opname inleest en gestructureerde notities als JSON teruggeeft:

import json


def process_meeting_recording(audio_path: str) -> dict:
    audio_file = client.files.upload(file=audio_path)

    while audio_file.state.name == "PROCESSING":
        time.sleep(5)
        audio_file = client.files.get(name=audio_file.name)

    response = client.models.generate_content(
        model="gemini-3.5-flash",
        contents=[
            audio_file,
            """Analyseer deze vergaderopname en geef:
            1. Samenvatting (max 200 woorden)
            2. Actiepunten (wie doet wat wanneer)
            3. Genomen beslissingen
            4. Openstaande vragen

            Geef uitsluitend JSON terug met de keys:
            summary, action_items, decisions, open_questions""",
        ],
    )

    return json.loads(response.text)

Sentiment en toonanalyse

response = client.models.generate_content(
    model="gemini-3.5-flash",
    contents=[
        audio_file,
        """Analyseer het sentiment en de emotionele toon van dit fragment:
        - Algeheel sentiment (positief, neutraal of negatief)
        - Emoties per spreker
        - Energieniveau van het gesprek
        - Stressindicatoren
        Geef een score van 1 tot 10 voor de klanttevredenheid.""",
    ],
)

Meertalige audio

Gemini verwerkt audio in een groot aantal talen. Je kunt in een enkele aanroep zowel transcriptie in de originele taal als een vertaling vragen:

response = client.models.generate_content(
    model="gemini-3.5-flash",
    contents=[
        audio_file,
        "Transcribeer dit fragment in de oorspronkelijke taal en geef "
        "daarna een Nederlandse vertaling.",
    ],
)

Audiofragmenten doorzoeken

def search_audio_content(audio_file, query: str) -> str:
    response = client.models.generate_content(
        model="gemini-3.5-flash",
        contents=[
            audio_file,
            f"Zoek in dit audiofragment naar alle verwijzingen naar: {query}. "
            f"Geef de tijdstempels en de context van elke verwijzing.",
        ],
    )
    return response.text

Een opname stap voor stap verwerken

Kosten en limieten

Onderstaande waarden gelden voor de Gemini API in juni 2026. Audio wordt geteld als 32 tokens per seconde.