De Ollama API koppelen aan je eigen applicatie

De Ollama API koppelen aan je eigen applicatie opent de deur naar automatisering met lokale AI. Ollama draait een lokale server op poort 11434 die je vanuit elke programmeertaal kunt aanroepen. In dit artikel zie je hoe je dat doet met praktische voorbeelden.

De basis van de Ollama API

Zodra Ollama draait, luistert het op http://localhost:11434. De belangrijkste endpoints zijn /api/generate voor losse prompts, /api/chat voor gesprekken met geschiedenis, en het OpenAI-compatibele /v1/chat/completions endpoint. Je stuurt een JSON-verzoek en krijgt een JSON-antwoord terug.

In de voorbeelden hieronder gebruiken we het model llama3.2. Vervang dat gerust door een model dat jij hebt gedownload, bijvoorbeeld gemma3 of qwen3. Welke modellen lokaal beschikbaar zijn, controleer je met ollama list of via het /api/tags endpoint.

Een eerste verzoek

Het eenvoudigste verzoek stuur je met curl vanuit de terminal:

curl http://localhost:11434/api/generate -d '{"model":"llama3.2","prompt":"Leg uit wat een API is","stream":false}'

Met stream op false krijg je het hele antwoord in een keer. Zet je stream op true, dan komt het antwoord stukje voor stukje binnen, wat fijn is voor een chatinterface.

Koppelen vanuit Python en JavaScript

In de praktijk roep je de API aan vanuit code. Hieronder zie je hetzelfde verzoek in twee populaire talen.

Python

Gebruik de requests-bibliotheek voor een simpel verzoek:

import requests

r = requests.post('http://localhost:11434/api/generate', json={
    'model': 'llama3.2',
    'prompt': 'Hallo',
    'stream': False,
})
print(r.json()['response'])

Voor productie kun je de officiele ollama-bibliotheek voor Python gebruiken, die dit netjes inpakt en streaming eenvoudiger maakt.

JavaScript

Gebruik fetch in Node of de browser:

const res = await fetch('http://localhost:11434/api/generate', {
  method: 'POST',
  body: JSON.stringify({ model: 'llama3.2', prompt: 'Hallo', stream: false }),
});
const data = await res.json();
console.log(data.response);

Er is ook een officiele ollama-bibliotheek voor JavaScript die streaming en gesprekken met geschiedenis eenvoudiger maakt.

De OpenAI-compatibele endpoint

Heb je al code die met de OpenAI-API werkt? Dan hoef je vaak alleen de basis-URL te wijzigen. Wijs je OpenAI-client naar http://localhost:11434/v1 en gebruik een willekeurige API-sleutel, en je software praat met je lokale model.

from openai import OpenAI

client = OpenAI(base_url='http://localhost:11434/v1', api_key='ollama')
antwoord = client.chat.completions.create(
    model='llama3.2',
    messages=[{'role': 'user', 'content': 'Hallo'}],
)
print(antwoord.choices[0].message.content)

De compatibiliteit dekt veel voorkomende functies zoals chat completions, tools en embeddings, maar niet elk randgeval van de OpenAI-API. Test dus per functie of het gedrag is wat je verwacht.

Streaming verwerken

Voor een soepele gebruikerservaring wil je antwoorden stukje voor stukje tonen. Met streaming krijg je een reeks JSON-regels binnen, elk met een stukje tekst. De volgorde is steeds dezelfde:

1. Verzoek met stream: stuur het verzoek met stream op true.
2. Regels lezen: lees de binnenkomende JSON-regels een voor een.
3. Tekst samenvoegen: plak de response-velden achter elkaar.
4. Tonen aan gebruiker: toon de tekst terwijl die binnenkomt.

De laatste regel bevat het veld done met de waarde true, zodat je weet dat het antwoord compleet is.

Modellen kiezen via de API

Je kunt per verzoek een ander model kiezen door het model-veld aan te passen. Met een verzoek aan /api/tags krijg je een lijst van beschikbare modellen terug, zodat je applicatie dynamisch kan kiezen welk model het gebruikt. Met de omgevingsvariabele OLLAMA_HOST stel je in op welk adres en welke poort de server luistert.

Met de Ollama API bouw je je eigen AI-toepassingen volledig lokaal. Verdiep je verder in een RAG-pipeline met eigen documenten of een kant-en-klare webinterface.