BigQuery-kosten beheren

Hoe BigQuery kosten berekent

BigQuery brengt kosten in rekening op twee manieren: voor het verwerken van queries en voor het opslaan van data.

On-demand (betalen per gebruik):

• Queries: ongeveer 6,25 dollar per TiB verwerkte data, met de eerste 1 TiB per maand gratis.
• Actieve opslag: ongeveer 0,02 dollar per GB per maand (data die binnen 90 dagen is gewijzigd).
• Langetermijn-opslag: ongeveer 0,01 dollar per GB per maand (data die 90 dagen ongewijzigd is). De eerste 10 GB opslag per maand is gratis.

Capacity-pricing via BigQuery Editions: Voor organisaties met hoge, voorspelbare query-volumes koop je verwerkingscapaciteit (slots) per maand of per jaar via een Edition (Standard, Enterprise of Enterprise Plus). Dit is goedkoper dan on-demand bij intensief gebruik. Het oude flat-rate-model is hierdoor vervangen; nieuwe afnames lopen via Editions met autoscaling of vaste slot-commitments.

Kostenbesparing: selecteer alleen benodigde kolommen

BigQuery berekent on-demand-kosten op basis van de kolommen die je selecteert, niet op het aantal resultaatrijen. Een SELECT * op een tabel van 100 GB verwerkt 100 GB, ook als je WHERE slechts 10 rijen teruggeeft.

Slecht (verwerkt alle kolommen):

SELECT * FROM `project.dataset.orders` WHERE datum = '2024-01-01'

Goed (verwerkt alleen de benodigde kolommen):

SELECT order_id, klant_id, omzet FROM `project.dataset.orders` WHERE datum = '2024-01-01'

Bij een tabel met 20 kolommen waarvan je er maar 3 nodig hebt, bespaar je grofweg 85 procent van de querykosten.

Partitionering: onmisbaar voor grote tabellen

Een gepartitioneerde tabel is opgesplitst in segmenten op basis van een datum- of integer-kolom. Als je filtert op de partitie-kolom, verwerkt BigQuery alleen die segmenten in plaats van de hele tabel.

Een bestaande tabel partitioneer je door de data opnieuw te laden in een nieuwe gepartitioneerde tabel:

CREATE TABLE `project.dataset.orders_partitioned`
PARTITION BY DATE(order_date)
AS SELECT * FROM `project.dataset.orders`

Filter altijd op de partitiekolom

Met partitionering bespaar je alleen kosten als je daadwerkelijk filtert op de partitiekolom.

Geen besparing (verwerkt alle partities):

SELECT * FROM `project.dataset.orders_partitioned` WHERE klant_id = 123

Wel besparing (verwerkt alleen de partities van 2024):

SELECT * FROM `project.dataset.orders_partitioned`
WHERE order_date BETWEEN '2024-01-01' AND '2024-12-31'

Clustering voor extra besparing

Clustering organiseert data binnen een partitie op een of meer kolommen. Als je vaak filtert op dezelfde kolom, bijvoorbeeld regio of productcategorie, versnelt clustering de query en verlaagt het de kosten.

CREATE TABLE `project.dataset.orders_clustered`
PARTITION BY DATE(order_date)
CLUSTER BY regio, product_categorie
AS SELECT * FROM `project.dataset.orders`

Combineer partitionering en clustering voor de beste prestaties op grote tabellen.

Budget-alerts instellen

Stel budgetwaarschuwingen in zodat je een melding krijgt als je kosten een drempel naderen. Let op: een budget-alert waarschuwt alleen, het stopt geen queries.

Query-quota en harde limieten instellen

Budget-alerts waarschuwen achteraf. Om kosten echt te begrenzen, stel je harde limieten in die queries blokkeren voordat ze te duur worden:

• Maximaal verwerkte bytes per query: stel in de query-instellingen een limiet op het aantal te verwerken bytes in. Queries die de limiet overschrijden, worden geweigerd voordat ze draaien en kosten dus niets.
• Quotum per gebruiker per dag: beperk via de quota-pagina hoeveel querydata een gebruiker of het hele project per dag mag verwerken.
• Kostenmonitoring: gebruik INFORMATION_SCHEMA.JOBS om te zien wie de duurste queries draait.

Opslagkosten verlagen

• Verwijder ongebruikte tabellen: controleer welke tabellen al 90 of meer dagen niet zijn geopend en ruim ze op.
• Laat langetermijn-opslag werken: data die 90 dagen ongewijzigd blijft, wordt automatisch goedkoper. Je hoeft hier niets voor te doen, maar onnodige updates op oude partities resetten de teller.
• Stel partitie-verval in: laat data ouder dan een x aantal dagen automatisch verwijderen.
• Gebruik externe tabellen: bewaar grote, zelden geraadpleegde historische datasets in Google Cloud Storage en koppel ze als externe BigQuery-tabel.