B Blengi docs

Je workspace beheren

Een snel model kiezen

Het chatmodel dat je agent gebruikt, is de allerbelangrijkste factor voor de reactiesnelheid. Een ‘time-to-first-token’ (TTFT) van 200 ms voelt direct aan; een TTFT van 1,5 s voelt alsof het niet werkt. De meeste klachten van kopers dat ‘de bot traag is’, komen doordat er een zwaar model is gekozen terwijl een snel model ook volstaan zou hebben.

Waar kies je een model?

Superbeheerder → Instellingen → Systeem → AI-providers. Elke provider (Cloudflare, OpenAI, OpenRouter) biedt een dropdownmenu met geselecteerde modellen, inclusief een snelheidsindicator, een kostenklasse en een geschatte TTFT. De schatting is afkomstig van het door elke leverancier gepubliceerde latentiedashboard vanaf de laatste update van de catalogus; het werkelijke cijfer bij jouw installatie kan ±30% afwijken, afhankelijk van je regio.

De knop „Verbinding testen“

Naast elke modelkeuzelijst staat een knop ‘Verbinding testen ’. Klik erop en de server voert een chat met één token uit bij de geconfigureerde aanbieder en rapporteert de daadwerkelijke TTFT die jouw installatie ziet. De meting wordt 24 uur in de cache opgeslagen, dus het herladen van de pagina kost geen API-budget. Klik nogmaals om te verversen.

Als de test mislukt — ongeldige sleutel, model verouderd, provider offline — geeft de knop de fout direct weer, zodat je het kunt oplossen zonder de pagina te verlaten.

Standaardkeuzes (juni 2026)

ProviderKeuzeWaarom
Cloudflare Workers AI @cf/meta/llama-3.3-70b-instruct-fp8-fast De snelste 70B op Cloudflare. Gratis voor de meeste installaties. Betrouwbaar bij het aanroepen van tools.
OpenAI gpt-4o-mini 10× goedkoper dan GPT-4o, ~3× snellere TTFT. Kwaliteit goed genoeg voor gebruik in verkoopbots. Model-ID’s zijn hoofdlettergevoelig (GPT-5-mini is “bestaat niet”). De GPT-5-familie en de o-serie worden verzonden als max_completion_tokens en zonder temperatuur, de enige vorm die ze accepteren; GPT-5-modellen krijgen ook reasoning_effort: minimal, anders slokt verborgen redenering het tokenbudget op en kan de bezoeker een leeg antwoord krijgen.
OpenRouter meta-llama/llama-3.3-70b-instruct:free Gratis pakket; met een limiet op het aantal verzoeken, maar genoeg voor sites met weinig verkeer.

Wanneer kies je voor iets langzamers

  • Lange / genuanceerde antwoorden (juridisch, financieel, support- escalaties). Schakel over naar GPT-4o of Claude 3.5 Sonnet. Klanten accepteren een langere TTFT in ruil voor minder foute antwoorden.
  • Enorme kennisbanken. Gemini Flash 1.5 heeft een contextvenster van 1 miljoen tokens. Alles past in één prompt.
  • Vereiste om in de EU gevestigd te zijn. Mistral Small via OpenRouter wordt doorgestuurd naar Europese infrastructuur.

Automatische model-fallback (zelfherstel)

Een enkele Cloudflare-installatie loopt niet meer vast als het chatmodel traag is, koud opstart of een 5xx-fout geeft. De app houdt een tweede Cloudflare-chatmodel stand-by en schakelt daar automatisch naar over voor die beurt — geen tweede providersleutel nodig. Standaard is het primaire model het 70B-model en de fallback is Llama 4 Scout (@cf/meta/llama-4-scout-17b-16e-instruct ), dus een traag zwaar model schakelt over naar een snel, lichter antwoord in plaats van een foutmelding. Cloudflare haalt modellen zonder aankondiging uit de roulatie (de vroegere standaard, @cf/meta/llama-3.1-8b-instruct , geeft nu een 410-fout); een uit de roulatie gehaald fallback-model beëindigt de keten niet meer — de volgende provider wordt geprobeerd — maar kijk wel even op het tabblad Modellen na een Cloudflare-kennisgeving over het uit de roulatie halen van een model.

  • Geen overhead als alles goed werkt. De fallback wordt pas geprobeerd als de primaire provider daadwerkelijk faalt — een werkende primaire provider kost niets, en op het hot path van de bezoeker kan de omschakeling alleen plaatsvinden vóór het eerste token, dus het latentiebudget voor streaming blijft onaangetast.
  • Eerst Cloudflare, daarna andere providers. Als je ook een OpenAI- of OpenRouter-sleutel hebt, is de volgorde Cloudflare primair → Cloudflare-fallback → OpenAI / OpenRouter. We putten de eigen modellen van Cloudflare volledig uit voordat we van provider wisselen.
  • Overschrijf of schakel het uit. Stel CLOUDFLARE_CHAT_MODEL_FALLBACK in op een andere Workers AI-chat-slug, of op een lege waarde om de fallback binnen de provider uit te schakelen. Een fallback die gelijk is aan de primaire wordt genegeerd (een herpoging met hetzelfde model levert niets op).

Elke omschakeling wordt geregistreerd als een provider-failover-gebeurtenis in de Widget Monitor, dus een primair model dat constant uitvalt, is zichtbaar — dat is je signaal om de fallback als primair in te stellen, of om je account uit te breiden.

Waarom een model wel of niet in de catalogus staat

De catalogus (App\Services\Llm\ModelCatalog ) wordt met de hand samengesteld. We zetten modellen in de schijnwerpers die:

  • tokens streamen via het OpenAI-achtige chat/completions-eindpunt.
  • Zich betrouwbaar houden aan het JSON-formaat voor het aanroepen van tools (indien aangegeven).
  • Niet door de leverancier zijn afgeschreven.

Als je model niet in de dropdown staat, kun je via de picker nog steeds een aangepaste ID plakken — het item „Aangepast“ blijft bovenaan staan en valt terug op de oorspronkelijke vrije-tekstinvoer. De knop „Verbinding testen“ werkt ook voor aangepaste modellen.

Let op

  • De TTFT-schattingen in de catalogus kunnen afwijken. Leveranciers wijzigen stilletjes de hardware voor inferentie. Voer ‘Verbinding testen’ maandelijks opnieuw uit als je waarde hecht aan exacte cijfers.
  • Probe draait in jouw lokale tijdzone / regio. Een koper in Tokio ziet een andere latentie dan iemand in Frankfurt voor hetzelfde model. De meting is gebaseerd op de server waarop de installatie draait.
  • De probe verbruikt één token per klik. Tegen het gpt-4o-mini-tarief van OpenAI is dat ruim onder $0,0001. Verwaarloosbaar.