Je AI-medewerker bouwen
A/B-tests
Met A/B-tests kun je verschillende agent-personas tegen elkaar testen op echt bezoekersverkeer en de winnaar kiezen op basis van betrokkenheid, het binnenhalen van leads en de lengte van het gesprek. Blengi wijst elke bezoeker vast toe — dezelfde persoon ziet altijd dezelfde variant — zodat de vergelijking eerlijk is.
Waar je het vindt
Open de AI-medewerker → Geavanceerd › Experimenten. URL:
/app/agents/{id}/experiments. Eigenaren, beheerders en redacteuren
kunnen experimenten aanmaken, starten en stoppen; kijkers kunnen de pagina niet openen.
Een experiment aanmaken
- Klik op Nieuw experiment.
- Kies een type:
- persona — varianten overschrijven de naam en toon van de agent in de systeemprompt voor toegewezen bezoekers. Gebruik dit om ‘Aria’ versus ‘Max’, ‘vriendelijk’ versus ‘pittig’ enz. te testen.
- cta — varianten registreren de toewijzing, maar veranderen de CTA-payload tijdens de uitvoering nog niet. Wordt geregistreerd voor metingen; de volledige uitvoering van de applicatie komt in een toekomstige release.
- trigger — hetzelfde als cta — alleen meting.
- Voeg minstens 2 varianten toe. Standaard is
control+treatmentin een verhouding van 50/50. Je kunt de gewichten (elk positief geheel getal — ze worden genormaliseerd) en namen aanpassen. - Voor het type
personamoet de JSON van elke variantconfigeenpersona-object bevatten:
De widget geeft de persona{ "persona": { "name": "Aria", "tone": "warm and concise" } }namevan de variant weer in de chat-header, en de LLM spreekt onder die naam + toon voor het toegewezen gesprek. - Opslaan. De status begint bij
draft— er zijn nog geen bezoekers toegewezen. - Klik op Start. De status verandert in
running. Elke volgende bezoeker die als eerste aan de beurt is, wordt in een groep ingedeeld.
Hoe de toewijzing werkt
Bij het eerste bericht van een gesprek roept de
MessageStreamController
ExperimentResolver::resolveForConversation
aan:
- Als
conversation.variant_idal is ingesteld, gebruik die dan (blijft staan). - Zo niet, zoek dan het meest recent gestarte
running-experiment voor deze agent op. Slechts ÉÉN actief experiment per agent — als je een tweede start terwijl de eerste nog loopt, kiest de resolver het meest recente. Om een ander type te draaien, moet je eerst het vorige stoppen. - Hash
(visitor_id + experiment_id)naar een bucket in de gewogen variantenlijst (Assigner). Als dezelfde bezoeker dagen later terugkomt, komt hij in dezelfde variant terecht — de toewijzingsregel is blijvend. conversation.variant_idopslaan. Elke volgende beurt in dit gesprek leest dezelfde variant.- Voor
kind = personaoverschrijft de variantconfig[persona]de standaardpersona van de agent inPromptBuilder::buildvoor die beurt.
In de praktijk
De snelste manier om de werking te controleren:
- Maak een
persona-experiment met twee duidelijk verschillende varianten — bijvoorbeeld{ "persona": { "name": "Helpfulbot" } }versus{ "persona": { "name": "Snarkbot" } }. - Start het experiment.
- Open je widget in twee verschillende browsers (of één normale + één incognito — verschillende cookies = verschillende
visitor_id). - Stel in beide dezelfde vraag. De koptekst van het chatvenster moet in de ene ‘Helpfulbot’ zijn en in de andere ‘Snarkbot’, en de antwoorden moeten duidelijk anders klinken.
- Open
/admin/conversationsen controleer of elke gespreksregel is voorzien van eenvariant_id.
Resultaten meten
Alles is opgeslagen: experiment_assignments-regels + de
variant_id op elke conversations-regel.
Koppel die twee tabellen aan messages en
leads voor elke analyse die je wilt — bijvoorbeeld:
SELECT v.name,
COUNT(DISTINCT c.id) AS conversations,
COUNT(DISTINCT l.id) AS leads_captured,
AVG(c.message_count) AS avg_messages
FROM variants v
LEFT JOIN conversations c ON c.variant_id = v.id
LEFT JOIN leads l ON l.conversation_id = c.id
WHERE v.experiment_id = '...'
GROUP BY v.name;
Een ingebouwd statistiekenpaneel binnen /app/agents/{id}/experiments
staat op de roadmap; voorlopig moet je die query handmatig uitvoeren
(workspace API-token + /api/v1/db-leestoegang als
je de zelfgehoste versie gebruikt, of vraag het aan support).
Stoppen / verwijderen
Stoppen
zet de status op stopped
en leegt de
cache voor lopende experimenten, zodat er onmiddellijk geen nieuwe gesprekken meer
worden toegewezen. Bestaande gesprekken behouden hun toegewezen
variant voor consistentie in lopende chats.
Verwijderen
verwijdert de experimenteerregel definitief. Variantregels
worden in cascade verwijderd. Bestaande conversations.variant_id
-waarden worden
‘foreign-key orphans’ — dat is de bedoeling; we bewaren het historische
overzicht van welk gesprek welke variant kreeg, zelfs nadat het
experiment is afgelopen.