B Blengi docs

Je AI-medewerker bouwen

A/B-tests

Met A/B-tests kun je verschillende agent-personas tegen elkaar testen op echt bezoekersverkeer en de winnaar kiezen op basis van betrokkenheid, het binnenhalen van leads en de lengte van het gesprek. Blengi wijst elke bezoeker vast toe — dezelfde persoon ziet altijd dezelfde variant — zodat de vergelijking eerlijk is.

Waar je het vindt

Open de AI-medewerker → Geavanceerd › Experimenten. URL: /app/agents/{id}/experiments. Eigenaren, beheerders en redacteuren kunnen experimenten aanmaken, starten en stoppen; kijkers kunnen de pagina niet openen.

Een experiment aanmaken

  1. Klik op Nieuw experiment.
  2. Kies een type:
    • persona — varianten overschrijven de naam en toon van de agent in de systeemprompt voor toegewezen bezoekers. Gebruik dit om ‘Aria’ versus ‘Max’, ‘vriendelijk’ versus ‘pittig’ enz. te testen.
    • cta — varianten registreren de toewijzing, maar veranderen de CTA-payload tijdens de uitvoering nog niet. Wordt geregistreerd voor metingen; de volledige uitvoering van de applicatie komt in een toekomstige release.
    • trigger — hetzelfde als cta — alleen meting.
  3. Voeg minstens 2 varianten toe. Standaard is control + treatment in een verhouding van 50/50. Je kunt de gewichten (elk positief geheel getal — ze worden genormaliseerd) en namen aanpassen.
  4. Voor het type persona moet de JSON van elke variant config een persona-object bevatten:
    { "persona": { "name": "Aria", "tone": "warm and concise" } }
    De widget geeft de persona name van de variant weer in de chat-header, en de LLM spreekt onder die naam + toon voor het toegewezen gesprek.
  5. Opslaan. De status begint bij draft — er zijn nog geen bezoekers toegewezen.
  6. Klik op Start. De status verandert in running. Elke volgende bezoeker die als eerste aan de beurt is, wordt in een groep ingedeeld.

Hoe de toewijzing werkt

Bij het eerste bericht van een gesprek roept de MessageStreamController ExperimentResolver::resolveForConversation aan:

  1. Als conversation.variant_id al is ingesteld, gebruik die dan (blijft staan).
  2. Zo niet, zoek dan het meest recent gestarte running-experiment voor deze agent op. Slechts ÉÉN actief experiment per agent — als je een tweede start terwijl de eerste nog loopt, kiest de resolver het meest recente. Om een ander type te draaien, moet je eerst het vorige stoppen.
  3. Hash (visitor_id + experiment_id) naar een bucket in de gewogen variantenlijst (Assigner). Als dezelfde bezoeker dagen later terugkomt, komt hij in dezelfde variant terecht — de toewijzingsregel is blijvend.
  4. conversation.variant_id opslaan. Elke volgende beurt in dit gesprek leest dezelfde variant.
  5. Voor kind = persona overschrijft de variant config[persona] de standaardpersona van de agent in PromptBuilder::build voor die beurt.

In de praktijk

De snelste manier om de werking te controleren:

  1. Maak een persona-experiment met twee duidelijk verschillende varianten — bijvoorbeeld { "persona": { "name": "Helpfulbot" } } versus { "persona": { "name": "Snarkbot" } }.
  2. Start het experiment.
  3. Open je widget in twee verschillende browsers (of één normale + één incognito — verschillende cookies = verschillende visitor_id).
  4. Stel in beide dezelfde vraag. De koptekst van het chatvenster moet in de ene ‘Helpfulbot’ zijn en in de andere ‘Snarkbot’, en de antwoorden moeten duidelijk anders klinken.
  5. Open /admin/conversations en controleer of elke gespreksregel is voorzien van een variant_id.

Resultaten meten

Alles is opgeslagen: experiment_assignments-regels + de variant_id op elke conversations-regel. Koppel die twee tabellen aan messages en leads voor elke analyse die je wilt — bijvoorbeeld:

SELECT v.name,
       COUNT(DISTINCT c.id) AS conversations,
       COUNT(DISTINCT l.id) AS leads_captured,
       AVG(c.message_count) AS avg_messages
FROM variants v
LEFT JOIN conversations c ON c.variant_id = v.id
LEFT JOIN leads l ON l.conversation_id = c.id
WHERE v.experiment_id = '...'
GROUP BY v.name;

Een ingebouwd statistiekenpaneel binnen /app/agents/{id}/experiments staat op de roadmap; voorlopig moet je die query handmatig uitvoeren (workspace API-token + /api/v1/db-leestoegang als je de zelfgehoste versie gebruikt, of vraag het aan support).

Stoppen / verwijderen

Stoppen zet de status op stopped en leegt de cache voor lopende experimenten, zodat er onmiddellijk geen nieuwe gesprekken meer worden toegewezen. Bestaande gesprekken behouden hun toegewezen variant voor consistentie in lopende chats.

Verwijderen verwijdert de experimenteerregel definitief. Variantregels worden in cascade verwijderd. Bestaande conversations.variant_id -waarden worden ‘foreign-key orphans’ — dat is de bedoeling; we bewaren het historische overzicht van welk gesprek welke variant kreeg, zelfs nadat het experiment is afgelopen.