B Blengi docs

Je AI-medewerker bouwen

Bezochte pagina’s automatisch indexeren

Auto-index is een instelling per agent waarmee je kennisbank automatisch groeit terwijl bezoekers op je site rondkijken. Als een bezoeker op een pagina terechtkomt die de agent nog nooit heeft gezien, komt die pagina in de crawlwachtrij terecht — stilletjes, op de achtergrond.

Zo schakel je

Open Kennis › Bronnen van de AI-medewerker (/app/agents/{id}/sources) en zet ‘Leer welke pagina’s bezoekers openen’ aan (dit wordt opgeslagen auto_index_visited_pages). De wijziging wordt meteen van kracht — je hoeft hiervoor niets apart te publiceren.

Wat het doet

Bij elke /v1/widget/init-aanroep, nadat de agent de oorsprong- en quotumcontroles heeft doorstaan, voert AutoIndexPageVisit::attempt() een reeks van zeven controles uit. Alle zeven moeten geslaagd zijn voordat een crawl in de wachtrij wordt geplaatst:

  1. De agent heeft auto_index_visited_pages = true.
  2. De URL van de pagina is een geldige http/https-URL.
  3. De host is niet privé — RFC1918 (10.x, 172.16-31.x, 192.168.x), loopback (localhost, 127.x, ::1), link-local (169.254.x, fe80:), 0.x, IPv6 ULA (fc00:) en .local / .internal-domeinen zijn geblokkeerd.
  4. Het pad ziet er niet privé uit — /admin, /login, /checkout, /profile, /account, /settings, /cart, /api worden overgeslagen.
  5. De URL is nog niet geïndexeerd voor deze agent — door welke bron dan ook, en met of zonder een slash aan het einde, dus /waterhardheid/meppel telt als geïndexeerd wanneer een sitemap /waterhardheid/meppel/ heeft opgeslagen.
  6. We zitten onder de limiet — 30 crawls per agent per uur, geteld in de cache.
  7. De daadwerkelijke Origin-header van de bezoeker komt overeen met de allowed_origins van de agent (of komt overeen met de oorsprong van de pagina-URL wanneer allowed_origins * is).

Als alles in orde is, maken we de type=auto -bron van de agent pas op het laatste moment aan (als die nog niet bestaat) en sturen we een CrawlPageJob voor de pagina naar de crawl -wachtrij. Het verzoek van de bezoeker wordt meteen beantwoord — auto-index blokkeert nooit het hot path.

Wat het overslaat

De pad-blokkeerlijst bestaat omdat geauthenticeerde pagina’s veel ruis geven en risicovol zijn om te indexeren — een ingelogde /profile- of /account/orders-pagina lekt de gegevens van de bezoeker naar je kennisbank. De volledige lijst staat in AutoIndexPageVisit::SKIP_PATH_PATTERNS (hoofdlettergevoelig, komt overeen met het padsegment met optionele afsluitende schuine streep):

  • /account, /my-account, /profile, /settings
  • /admin
  • /login, /signin, /signup, /register, /logout, /auth, /password
  • /checkout, /cart, /order, /orders

Pagina’s die door de linkdetectie worden overgeslagen, worden hier ook overgeslagen (SiteDiscoverer::JUNK_PATH_PATTERN , #750), inclusief de Nederlandse en Duitse namen die winkels gebruiken: /mijn-account , /inloggen , /winkelwagen , /afrekenen , /mein-konto , /warenkorb , en elke pagina met de naam /404… (een foutpagina zoals /404-melding ), plus zoek- en vergelijkingspagina’s .

Indexeer geen pagina’s waarvoor je moet inloggen
Als de pagina’s van je app waarvoor authenticatie nodig is onder ongebruikelijke paden staan (bijv. /portal , /customer ), zal de standaard blokkeerlijst ze niet oppikken. Schakel automatische indexering uit, of voeg vooraf de exacte openbare URL’s toe die je wilt laten crawlen en sla de schakelaar helemaal over.

Snelheidsbeperking

De limiet van 30 crawls per agent per uur is een teller die in de cache is opgeslagen als auto-index:agent:{id}:hour:{YmdH} . Als een populaire pagina op je site wordt overspoeld, zal de limiet snel in werking treden, maar bij normale verkeerspatronen wordt deze limiet zelden bereikt.

Wat wordt geïndexeerd

Elke agent heeft maximaal één type=auto-bron, die in de bronnenlijst wordt weergegeven als Automatisch geïndexeerd door bezoekers. Elke pagina die hij oppikt, wordt een document onder die ene bron, dus je kunt ze samen bekijken of opnieuw indexeren; zolang hij nog niets heeft verzameld, staat hij op Luistert. Een URL waarvoor al een document voor deze agent bestaat (guard 5 hierboven) wordt niet opnieuw gecrawld.

Eerder vergeleek regel 5 de exacte URL. Het bezoek komt binnen in zijn canonieke vorm (zonder slash aan het einde), terwijl een sitemap of crawlbron de URL behoudt zoals die is opgehaald — dus op een site waarvan de URL’s eindigen op een slash, werd elke pagina die een bezoeker opende een tweede keer gecrawld. Die tweede kopieën staan mogelijk nog steeds in je bron Automatisch geïndexeerd door bezoekers. Ze hebben geen invloed meer op de antwoorden: als twee kopieën van één pagina overeenkomen met een vraag, wordt er maar één gebruikt (zie Kennis). Door de automatische bron te verwijderen, verdwijnen ze.

Uitschakelen en opschonen

Zet de schakelaar uit en er worden geen nieuwe pagina’s meer in de wachtrij geplaatst, maar de pagina’s die al zijn verzameld, blijven staan. Om ze te verwijderen, verwijder je de bron Automatisch geïndexeerd door bezoekers; de documenten en stukjes daarin verdwijnen dan ook.