Je AI-medewerker bouwen
Bezochte pagina’s automatisch indexeren
Auto-index is een instelling per agent waarmee je kennisbank automatisch groeit terwijl bezoekers op je site rondkijken. Als een bezoeker op een pagina terechtkomt die de agent nog nooit heeft gezien, komt die pagina in de crawlwachtrij terecht — stilletjes, op de achtergrond.
Zo schakel je
Open Kennis › Bronnen van de AI-medewerker (/app/agents/{id}/sources)
en zet ‘Leer welke pagina’s bezoekers openen’ aan (dit wordt opgeslagen
auto_index_visited_pages). De wijziging wordt
meteen van kracht — je hoeft hiervoor niets apart te publiceren.
Wat het doet
Bij elke /v1/widget/init-aanroep, nadat de agent de
oorsprong- en quotumcontroles heeft doorstaan, voert AutoIndexPageVisit::attempt()
een reeks van zeven controles uit. Alle zeven moeten geslaagd zijn voordat een crawl in de wachtrij wordt geplaatst:
- De agent heeft
auto_index_visited_pages = true. - De URL van de pagina is een geldige http/https-URL.
- De host is niet privé — RFC1918 (
10.x,172.16-31.x,192.168.x), loopback (localhost,127.x,::1), link-local (169.254.x,fe80:),0.x, IPv6 ULA (fc00:) en.local/.internal-domeinen zijn geblokkeerd. - Het pad ziet er niet privé uit —
/admin,/login,/checkout,/profile,/account,/settings,/cart,/apiworden overgeslagen. - De URL is nog niet geïndexeerd voor deze agent — door welke
bron dan ook, en met of zonder een slash aan het einde, dus
/waterhardheid/meppeltelt als geïndexeerd wanneer een sitemap/waterhardheid/meppel/heeft opgeslagen. - We zitten onder de limiet — 30 crawls per agent per uur, geteld in de cache.
- De daadwerkelijke
Origin-header van de bezoeker komt overeen met deallowed_originsvan de agent (of komt overeen met de oorsprong van de pagina-URL wanneer allowed_origins*is).
Als alles in orde is, maken we de
type=auto
-bron van de agent pas op het laatste moment aan (als die nog niet bestaat) en sturen we een
CrawlPageJob
voor de pagina naar de crawl
-wachtrij. Het
verzoek van de bezoeker wordt meteen beantwoord — auto-index blokkeert nooit het hot
path.
Wat het overslaat
De pad-blokkeerlijst bestaat omdat geauthenticeerde pagina’s veel ruis geven en
risicovol zijn om te indexeren — een ingelogde /profile- of
/account/orders-pagina lekt de gegevens van de bezoeker naar je
kennisbank. De volledige lijst staat in
AutoIndexPageVisit::SKIP_PATH_PATTERNS (hoofdlettergevoelig,
komt overeen met het padsegment met optionele afsluitende schuine streep):
/account,/my-account,/profile,/settings/admin/login,/signin,/signup,/register,/logout,/auth,/password/checkout,/cart,/order,/orders
Pagina’s die door de linkdetectie worden overgeslagen, worden hier ook overgeslagen
(SiteDiscoverer::JUNK_PATH_PATTERN
, #750), inclusief de
Nederlandse en Duitse namen die winkels gebruiken: /mijn-account
,
/inloggen
, /winkelwagen
,
/afrekenen
, /mein-konto
,
/warenkorb
, en elke pagina met de naam /404…
(een
foutpagina zoals /404-melding
), plus zoek- en vergelijkingspagina’s
.
/portal
, /customer
), zal de standaard blokkeerlijst
ze niet oppikken. Schakel automatische indexering uit, of voeg vooraf de exacte openbare
URL’s toe die je wilt laten crawlen en sla de schakelaar helemaal over.
Snelheidsbeperking
De limiet van 30 crawls per agent per uur is een teller die in de cache is opgeslagen als
auto-index:agent:{id}:hour:{YmdH}
. Als een populaire pagina op je
site wordt overspoeld, zal de limiet snel in werking treden, maar bij normale
verkeerspatronen wordt deze limiet zelden bereikt.
Wat wordt geïndexeerd
Elke agent heeft maximaal één type=auto-bron, die in de
bronnenlijst wordt weergegeven als Automatisch geïndexeerd door bezoekers.
Elke pagina die hij oppikt, wordt een document onder die ene bron, dus
je kunt ze samen bekijken of opnieuw indexeren; zolang hij nog
niets heeft verzameld, staat hij op Luistert. Een URL waarvoor al een
document voor deze agent bestaat (guard 5 hierboven) wordt niet opnieuw gecrawld.
Eerder vergeleek regel 5 de exacte URL. Het bezoek komt binnen in zijn canonieke vorm (zonder slash aan het einde), terwijl een sitemap of crawlbron de URL behoudt zoals die is opgehaald — dus op een site waarvan de URL’s eindigen op een slash, werd elke pagina die een bezoeker opende een tweede keer gecrawld. Die tweede kopieën staan mogelijk nog steeds in je bron Automatisch geïndexeerd door bezoekers. Ze hebben geen invloed meer op de antwoorden: als twee kopieën van één pagina overeenkomen met een vraag, wordt er maar één gebruikt (zie Kennis). Door de automatische bron te verwijderen, verdwijnen ze.
Uitschakelen en opschonen
Zet de schakelaar uit en er worden geen nieuwe pagina’s meer in de wachtrij geplaatst, maar de pagina’s die al zijn verzameld, blijven staan. Om ze te verwijderen, verwijder je de bron Automatisch geïndexeerd door bezoekers; de documenten en stukjes daarin verdwijnen dan ook.