De LLM’s van vandaag blinken uit in redeneren, maar hebben nog steeds moeite met context. Dit geldt vooral voor realtime bestelsystemen zoals onmiddellijke kaart.
Instacart CTO Anirban Kundu noemt het ‘het browniereceptprobleem’.
Het is niet zo eenvoudig als tegen een LLM zeggen: ‘Ik wil brownies maken.’ Om echt behulpzaam te zijn bij het plannen van maaltijden, moet het model verder gaan dan deze eenvoudige richtlijnen om te begrijpen wat er beschikbaar is op de markt van de gebruiker op basis van hun voorkeuren (bijvoorbeeld biologische versus gewone eieren) en dat meewegen in wat er in hun geografische gebied kan worden bezorgd, zodat voedsel niet bederft. Dit is een andere belangrijke factor.
Voor Instacart is de uitdaging het beheren van de latentie met de juiste mix van context om een ervaring te leveren, idealiter in minder dan een seconde.
“Als de redenering zelf vijftien seconden duurt, en als elke interactie zo traag is, verlies je gebruikers”, zei Kundu tijdens een recent VB-evenement.
Een combinatie van redenering, omstandigheden uit de echte wereld en personalisatie
Bij het bezorgen van boodschappen is er een ‘wereld van redeneren’ en een ‘wereld van staten’ (die beschikbaar zijn in de echte wereld), Kundu Let op: beide moeten door de LLM worden begrepen, samen met gebruikersvoorkeuren. Maar het is niet zo eenvoudig als het laden van de volledige aankoopgeschiedenis en bekende interesses van een gebruiker in een redeneermodel.
“Je LLM zal exploderen tot een onbeheersbare omvang”, zegt Kundu.
Om dit te omzeilen, verdeelt Instacart de verwerking in verschillende delen. Ten eerste worden de gegevens ingevoerd in een groot onderliggend model dat de intentie kan begrijpen en producten kan categoriseren. De verwerkte gegevens worden vervolgens overgebracht naar klein taalmodel (SLM) ontworpen voor cataloguscontext (soorten voedsel of andere items die samenwerken) en semantisch begrip.
In een cataloguscontext moet SLM verschillende detailniveaus rond de bestelling zelf en de verschillende producten kunnen verwerken. Welke producten zijn bijvoorbeeld geschikt en welke vervangende producten zijn relevant als het product van eerste keuze niet beschikbaar is? Deze vervangingen zijn “heel, heel belangrijk” voor bedrijven als Instacart, waarvan Kundu zei dat er “meer dan dubbelcijferige gevallen” zijn waarin een product niet beschikbaar is op de lokale markten.
Laten we, in termen van semantisch begrip, zeggen dat een klant gezonde snacks voor kinderen wil kopen. Het model moet begrijpen wat gezonde snacks zijn en welke voedingsmiddelen geschikt en aantrekkelijk zijn voor een 8-jarige, en vervolgens relevante producten identificeren. En als een bepaald product niet beschikbaar is op een bepaalde markt, moet het model ook een subset van gerelateerde producten vinden.
Dan is er het logistieke element. Producten als ijs smelten bijvoorbeeld snel en diepgevroren groenten smaken niet zo lekker als ze bij hogere temperaturen worden bewaard. Het model moet deze context hebben en acceptabele levertijden berekenen.
“Dus er is begrip van wat het betekent, er is categorisering, en dan is er nog een deel over logistiek, hoe doe je dat?”, zei Kundu.
Het vermijden van ‘monolithische’ agentsystemen
Net als veel andere bedrijven experimenteerde Instacart met AI-agents en ontdekte dat een combinatie van agenten beter werkte dan ‘één monoliet’ die veel verschillende taken uitvoerde. De Unix-filosofie van een modulair besturingssysteem met kleinere, gerichte tools helpt bijvoorbeeld bij het aanpakken van meerdere betalingssystemen die verschillende faalwijzen hebben, legt Kundu uit.
“Het is heel zwaar om dat allemaal in één wijk te moeten bouwen”, zegt hij. Vervolgens communiceren agenten aan de backend met veel platforms van derden, waaronder point-of-sale (POS)-systemen en catalogi. Natuurlijk gedragen ze zich niet allemaal hetzelfde; sommige zijn betrouwbaarder dan andere, en ze hebben verschillende update-intervallen en feeds.
“Dus omdat we al deze dingen aankunnen, hebben we gekozen voor de micro-agentroute in vergelijking met agenten die meestal groot zijn”, zei Kundu.
Om agenten te beheren, is Instacart geïntegreerd met OpenAI-modelcontextprotocol (MCP), dat het proces van het verbinden van AI-modellen met verschillende tools en gegevensbronnen standaardiseert en vereenvoudigt.
Het bedrijf maakt ook gebruik van de open standaard Universal Commerce Protocol (UCP) van Google, waarmee AI-agenten rechtstreeks kunnen communiceren met verkoperssystemen.
Het Kundu-team staat echter nog steeds voor uitdagingen. Zoals hij zegt, het gaat er niet om of een integratie werkt, maar hoe betrouwbaar deze is en hoe goed deze door gebruikers wordt begrepen. Ontdekking kan moeilijk zijn, niet alleen bij het identificeren van beschikbare services, maar ook bij het begrijpen welke services geschikt zijn voor een bepaalde taak.
Instacart moest MCP en UCP in “heel verschillende” gevallen implementeren, en de grootste problemen waarmee ze werden geconfronteerd waren faalmodi en latentie, zei Kundu. “De reactietijden en het begrip van de twee diensten waren heel erg verschillend. Ik zou zeggen dat we waarschijnlijk tweederde van de tijd hebben besteed aan het oplossen van deze foutgevallen.”
