Toen ze voor het eerst experimenteerden met LLM’s en AI-agenten, ontdekten software-ingenieurs bij AI-concept implementeert geavanceerde codegeneratie, complexe schema’s en zware instructies.
Maar al snel leerde het team met vallen en opstaan dat ze het konden Weg met al die ingewikkelde datamodellering. Notion AI-engineeringleider Ryan Nystrom en zijn team kozen voor eenvoudige commando’s, voor mensen leesbare representatie, minimale abstractie en een bekend afprijzingsformaat. Het resultaat is een aanzienlijke verbetering van de modelprestaties.
Met deze herbedradingsaanpak bracht het AI-native bedrijf in september zijn V3-productiviteitssoftware uit. Belangrijkste kenmerken: Aanpasbare AI-agenten – die al snel de meest succesvolle AI-tool van Notion tot nu toe werden. Op basis van gebruikspatronen vergeleken met eerdere versies noemt Nystrom het een ‘verbeterde stapfunctie’.
“Het is het gevoel wanneer het product uit je wordt getrokken, in plaats van dat je het eruit probeert te duwen”, legt Nystrom uit in een verklaring. VB Podcast Beyond Pilots. “We wisten vanaf dat moment, vanaf het begin, dat we iets hadden. Nu is het: ‘Hoe moet ik Notion gebruiken zonder deze functie?'”
‘Rewiring’ voor het tijdperk van AI-agenten
Als traditionele software-ingenieur is Nystrom gewend aan een “zeer deterministische” ervaring. Maar er kwam een interessant moment toen een collega voorstelde om de commando’s van zijn AI te beschrijven zoals hij dat bij een mens zou doen, in plaats van regels te bedenken over hoe agenten zich in verschillende scenario’s zouden moeten gedragen. De reden: LLM’s zijn ontworpen om inhoud op dezelfde manier te begrijpen, ‘zien’ en te overwegen als mensen.
“Elke keer dat ik met AI werk, zal ik de instructies en de beschrijving van de tool opnieuw lezen en (vraag mezelf af): is dit iets dat ik iemand kan geven zonder context en dat hij/zij kan begrijpen wat er aan de hand is?” Nystrom zei op de podcast. “Als dat niet het geval is, zullen de resultaten slecht zijn.”
Nystrom en zijn team nemen een stap terug van het ‘weergeven van tamelijk complexe gegevens’ in Notion (zoals JSON of XML) en vertegenwoordigen Notion-pagina’s als Markdown, een populaire apparaatonafhankelijke opmaaktaal die structuur en betekenis definieert met behulp van platte tekst zonder de noodzaak van HTML-tags of formele editors. Hierdoor kan het model tekstbestanden interageren, lezen, doorzoeken en wijzigen.
Uiteindelijk vereiste dit dat Notion zijn systemen moest updaten, waarbij het team van Nystrom zich grotendeels concentreerde op de middleware-overgangslaag.
Ze onderkenden ook al vroeg het belang van terughoudendheid als het om de context gaat. Het is verleidelijk om zoveel mogelijk informatie in het model te laden, maar dit kan het model vertragen en verwarren. Voor Notion beschrijft Nystrom de limiet van 100.000 tot 150.000 tokens als de ‘sweet spot’.
“Er zijn gevallen waarin je heel veel inhoud in je contextvenster kunt laden en het model zal het moeilijk hebben”, zei hij. “Hoe meer contextvensters u toevoegt, u zult een afname van de prestaties, de latentie en ook de nauwkeurigheid zien.”
Ook als het om tooling gaat, is een eenvoudige aanpak belangrijk; dit kan teams helpen de “glibberige helling” van eindeloze functies te vermijden, suggereert Nystrom. Notion richt zich op ‘samengestelde menu’-tools in plaats van op grote menu’s zoals Cheesecake Factory, wat een paradox van keuze voor gebruikers creëert.
“Als mensen om nieuwe functies vragen, voegen we gewoon de tools toe aan het model of de agent”, zei hij. Maar “hoe meer tools we toevoegen, hoe meer beslissingen het model moet nemen.”
Het belangrijkste is: Kanaal het model. Gebruik de API waar nodig. Probeer niet chique te zijn, probeer het niet ingewikkeld te maken. Gebruik eenvoudig Engels.
Luister naar de volledige podcast voor meer informatie over:
-
Waarom AI zich nog steeds in het pre-Blackberry-, pre-iPhone-tijdperk bevindt;
-
Het belang van “dogfooding” bij productontwikkeling;
-
Waarom u zich in de beginfase geen zorgen hoeft te maken over hoe kosteneffectief uw AI-functies zijn – die later kunnen worden geoptimaliseerd;
-
Hoe technische teams de apparatuur minimaal kunnen houden in het MCP-tijdperk;
-
De evolutie van Notion van een wiki naar een volwaardige AI-assistent.
Abonneer u op Beyond the Pilot op Apple-podcasts, SpotifyEn YouTube.
