Karpathy deelt een ‘LLM Knowledge Base’-architectuur die verder gaat dan RAG, met een steeds evoluerende Markdown-bibliotheek beheerd door AI

AI-vibratiecodeerders hebben nog een reden om dankbaar te zijn Andrej Karpatischepper van de term.

Voormalig AI-directeur bij Tesla en mede-oprichter van OpenAI, die onlangs zijn eigen onafhankelijke AI-project leidde gepost in X legt “LLM Knowledge Base” uit de aanpak die hij gebruikt om verschillende onderwerpen van onderzoeksbelang te beheren.

Door voort te bouwen op zijn aanhoudende, door LLM beheerde projectlogboek, lost Karpathy een belangrijke frustratie op van de ‘staatloze’ AI-ontwikkeling: het gevreesde opnieuw instellen van contextgrenzen.

Zoals iedereen die vibraties heeft gecodeerd kan beamen, kan het bereiken van een gebruikslimiet of het beëindigen van een sessie vaak aanvoelen als een lobotomie voor uw project. Je wordt gedwongen kostbare tokens (en tijd) te besteden aan het reconstrueren van de AI-context, in de hoop dat de AI de nuances van de architectuur die je zojuist hebt gemaakt, ‘onthoudt’.

Karpathy stelde iets eenvoudigers en lossers voor, heel elegant dan de typische bedrijfsoplossing van vectordatabases en RAG-pijplijnen.

In plaats daarvan schetst hij een systeem waarin LLM’s zelf fungeren als fulltime ‘onderzoeksbibliothecarissen’, waarbij ze actief Markdown-bestanden (.md) compileren, linten en koppelen, het meest LLM-vriendelijke en compacte gegevensformaat.

Door een groot deel van zijn ‘token-doorvoer’ te verschuiven naar gestructureerde kennismanipulatie in plaats van standaardcode, heeft Karpathy een blauwdruk opgeleverd voor de volgende fase van het ‘Tweede Brein’ – een die zelfherstellend, controleerbaar en volledig door mensen leesbaar is.

Buiten RAG

De afgelopen drie jaar was het dominante paradigma bij het verlenen van toegang aan LLM’s tot bedrijfseigen gegevens Ophalen van Augmented Generation (RAG).

In een standaard RAG-opstelling worden documenten in willekeurige ‘chunks’ geknipt, omgezet in wiskundige vectoren (embeddings) en opgeslagen in een speciale database.

Wanneer een gebruiker een vraag stelt, voert het systeem een ​​“similarity search” uit om de meest relevante passages te vinden en voegt deze toe aan de aanpak van LLM.Karpathy, die hij ‘ LLM-kennisbankverwerpt de complexiteit van vectordatabases voor middelgrote datasets.

Het berust veeleer op het verbeteren van het vermogen van de LLM om over gestructureerde teksten te redeneren.

Systeemarchitectuur, zoals gevisualiseerd door de gebruiker @himanshu als onderdeel van de bredere reactie op Karpathy’s post, die in drie verschillende fasen functioneert:

1. Gegevensopname: De grondstoffen – onderzoekspapers, GitHub-repository’s, datasets en webartikelen – worden gedumpt in een raw/ map. Karpathy gebruikt Obsidiaan websnijder om webinhoud om te zetten in Markdown (.md), zodat zelfs afbeeldingen lokaal worden opgeslagen, zodat LLM ernaar kan verwijzen via visiemogelijkheden.

2. Compilatiestappen: Dit is de kerninnovatie. In plaats van eenvoudigweg bestanden te indexeren, “compileert” LLM ze. Het leest ruwe gegevens en schrijft gestructureerde wiki’s. Dit omvat het maken van samenvattingen, het identificeren van sleutelconcepten, het schrijven van artikelen in encyclopediestijl en – het allerbelangrijkste – het creëren ervan backlink tussen verwante ideeën.

3. Actieve behandeling (pluizen): Dit systeem is niet statisch. Karpathy beschrijft het uitvoeren van een ‘gezondheidscontrole’ of ‘linting’ waarbij de LLM de wiki scant op inconsistenties, ontbrekende gegevens of nieuwe verbindingen. Als lid van de gemeenschap Charly Wargnier en merkt op: “Het fungeert als een levende AI-kennisbasis die zichzelf letterlijk geneest.”

Door Markdown-bestanden te behandelen als de “bron van de waarheid”, vermijdt Karpathy het “black box”-probleem van vectorinbedding. Elke claim van AI is terug te voeren op de specifieke claim .md bestanden die door mensen kunnen worden gelezen, bewerkt of verwijderd.

De gevolgen voor het bedrijf

Hoewel de huidige opzet van Karpathy wordt omschreven als ‘een verzameling gehackte scripts’, zijn de gevolgen voor het bedrijf onmiddellijk voelbaar.

Als ondernemer Vamshi Reddy (@tammireddy) merkte dit op als reactie op de aankondiging: “Elk bedrijf heeft een onbewerkte directory/. Niemand compileert deze ooit. Dat is het product.”

Karpathy is het daarmee eens en stelt dat deze methodologie een categorie “opmerkelijk nieuw product” vertegenwoordigt.

De meeste bedrijven zijn tegenwoordig ‘verdronken’ in ongestructureerde gegevens: Slack-logs, interne wiki’s en pdf-rapporten waar niemand de tijd voor heeft om ze te synthetiseren.

De bedrijfslaag in “Karpathy-stijl” zoekt niet alleen naar deze documenten; het zal actief een “Bedrijfsbijbel” creëren die in realtime wordt bijgewerkt.

Als AI-docent en nieuwsbriefschrijver Ole Lehmann noemde het X: “Ik denk dat iedereen die dit voor normale mensen verpakt, met iets groots bezig is. Eén app die synchroniseert met de tools die je al gebruikt, je bladwijzers, je later lezen-app, je podcast-app, je opgeslagen discussies.”

Eugen Alpeza, mede-oprichter en CEO van enterprise agent maker AI en orkestratie-startup Edra, merkte in bericht X op dat: “De overgang van een persoonlijke onderzoekswiki naar een bedrijfsoperatie was wreed. Duizenden werknemers, miljoenen records, conflicterende kennisgroepen binnen teams. Er was inderdaad ruimte voor een nieuw product en we waren het in eigen huis aan het bouwen.”

Terwijl de gemeenschap ‘Carpathian Patterns’ verkent, is de focus verschoven van particulier onderzoek naar orkestratie door meerdere agenten.

Recente architectonische schade door @jumperzoprichter van een platform voor het maken van AI-agenten Tweede vriendillustreert deze evolutie via een “Swarm Knowledge Base” die de wiki-workflow schaalt naar een systeem met 10 agenten dat wordt beheerd via OpenClaw.

De kernuitdaging van zwermen met meerdere agenten – waarbij een enkele hallucinatie het collectieve geheugen kan verergeren en ‘infecteren’ – wordt hier aangepakt via een speciale ‘Quality Gate’.

Met behulp van het Hermes-model (opgeleid door Nous Research voor gestructureerde evaluatie) als onafhankelijke monitor, wordt elk concept van een artikel beoordeeld en gevalideerd voordat het wordt gepromoveerd naar de “live” wiki.

Dit systeem creëert een ‘gecombineerde lus’: de agent dumpt de onbewerkte uitvoer, de compiler organiseert deze, Hermes valideert de juistheid ervan en de geverifieerde richtlijn wordt aan het begin van elke sessie teruggekoppeld naar de agent. Dit zorgt ervoor dat de groep nooit ‘leeg wakker wordt’, maar in plaats daarvan elke taak begint met een gefilterde, zeer integriteitsbriefing over alles wat ze gezamenlijk hebben geleerd.

Schaalbaarheid en prestaties

Een veelgehoorde kritiek op niet-vectorbenaderingen is schaalbaarheid. Karpathy merkt echter op dat op een schaal van ~100 artikelen en ~400.000 woorden het vermogen van LLM om door samenvattingen en indexbestanden te navigeren ruim voldoende is.

Voor afdelingswiki’s of persoonlijke onderzoeksprojecten introduceert de ‘fancy RAG’-infrastructuur vaak meer latentie en ‘ophaalproblemen’ dan het oplost.

Technologie podcaster Lex Fridman (@lexfridman) bevestigde dat hij een soortgelijke opstelling gebruikte, door een dynamische visualisatielaag toe te voegen:

“Ik laat het vaak dynamische html genereren (met js) waarmee ik gegevens kan sorteren/filteren en interactief aan visualisaties kan sleutelen. Een ander nuttig ding is dat ik het systeem tijdelijk gerichte mini-kennisbanken laat genereren… die ik vervolgens in LLM laad voor interacties in de spraakmodus tijdens runs van 7 tot 10 mijl.”

Dit “korte wiki”-concept wijst op een toekomst waarin gebruikers niet alleen maar “chatten” met AI; ze vormen teams van agenten om gespecialiseerde onderzoeksomgevingen voor specifieke taken te bouwen, die vervolgens worden ontbonden nadat het rapport is geschreven.

Machtigingen en de ‘file-over-app’-filosofie

Technisch gezien is de methodologie van Karpathy gebouwd op open standaarden (Markdown), maar bekeken door een gepatenteerde maar toch uitbreidbare lens (bestandsregistratie en het organiseren van applicaties Obsidiaan).

• Prijsverlaging (.md): Door voor Markdown te kiezen, zorgde Karpathy ervoor dat zijn kennisbank niet aan een bepaalde leverancier was gekoppeld. Het is toekomstbestendig; als Obsidian verdwijnt, blijft het bestand leesbaar voor elke teksteditor.

• Obsidiaan: Hoewel Obsidian een propriëtaire applicatie is, sluiten de ‘local first’-filosofie en de EULA (die gratis persoonlijk gebruik toestaat en een licentie vereist voor commercieel gebruik) aan bij het verlangen van de ontwikkelaar naar datasoevereiniteit.

• Gereedschap “Trillingscode”: De zoekmachines en CLI-tools die Karpathy noemde, zijn aangepaste scripts (hoogstwaarschijnlijk gebaseerd op Python) die de kloof overbruggen tussen LLM en het lokale bestandssysteem.

Deze ‘file-over-app’-filosofie vormt een directe uitdaging voor SaaS-modellen zoals Notion of Google Docs. In het model van Karpathy is de gebruiker de eigenaar van de gegevens, en is de AI slechts een geavanceerde editor die het bestand ‘bezoekt’ om het werk te doen.

Bibliothecaris versus zoekmachine

De AI-gemeenschap reageerde met een mix van technische validatie en ‘vibrational coding’-enthousiasme. Het debat concentreert zich op de vraag of de industrie Vector DB’s overgeïndexeerd heeft voor problemen die in wezen verband houden met structuur, en niet alleen met gelijkenis.

Jason Paul Michaels (@SpaceWelder314), een lasser die Claude gebruikt, was van mening dat eenvoudiger gereedschap vaak krachtiger is:

“Geen vectordatabase. Geen inbedding… Gewoon markdown, FTS5 en grep… Elke bugfix… wordt geïndexeerd. De kennis groeit.”

De belangrijkste lof kwam echter van hem Steph Ango (@Kepano), een van de makers van Obsidian, die een concept benadrukte met de naam ‘Contamination Mitigation’.

Hij suggereert dat gebruikers hun persoonlijke ‘kluizen’ schoon moeten houden en agenten in de ‘rommel’ moeten laten spelen, waarbij ze pas nuttige artefacten binnenbrengen nadat agentgerichte workflows er doorheen zijn gezeefd.

Welke oplossing is geschikt voor het trillingscoderingsproject van uw bedrijf?

De “Vector DB”-aanpak is als een groot, ongeorganiseerd magazijn met een zeer snelle vorkheftruckchauffeur. Je kunt van alles vinden, maar je weet niet waarom het daar is of hoe het zich verhoudt tot het palet ernaast. Karpathy’s “Markdown Wiki” is als een samengestelde bibliotheek met een hoofdbibliothecaris die voortdurend nieuwe boeken schrijft om de oude uit te leggen.

Volgende fase

Karpathy’s laatste verkenning leidt tot het uiteindelijke doel van deze data: het creëren en verfijnen van synthetische data.

Naarmate de wiki groeit en de gegevens “zuiverder” worden door voortdurende LLM-linting, wordt de wiki het perfecte trainingspakket.

In plaats van dat LLM de wiki simpelweg in een “contextvenster” leest, kunnen gebruikers uiteindelijk kleinere, efficiëntere modellen op de wiki zelf verfijnen. Dit zou de LLM in staat stellen de persoonlijke kennisbasis van de onderzoeker op zichzelf te ‘kennen’, waardoor een persoonlijk onderzoeksproject in essentie wordt omgezet in gespecialiseerde persoonlijke intelligentie.

Kortom: Karpathy deelde niet alleen het script; hij deelt zijn filosofie. Door LLM te behandelen als een actieve agent die zijn eigen geheugen onderhoudt, omzeilt het de beperkingen van ‘eenmalige’ AI-interacties.

Voor individuele onderzoekers betekent dit het einde van de ‘vergeten marker’.

Voor bedrijven betekent dit een transitie van ‘ruwe datameren’ naar ‘gecompileerde kennismiddelen’. Zoals Karpathy zelf samenvat: “Je zult wiki’s zelden handmatig schrijven of bewerken; dit is het domein van de LLM.” We betreden het tijdperk van autonome archieven.