Bij het bouwen van RAG-systemen (Retrieval-Augmented Generation) voor AI-agenten worden vaak meerdere lagen en technologieën gebruikt voor gestructureerde gegevens, vectoren en grafische informatie. De afgelopen maanden is het ook steeds duidelijker geworden dat AI-systemen van agenten geheugen nodig hebben, ook wel contextueel geheugen genoemd, om effectief te kunnen functioneren.
De complexiteit en synchronisatie van het hebben van verschillende gegevenslagen om context mogelijk te maken, kan prestatie- en nauwkeurigheidsproblemen veroorzaken. Dit is de uitdaging die SurrealDB wil oplossen.
SurrealDB lanceerde dinsdag versie 3.0 van dezelfde database, samen met een Series A-extensie van $ 23 miljoen, wat de totale financiering op $ 44 miljoen brengt. Bedrijven hebben verschillende architecturale benaderingen gekozen, van relationele databases zoals PostgreSQL, native vectordatabases zoals Pinecone of grafische databases zoals Neo4j. OpenAI-ingenieursteam heeft onlangs gedetailleerd beschreven hoe ze Postgres hebben opgeschaald naar 800 miljoen gebruikers het gebruik van leesreplica’s: een aanpak die werkt voor leesintensieve werklasten. SurrealDB hanteert een andere aanpak: sla agentgeheugen, bedrijfslogica en multimodale gegevens rechtstreeks in de database op. In plaats van te synchroniseren tussen meerdere systemen, worden vectorzoekopdrachten, grafiekdoorgangen en relationele zoekopdrachten allemaal transactioneel uitgevoerd in één consistentiebehoudende Rust-native engine.
“Mensen gebruiken DuckDB, Postgres, Snowflake, Neo4j, Quadrant of Pinecone tegelijkertijd, en dan vragen ze zich af waarom ze geen goede nauwkeurigheid kunnen krijgen op hun agenten”, vertelde Tobie CEO en mede-oprichter Morgan Hitchcock aan VentureBeat. “Dat komt omdat ze vijf verschillende vragen naar vijf verschillende databases moeten sturen die alleen de kennis of context hebben waar ze mee te maken hebben.”
De architectuur is geaccepteerd door ontwikkelaars, met tot nu toe 2,3 miljoen downloads en 31.000 GitHub-sterren voor de database. Bestaande toepassingen omvatten geavanceerde apparaten in auto’s en verdedigingssystemen, een productaanbevelingsengine voor een grote retailer in New York en Android-advertentietechnologie, aldus Hitchcock.
Het AI-geheugen van de agent wordt ingevoerd in een database
SurrealDB slaat agentgeheugen op als grafiekrelaties en semantische metagegevens rechtstreeks in de database, niet in applicatiecode of externe cachelagen.
Met het plug-insysteem Surrealism in SurrealDB 3.0 kunnen ontwikkelaars definiëren hoe agenten dit geheugen opbouwen en opvragen; de logica draait in een database met transactionele garanties, niet in middleware.
Dit betekent in de praktijk het volgende: wanneer een agent interactie heeft met gegevens, creëert hij een contextgrafiek die entiteiten, beslissingen en domeinkennis met elkaar verbindt als databaserecords. Deze relaties kunnen worden opgevraagd via dezelfde SurrealQL-interface die wordt gebruikt voor het zoeken naar vector- en gestructureerde gegevens. Agenten die klantproblemen opvragen, kunnen grafiekverbindingen met gerelateerde incidenten uit het verleden doorzoeken, vectorinsluitingen uit vergelijkbare cases ophalen en combineren met gestructureerde klantgegevens – alles in één transactionele zoekopdracht.
“Mensen willen niet langer alleen de meest recente gegevens bewaren”, zegt Hitchcock. “Ze willen al die gegevens opslaan. Ze willen analyseren en AI alle gegevens van een organisatie van de afgelopen twee jaar laten begrijpen en erop laten draaien, omdat dat hun modellen en hun AI-agenten informatie kan geven over de context en de geschiedenis, en daardoor betere resultaten kan opleveren.”
Hoe SurrealDB-architectuur verschilt van traditionele RAG-stacks
Traditionele RAG-systemen bevragen databases op basis van gegevenstype. Ontwikkelaars schrijven afzonderlijke zoekopdrachten voor het zoeken naar vectorgelijkenis, het doorlopen van grafieken en relationele joins, en combineren de resultaten vervolgens in applicatiecode. Dit veroorzaakt synchronisatievertragingen omdat query’s heen en weer gaan tussen systemen.
In plaats daarvan legt Hitchcock uit dat SurrealDB gegevens opslaat als binair gecodeerde documenten met grafiekrelaties er direct naast ingebed. Eén enkele zoekopdracht via SurrealQL kan grafiekrelaties doorkruisen, vectorgelijkenisonderzoeken uitvoeren en gestructureerde records samenvoegen zonder de database te verlaten.
De architectuur heeft ook invloed op de manier waarop consistentie op schaal werkt: elk knooppunt behoudt de transactionele consistentie, zelfs op een schaal van meer dan 50 knooppunten, aldus Hitchcock. Wanneer de agent een nieuwe context naar knooppunt A schrijft, ziet de query op knooppunt B de update onmiddellijk. Geen caching, geen leesreplica’s.
“Veel van onze gebruiksscenario’s, veel van onze applicaties, zijn gegevens die voortdurend worden bijgewerkt en de relaties, context, semantisch begrip of grafiekrelaties tussen die gegevens moeten voortdurend worden bijgewerkt”, zei hij. “Er is dus geen caching. Er zijn geen leesreplica’s. In SurrealDB is alles transactioneel.”
Wat dit betekent voor enterprise-IT
“Het is belangrijk om te zeggen dat SurrealDB niet voor elke taak de beste database is. Ik zou graag willen zeggen dat wij de beste database zijn, maar dat is niet het geval. En jij kunt niet de beste database zijn”, zei Hitchcock. “Als je alleen petabytes aan gegevens moet analyseren en die gegevens nooit daadwerkelijk bijwerkt, kun je het beste objectopslag of een kolomdatabase gebruiken. Als je alleen met vectorzoekopdrachten te maken hebt, kun je een vectordatabase zoals Quadrant of Pinecone gebruiken, en dat is genoeg.”
Het keerpunt komt wanneer u meerdere gegevenstypen tegelijk nodig heeft. De praktische voordelen zijn zichtbaar in het ontwikkelingsschema. Wat vroeger maanden kostte om te bouwen met multi-database-orkestratie, kan nu in enkele dagen worden gelanceerd, zei Hitchcock.
