Home Nieuws Van glimmende objecten tot grimmige realiteit: het verhaal van vectordatabases, twee jaar...

Van glimmende objecten tot grimmige realiteit: het verhaal van vectordatabases, twee jaar later

23
0
Van glimmende objecten tot grimmige realiteit: het verhaal van vectordatabases, twee jaar later

Toen ik voor het eerst schreef Vectordatabase: Glanzend objectsyndroom en de zaak van de vermiste eenhoorn in maart 2024 was de industrie overspoeld met opwinding. De vectordatabase is gepositioneerd als het volgende grote ding – een onmisbare infrastructuurlaag voor het AI-gentijdperk. Miljarden dollars aan durfkapitaal stromen binnen, ontwikkelaars haasten zich om de inbedding in hun pijplijnen te integreren, en analisten volgen ademloos de financieringsrondes voor dennenappel, zwak, Chroma, Vlieger en nog een tiental anderen.

De belofte is bedwelmend: eindelijk is er een manier om te zoeken op basis van betekenis, niet op basis van dubieuze trefwoorden. Voer gewoon uw bedrijfskennis in de vectorwinkel in, sluit de LLM aan en zie hoe de magie gebeurt.

Alleen komt de magie nooit volledig tot uiting.

Twee jaar later, tenminste realiteitscheck is gearriveerd: 95% van de organisaties die investeren in AI-initiatieven zien geen meetbare resultaten. En veel van de waarschuwingen die ik destijds heb geuit – over de beperkingen van vectoren, het drukke leverancierslandschap en de risico’s van het behandelen van vectordatabases als de beste oplossing – zijn bijna precies zo uitgekomen als voorspeld.

Voorspelling 1: Ontbrekende eenhoorn

Destijds vroeg ik me af of Pinecone – het uithangbord van de categorie – ooit de eenhoornstatus zou bereiken of dat het de ‘verloren eenhoorn’ van de databasewereld zou worden. Vandaag is die vraag zo duidelijk mogelijk beantwoord: dennenappels zijn dat wel naar verluidt het onderzoeken van een verkoopmoeite om uit te breken te midden van hevige concurrentie en klantenmigratie.

Ja, Pinecone heeft de grote rondes gemaakt en het grote logo ondertekend. Maar in de praktijk is het onderscheid klein. Open source-spelers als Milvus, Qdrant en Chroma verlagen hun kosten. Gevestigde spelers als Postgres (met pgVector) en Elasticsearch heeft zojuist vectorondersteuning als functie toegevoegd. En klanten vragen steeds vaker: “Waarom een ​​compleet nieuwe database introduceren als mijn bestaande stack al redelijk goed met vectoren overweg kan?”

Het resultaat: Pinecone, ooit gewaardeerd op bijna een miljard dollar, is nu op zoek naar een huis. Wat een verloren eenhoorn. In september 2025, Dennenappel duidt Ash Ashutosh aan als CEO, waarbij oprichter Edo Liberty de rol van hoofdwetenschapper op zich neemt. De timing is goed: de leiderschapsverandering komt te midden van toenemende druk en vragen over de onafhankelijkheid op de lange termijn.

Voorspelling 2: Vectoren alleen zullen niet voldoende zijn

Ik denk ook dat vectordatabases alleen niet de ultieme oplossing zijn. Als uw gebruiksscenario precisie vereist, zoals het zoeken naar ‘Error 221’ in de handleiding, zullen pure vectorzoekopdrachten ‘Error 222’ graag retourneren als ‘dichtbij genoeg’. Hilarisch in demo, rampzalig in productie.

De spanning tussen gelijkenis en relevantie is fataal gebleken voor de mythe van vectordatabases als machines voor algemene doeleinden.

“Bedrijven hebben op een harde manier ontdekt dat semantiek correct is.”

Ontwikkelaars die het lexicale zoeken met plezier inruilden voor vectoren, introduceerden snel het lexicale zoeken opnieuw in combinatie met vectoren. Teams die verwachten dat vectoren “gewoon werken” gaan uiteindelijk aan het filteren van metagegevens, herwaarderen en op maat gemaakte regels. Tegen 2025 is de consensus duidelijk: Vector heeft macht, maar alleen als onderdeel van een hybride stapel.

Voorspelling 3: Overvolle velden worden handelswaar

De hausse aan het opstarten van vectordatabases is nooit duurzaam geweest. Weaviate, Milvus (via Zilliz), Chroma, Vespa, Qdrant – elk claimt subtiele differentiatoren, maar voor de meeste kopers doen ze allemaal hetzelfde: de vector redden en de dichtstbijzijnde buur nemen.

Momenteel zijn er maar heel weinig van deze spelers uit. De markt is gefragmenteerd, gecommoditiseerd en in veel gevallen opgeslokt door gevestigde exploitanten. Vector zoeken is nu een selectievakje in clouddataplatforms, in plaats van een op zichzelf staande gracht.

Zoals ik destijds schreef: Het onderscheiden van de ene DB-vector van de andere zal steeds grotere uitdagingen met zich meebrengen. De uitdaging wordt steeds moeilijker. Gemeente, Margo, LanceDB, PostgresSQL, MySQL-hittegolf, Orakel 23c, Azure SQL, Cassandra, herhalen, Neo4j, Enkele winkel, Elastisch zoeken, Zoeken openen, Apahce Solr…de lijst gaat maar door.

Nieuwe realiteiten: hybride en GraphRAG

Maar dit is niet alleen een verhaal van verval – het is een verhaal van evolutie. Te midden van de vectorwaanzin ontstaan ​​nieuwe paradigma’s die de beste benaderingen combineren.

Hybride zoeken: trefwoord + vector is nu de standaard voor serieuze toepassingen. Bedrijven leren dat je precisie en ambiguïteit, precisie en semantiek nodig hebt. Tools als Apache Solr, Elasticsearch, pgVector en Pinecone’s “cascading retrieval” omarmen dit.

GrafischRAG: Het populairste modewoord eind 2024/2025 is GraphRAG: een verbeterde generatie voor het verbeterd ophalen van grafieken. Door vectoren te combineren met kennisgrafieken codeert GraphRAG relaties tussen entiteiten die alleen kunnen worden afgevlakt door ze in te bedden. De uitbetaling is dramatisch.

Benchmarks en bewijs

  • Amazon AI-blog waarbij benchmarks worden aangehaald Lettriawaarbij hybride GraphRAG de correctheid van antwoorden verbetert van ~50% naar meer dan 80% in testdatasets op het gebied van financiën, gezondheidszorg, industrie en recht.

  • Dat GraphRAG-Bench benchmark (uitgebracht in mei 2025) biedt een rigoureuze evaluatie van GraphRAG versus vanilla RAG voor redeneringstaken, multi-hop-query’s en domeinuitdagingen.

  • A Evaluatie van OpenReview RAG versus GraphRAG ontdekte dat elke aanpak voordelen heeft, afhankelijk van de taak, maar dat hybride combinaties vaak het beste presteren.

  • FalkorDB-blograpport dat wanneer schemaprecisie belangrijk is (gestructureerd domein), GraphRAG op bepaalde benchmarks een factor ~3,4x beter kan presteren dan het ophalen van vectoren.

De opkomst van GraphRAG onderstreept een groter punt: ophalen gaat niet over een glimmend object. Het gaat over bouwen ophaalsysteem – gelaagde, hybride, contextbewuste pijplijnen die LLM’s voorzien van de juiste informatie, met de juiste precisie, op het juiste moment.

Wat dit betekent voor de toekomst

De conclusie is: vectordatabases zijn nooit magisch. Het was een stap – een belangrijke – in de evolutie van zoeken en terugvinden. Maar deze dingen zijn niet het uiteindelijke doel en zijn dat ook nooit geweest.

De winnaars op dit gebied zijn niet degenen die vectoren als zelfstandige databases verkopen. Zij zullen degenen zijn die vectortracering in het bredere ecosysteem zullen inbedden – door grafieken, metadata, regels en context-engineering te integreren in een samenhangend platform.

Met andere woorden: Unicorn is geen vectordatabase. Eenhoorn is een plukstapel.

Vooruitkijken: hoe nu verder

  • Een verenigd dataplatform combineert vector + afbeeldingen: Verwacht van grote DB- en cloudleveranciers dat ze een geïntegreerde capture-stack (vector + afbeeldingen + volledige tekst) als ingebouwde mogelijkheid aanbieden.

  • “Retrieval engineering” zal naar voren komen als een aparte discipline: Naarmate MLOps volwassener worden, zullen de praktijken rond het afstemmen van de inbedding, hybride ranking en grafiekconstructie ook verbeteren.

  • Het metamodel leert queries beter te maken: Toekomstige LLM mogelijk leren om per zoekopdracht in te stellen welke ophaalmethode moet worden gebruikt, waarbij de gewichten dynamisch worden aangepast.

  • Tijdelijke en multimodale GraphRAG: Onderzoekers hebben GraphRAG uitgebreid om tijdsbewust te zijn (T-GRAG) en multimodaal geïntegreerd (bijvoorbeeld door afbeeldingen, tekst, video met elkaar te verbinden).

  • Open de benchmark- en abstractielaag: Gereedschappen zoals BenchmarkQED (voor RAG-benchmarking) en GraphRAG-Bench zullen de gemeenschap naar een eerlijker en schaalbaarder systeem duwen.

Van glimmende objecten tot kritische infrastructuur

Het verhaal van het vectordatabaseverhaal heeft een klassiek pad gevolgd: een cyclus van uitgebreide hype, gevolgd door introspectie, correctie en rijping. In 2025 zal het zoeken naar vectoren niet langer een interessant object zijn waar iedereen naar op zoek is; het is nu een essentieel element in meer geavanceerde ophaalarchitecturen met meerdere vertakkingen.

De oorspronkelijke waarschuwing was correct. Puur op vectoren gebaseerde verwachtingen blijven vaak hangen als gevolg van precisie, relationele complexiteit en bedrijfsbeperkingen. Maar deze technologie gaat nooit verloren: het dwingt de industrie om het ophalen te heroverwegen, waarbij semantische, lexicale en relationele strategieën met elkaar worden gecombineerd.

Als ik in 2027 een vervolg zou schrijven, vermoed ik dat het vectordatabases niet als eenhoorns zou beschouwen, maar als een verouderde infrastructuur – eenvoudig, maar overschaduwd door slimmere orkestratielagen, adaptieve ophaalcontrollers en dynamisch selecterende AI-systemen. Welke ophaalprogramma volgens de zoekopdracht.

Tegenwoordig gaat de echte strijd niet meer over vectoren versus trefwoorden; het gaat om het bedrog, de vermenging en de discipline van het bouwen van capture-paden die het genereren van AI op betrouwbare wijze baseren op feiten en domeinkennis. Dat is de eenhoorn waar we nu achteraan moeten gaan.

Amit Verma is hoofd engineering en het AI Lab bij Neuron7.

Lees meer van ons gastauteur. Of overweeg om uw eigen bericht in te dienen! Bekijk ons richtlijnen hier.

Nieuwsbron

LAAT EEN REACTIE ACHTER

Vul alstublieft uw commentaar in!
Vul hier uw naam in