Vectordatabases zijn naar voren gekomen als een onmisbare technologische basis aan het begin van de moderne generatie AI.
Wat het afgelopen jaar echter is veranderd, is dat vectoren, de numerieke weergave van gegevens die door LLM’s worden gebruikt, steeds meer een ander gegevenstype worden in een verscheidenheid aan verschillende databases. Nu maakt Amazon Web Services (AWS) de volgende sprong voorwaarts in het vectorbestaan met de algemene beschikbaarheid van Amazon S3 Vectors.
Amazon S3 is een AWS-cloudobjectopslagservice die veel wordt gebruikt door organisaties van elke omvang om alle soorten gegevens op te slaan. Vaak wordt S3 ook gebruikt als fundamenteel onderdeel voor data lake- en lakehouse-implementaties. Amazon S3 Vectors voegt nu native vectoropslag en zoekmogelijkheden voor gelijkenissen rechtstreeks toe aan S3-objectopslag. In plaats van een afzonderlijke vectordatabase nodig te hebben, kunnen organisaties vectorinsluitingen opslaan in S3 en deze bevragen voor semantische zoek-, retrieval-augmented generation (RAG)-toepassingen en AI-agentworkflows zonder de gegevens naar een speciale infrastructuur te verplaatsen
De service werd voor het eerst bekeken in juli met een initiële capaciteit van 50 miljoen vectoren in één index. Met de release van GA heeft AWS dit dramatisch uitgebreid tot 2 miljard vectoren in één index en tot 20 biljoen vectoren per S3-opslagbucket.
Volgens AWS hebben klanten in de vier maanden sinds de lancering van de preview meer dan 250.000 vectorindexen gemaakt en meer dan 40 miljard vectoren opgenomen. Dankzij de grotere schaal met de lancering van GA kunnen organisaties nu volledige vectordatasets consolideren in één enkele index in plaats van ze te fragmenteren over de infrastructuur. De lancering van GA schudt ook het bedrijfsdatalandschap wakker door een nieuwe, productieklare benadering van vectoren te bieden die het potentieel heeft om de op maat gemaakte vectordatabasemarkt te ontwrichten.
Brandstof toevoegen aan de concurrentie, AWS claim dat de diensten van S3 Vector organisaties kunnen helpen “de totale kosten voor vectoropslag en query’s met wel 90% te verlagen in vergelijking met speciale vectordatabaseoplossingen.”
AWS positioneert S3 Vectors als complementair, en niet concurrerend, voor vectordatabases
Hoewel Amazon S3 vector een krachtige reeks vectormogelijkheden biedt, is het antwoord op de vraag of het de behoefte aan een speciale vectordatabase kan vervangen een beetje anders – en hangt af van wie je het vraagt.
Ondanks agressieve kostenclaims en dramatische schaalvergroting positioneert AWS S3 Vectors als een aanvullende opslaglaag in plaats van een directe vervanging voor speciale vectordatabases.
“Klanten kiezen of ze S3-vectoren of een vectordatabase gebruiken op basis van de latentiebehoeften van applicaties”, vertelde Mai-Lan Tomsen Bukovec, VP technologie bij AWS, aan VentureBeat.
Bukovec merkt op dat je dit onder andere kunt zien als ‘prestatieniveaus’, gebaseerd op de applicatiebehoeften van een organisatie. Hij merkt op dat als een applicatie supersnelle responstijden met lage latentie nodig heeft, een vectordatabase zoals Amazon OpenSearch een goede keuze is.
“Maar voor veel soorten bewerkingen, zoals het bouwen van lagen van semantisch begrip op bestaande gegevens of het uitbreiden van het geheugen van agenten met meer context, is S3 Vectors uitstekend geschikt.”
De vraag of S3 en goedkope objectopslag in de cloud databasetypen zullen vervangen, is niet nieuw voor dataprofessionals. Bukovec maakte een analogie over hoe bedrijven tegenwoordig datameren gebruiken.
“Ik verwacht dat we vectoropslag op dezelfde manier zullen zien evolueren als tabelgegevens in datalakes, waar klanten transactionele databases zoals Amazon Aurora blijven gebruiken voor bepaalde soorten workloads en parallel S3 gebruiken voor applicatieopslag en analyse, omdat het prestatieprofiel werkt en ze de kenmerken van S3 nodig hebben in termen van veerkracht, schaalbaarheid, beschikbaarheid en kostenbesparingen naarmate de data groeit.”
Hoe verzoeken en eisen van klanten de Amazon S3 Vector-service vormgeven
Tijdens de eerste paar maanden van de preview leerde AWS wat echte zakelijke klanten echt willen en nodig hebben van vectorgegevensopslag.
“We kregen veel zeer positieve feedback van de preview en klanten vertelden ons dat ze die mogelijkheid wilden, maar op een veel grotere schaal en met een lagere latentie, zodat ze S3 konden gebruiken als de primaire vectoropslag voor het grootste deel van hun snelgroeiende vectoropslag”, aldus Bukovec.
Naast de grotere schaal is de latentie van zoekopdrachten verbeterd tot ongeveer 100 milliseconden of minder voor frequente zoekopdrachten, waarbij niet-frequente zoekopdrachten in minder dan een seconde worden voltooid. AWS heeft het maximale aantal zoekresultaten per zoekopdracht verhoogd van 30 naar 100, en de schrijfprestaties ondersteunen nu tot 1.000 PUT-transacties per seconde voor een enkele vectorupdate.
Gebruiksscenario’s die terrein winnen, zijn onder meer hybride zoeken, uitbreiding van het geheugen van agenten en het creëren van semantische lagen op bestaande gegevens.
Bukovec merkte op dat een preview-klant, March Networks, S3 Vectors gebruikt voor grootschalige video- en foto-intelligentie.
“De economische aspecten van vectoropslag en latentieprofielen zorgen ervoor dat March Networks op een economische manier miljarden vectorinbeddingen kan opslaan”, zei hij. “Onze native integratie met Amazon Bedrock maakt het eenvoudig om vectoropslag te integreren in generatieve AI- en videoworkflows.”
Verkopers van vectordatabases benadrukken prestatieverschillen
Aanbieders van aangepaste vectordatabases wezen op aanzienlijke prestatieverschillen tussen hun aanbod en de opslaggerichte aanpak van AWS.
Aanbieder van op maat gemaakte vectordatabases, incl dennenappelOnder andere Weaviate, Qdrant en Chroma hebben productie-implementaties geïmplementeerd met geavanceerde indexeringsalgoritmen, realtime updates en query-optimalisaties die speciaal zijn gebouwd voor latentiegevoelige workloads.
Pinecone ziet Amazon S3 Vectors bijvoorbeeld niet als een competitieve uitdaging voor zijn vectordatabase.
“Voordat Amazon S3 Vectors voor het eerst werd gelanceerd, werden we over het project verteld en vonden we de kostenprestaties niet direct concurrerend op schaal”, vertelde Jeff Zhu, VP Product bij Pinecone, aan VentureBeat. “Dit geldt vooral nu voor onze Dedicated Read Nodes, waar bijvoorbeeld onze grote klant op de e-commerce marktplaats onlangs aanbevelingen voor gebruiksscenario’s heeft gebenchmarkt met 1,4 miljard vectoren en 5,7k QPS heeft bereikt bij 26 ms p50 en 60 ms p99.”
Analisten zijn verdeeld over de toekomst van vectordatabases
Deze lancering heeft het debat opnieuw aangewakkerd over de vraag of vectorzoeken een op zichzelf staande productcategorie blijft of een functie wordt die door grote cloudplatforms wordt gecommoditiseerd door middel van opslagintegratie.
“Het is duidelijk dat vectoren een kenmerk zijn, en geen product”, schreef Corey Quinn, hoofdwolkeneconoom bij The Duckbill Group, in een bericht op X (voorheen Twitter) naar aanleiding van vragen van VentureBeat. “Iedereen zal nu spreken; de rest zal binnenkort spreken.”
Constellation Research-analist Holger Mueller ziet Amazon S3 Vectors ook als een concurrentiebedreiging voor onafhankelijke leveranciers van vectordatabases.
“Nu is het terug aan de vectorleveranciers om ervoor te zorgen dat ze voorop lopen en beter zijn”, vertelde Mueller aan VentureBeat. “Suites winnen altijd in bedrijfssoftware.”
Mueller benadrukte ook de voordelen van de aanpak van AWS bij het elimineren van gegevensbewegingen. Hij merkt op dat vectoren een manier zijn om LLM’s bedrijfsgegevens te laten begrijpen. De echte uitdaging is hoe je dit kunt vectoriseren, wat inhoudt hoe de gegevens worden verplaatst en hoe vaak. Door vectorondersteuning toe te voegen aan S3, waarin al grote hoeveelheden bedrijfsgegevens zijn opgeslagen, kunnen uitdagingen op het gebied van gegevensverplaatsing worden overwonnen.
“CxO’s zijn dol op deze aanpak, omdat er geen gegevensverplaatsing nodig is om de vector te creëren”, zegt Mueller.
Gartner’s top VP-analist, Ed Anderson, ziet AWS groeien met deze nieuwe dienst, maar verwacht niet dat dit het einde betekent van vectordatabases. Hij merkt op dat organisaties die S3 gebruiken voor objectopslag hun gebruik van S3 kunnen vergroten en mogelijk de behoefte aan speciale leveranciersdatabases kunnen elimineren. Dit zal de waarde voor S3-klanten vergroten en tegelijkertijd hun afhankelijkheid van S3-opslag vergroten.
Zelfs met het groeipotentieel van AWS zijn vectordatabases nog steeds noodzakelijk, althans voorlopig.
“Amazon S3 Vectors zal klanten ten goede komen, maar het zal de behoefte aan vectordatabases niet wegnemen, vooral wanneer gebruiksscenario’s high-performance dataservices met lage latentie vereisen”, vertelde Anderson aan VentureBeat.
AWS zelf lijkt deze complementaire visie te omarmen en tegelijkertijd voortdurende prestatieverbeteringen te signaleren.
“We zijn nog maar net begonnen met de schaal en prestaties voor S3 Vectors,” zei Bukovec. “Net zoals we de prestaties van het lezen en schrijven van gegevens naar S3 hebben verbeterd voor alles, van video tot Parquet-bestanden, zullen we hetzelfde doen voor vectoren.”
Wat dit betekent voor het bedrijf
Naast het debat over de vraag of vectordatabases kunnen overleven als op zichzelf staande producten, zullen ondernemingsarchitecten binnenkort beslissingen moeten nemen over de manier waarop vectorwinkels moeten worden ingezet voor productie-AI-workloads.
Het performance tiering-framework biedt een duidelijker beslissingspad voor ondernemingsarchitecten die opties voor vectoropslag evalueren.
S3 Vectors werkt voor workloads die een latentie van 100 ms tolereren: semantisch zoeken in grote documentverzamelingen, agentgeheugensystemen, batchanalyse van vectorinbedding en ophalen van achtergrond-RAG-context. De economische aspecten zijn op schaal aantrekkelijk voor organisaties die hebben geïnvesteerd in de AWS-infrastructuur.
Toegewijde vectordatabases blijven nodig voor latentiegevoelige gebruiksscenario’s: real-time aanbevelingsengines, zoekopdrachten met hoge doorvoer die duizenden gelijktijdige zoekopdrachten bedienen, interactieve applicaties waarbij gebruikers synchroon op resultaten en werklasten wachten met kostenverlagende prestatieconsistentie.
Voor organisaties die beide soorten workloads uitvoeren, weerspiegelt de hybride aanpak hoe bedrijven datameren hebben gebruikt, waarbij ze aangepaste vectordatabases hebben ingezet voor prestatiekritieke queries, terwijl ze S3 Vectors gebruikten voor schaalbare opslag en minder tijdgevoelige bewerkingen.
De belangrijkste vraag is niet of de bestaande infrastructuur moet worden vervangen, maar hoe vectoropslag op verschillende prestatieniveaus moet worden ontworpen op basis van de werklastvereisten.
