Amazon Web Services maakt het mogelijk toegang krijgen tot gegevens die zijn opgeslagen in de S3-cloudopslagdienst als traditioneel bestandssysteem, dat de kloof overbrugt tussen twee soorten opslag die ontwikkelaars en datawetenschappers al bijna twintig jaar frustreert.
Nieuwe vaardigheden, genoemd Amazon S3-bestandenzorgt ervoor dat applicaties die op AWS draaien toegang krijgen tot een S3-opslagbucket alsof het een lokaal bestandssysteem is, waarbij gegevens worden gelezen en geschreven met behulp van standaard bestandsbewerkingen in plaats van speciale cloudopslagopdrachten.
In de praktijk betekent dit dat machine learning-teams trainingstaken rechtstreeks op basis van gegevens in S3 kunnen uitvoeren zonder deze eerst naar een afzonderlijk bestandssysteem te kopiëren. Of, misschien nog belangrijker, tegenwoordig kunnen AI-agenten bestanden in S3 lezen en schrijven met dezelfde basistools die op lokale harde schijven worden gebruikt.
S3, twintig jaar geleden gelanceerdslaat een groot deel van de cloudgegevens ter wereld op. S3 Files belooft de deur te openen voor meer applicaties en AI-systemen om rechtstreeks met die gegevens te werken.
Achtergrond: In de een ongelooflijk eerlijk essay samenvallend met dit nieuws, Andy Warfieldvice-president en topingenieur die leiding geeft aan S3-engineering bij AWS, legt de technische en filosofische uitdagingen uit om deze functie te laten werken, en waarom de eerste aanpak mislukte.
Het kernprobleem, zo schreef Warfield, is dat bestanden en objecten fundamenteel verschillend zijn.
Bestanden kunnen ter plekke worden bewerkt en in realtime tussen applicaties worden gedeeld, wat werkt zoals de meeste software zou verwachten. Objecten in S3 werken anders: ze zijn ontworpen om als complete eenheden te worden opgeslagen en opgehaald, en miljoenen applicaties zijn op die veronderstelling gebouwd.
Dus “deden ze het enige verstandige wat je kunt doen als je met een heel moeilijk technisch ontwerpprobleem wordt geconfronteerd: we sloten een groep van onze meest ervaren ingenieurs op in een kamer en lieten ze pas vrij als ze een plan hadden dat ze allemaal leuk vonden”, schreef Warfield.
“Er volgde een gepassioneerde en controversiële discussie”, zei hij. “En uiteindelijk hebben we het opgegeven.”
Maar uiteindelijk vond het team het antwoord door niet langer te proberen de grenzen tussen bestanden en objecten te verbergen, maar ze in plaats daarvan een opzettelijk onderdeel van het ontwerp te maken.
De aanpak: S3 Files maakt gebruik van een ‘stage and commit’-model, waarbij concepten worden overgenomen van versiebeheersystemen zoals Git: wijzigingen worden verzameld aan de kant van het bestandssysteem en teruggestuurd naar S3 als een algemeen object, waarbij het onderpand waar de bestaande S3-applicatie op vertrouwt, behouden blijft.
Google en Microsoft bieden hun eigen tools voor toegang tot objectopslag in de cloud via bestandssysteeminterfaces, maar AWS positioneert S3 Files als een diepere integratie, ondersteund door een volledig beheerd bestandssysteem, en niet als een eenvoudige adapter.
S3 Files is nu beschikbaar in AWS-regio’s over de hele wereld, gebouwd op het Elastic File System van Amazon. Het bedrijf zei dat het al ongeveer negen maanden klantentests uitvoerde.
