Wanneer uw gemiddelde dagelijkse tokengebruik 8 miljard per dag bedraagt, wordt u geconfronteerd met een grootschalig probleem. Dit gebeurde bij AT&T en Chief Data Officer Andy Markus en zijn team beseften dat het niet mogelijk (of economisch) was om alles via grote redeneermodellen te sturen. Dus toen AT&T’s interne Ask AT&T persoonlijke assistent bouwde, reconstrueerden ze de orkestratielaag. Het resultaat: een multi-agentstack gebouwd op LangChain, waarbij grote “superagent”-taalmodellen kleinere, onderliggende “werknemers”-agenten aansturen om meer gestroomlijnd, doelgericht werk te doen. Deze flexibele orkestratielaag heeft de latentie, snelheid en responstijd aanzienlijk verbeterd, vertelde Markus aan VentureBeat. Het meest opvallende is dat zijn team kostenbesparingen tot wel 90% heeft gerealiseerd. “Ik geloof dat de toekomst van agent AI veel kleine taalmodellen (SLM’s) zijn”, zei hij. “We ontdekten dat kleine taalmodellen in bepaalde domeingebieden net zo nauwkeurig, misschien zelfs net zo nauwkeurig waren als grote taalmodellen.”
Onlangs hebben Markus en zijn team deze opnieuw ontworpen stapel gebruikt in combinatie met Microsoft Azure om Ask AT&T Workflow te bouwen en te implementeren, een grafische drag-and-drop-agentbuilder waarmee werknemers taken kunnen automatiseren.
Agenten gebruiken de reeks tools van AT&T die documentverwerking, conversie van natuurlijke taal naar SQL en beeldanalyse verzorgen. “Wanneer workflows worden uitgevoerd, zijn het AT&T-gegevens die de besluitvorming bepalen”, aldus Markus. In plaats van algemene vragen te stellen, “stellen we vragen over onze gegevens, en gebruiken we onze gegevens om ervoor te zorgen dat deze zich op onze informatie richten bij het nemen van beslissingen.” Mensen houden echter altijd de ‘kettingreactie’ van agenten in de gaten. Alle acties van agenten worden vastgelegd, gegevens worden gedurende het hele proces geïsoleerd en op rollen gebaseerde toegang wordt afgedwongen wanneer agenten werklasten aan elkaar doorgeven. “Alles gebeurt zelfstandig, maar de betrokken mensen zorgen nog steeds voor checks and balances in het hele proces”, aldus Markus.
Zonder overdrijven, met behulp van ‘uitwisselbare en selecteerbare’ modellen
AT&T heeft geen ‘alles vanaf nul opbouwen’-mentaliteit, zei Markus; ze vertrouwen meer op ‘verwisselbare en selecteerbare’ modellen en ‘bouwen nooit een product opnieuw op’. Naarmate de functionaliteit in de hele sector volwassener wordt, zullen ze het gebruik van tools van eigen bodem geleidelijk afschaffen in plaats van kant-en-klare opties, legde hij uit. “Omdat in deze ruimte de dingen elke week veranderen, als we geluk hebben, soms meerdere keren per week”, zei hij. “We moeten verschillende componenten kunnen testen, verbinden en verbinden.” Ze voeren een “zeer rigoureuze” evaluatie uit van de beschikbare opties en die van henzelf; Hun Ask Data with Relational Knowledge Graph staat bijvoorbeeld bovenaan de tekst op het nauwkeurigheidsscorebord van SQL Spider 2.0, en andere tools hebben hoog gescoord op de BERT SQL-benchmark. In het geval van de lokale agenttool gebruikte zijn team LangChain als het kernframework, verfijnde het model met standaard retrieval-augmentedgeneration (RAG) en andere interne algoritmen, en werkte nauw samen met Microsoft, waarbij gebruik werd gemaakt van de zoekfunctie van de technologiegigant voor hun vectoropslag. Maar uiteindelijk is het belangrijk om niet zomaar agent-AI of andere geavanceerde tools in alles te integreren, adviseert Markus. ‘Soms maken we dingen te ingewikkeld’, zegt hij. “Soms zie ik over-engineered oplossingen.” In plaats daarvan moeten bouwers zich afvragen of een bepaald hulpmiddel echt een middel moet zijn. Dit kunnen vragen zijn als: Welk nauwkeurigheidsniveau zou kunnen worden bereikt als de generatieve oplossing met één lus eenvoudiger zou zijn? Hoe konden ze het in kleinere delen opsplitsen, zodat elk deel ‘nauwkeuriger’ kon worden overgebracht?, zoals Markus het uitdrukte. Nauwkeurigheid, kosten en reactievermogen van tools moeten kernprincipes zijn. “Zelfs als de oplossingen complexer worden, geven deze drie basisprincipes ons nog steeds veel richting”, zei hij.
Hoe 100.000 medewerkers het daadwerkelijk gebruiken
AT&T’s Ask Workflow is uitgerold naar meer dan 100.000 werknemers. Meer dan de helft zegt het elke dag te gebruiken, en actieve gebruikers melden productiviteitsstijgingen tot wel 90%, aldus Markus. “We zullen zien of ze het systeem herhaaldelijk gebruiken? Omdat plakkerigheid een goede indicator is voor succes”, zei hij. Bureaubouwers bieden ‘twee trajecten’ aan voor medewerkers. Een daarvan is pro-code, waarbij gebruikers Python achter de schermen kunnen programmeren en de regels kunnen definiëren voor hoe de agent werkt. De andere is codeloos en beschikt over een visuele interface met slepen en neerzetten voor een “redelijk lichtgewicht gebruikerservaring”, aldus Markus. Interessant is dat zelfs gevorderde gebruikers zich aangetrokken voelen tot de laatste optie. Bij een recente hackathon gericht op een technisch publiek kregen deelnemers de keuze uit beide en koos ruim de helft voor low code. “Dit was een verrassing voor ons, omdat deze mensen zeer bekwaam zijn op het gebied van programmeren”, aldus Markus. Werknemers gebruiken agenten voor verschillende functies; Een netwerkingenieur kan bijvoorbeeld een reeks systemen maken om waarschuwingen af te handelen en klanten opnieuw te verbinden wanneer de connectiviteit verloren gaat. In dit scenario kan één agent telemetrie verbinden om netwerkproblemen en hun locaties te identificeren, wijzigingslogboeken op te halen en te controleren op bekende problemen. Vervolgens kan het een probleemticket openen. Andere agenten kunnen dan manieren vinden om het probleem op te lossen en zelfs nieuwe code schrijven om het probleem op te lossen. Zodra het probleem is opgelost, kan de derde agent een samenvatting schrijven met preventieve maatregelen voor de toekomst. “Een (menselijke) ingenieur houdt toezicht op alles, zorgt ervoor dat de agent naar verwachting werkt en passende actie onderneemt”, aldus Markus.
Codering op basis van AI heeft de toekomst
Diezelfde technische discipline – het opdelen van werk in kleinere, op maat gemaakte stukken – verandert nu de manier waarop AT&T zijn eigen code schrijft, via wat Markus ‘AI-aangedreven codering’ noemt. Hij vergeleek het proces met RAG; ontwikkelaars gebruiken agile codeermethoden in een geïntegreerde ontwikkelomgeving (IDE) samen met ‘functiespecifieke’ build-archetypen die definiëren hoe de code moet interageren. De uitvoer is geen losse code; de code ligt “zeer dicht bij het productieniveau” en kan die kwaliteit in één keer bereiken. “We hebben allemaal met vibratiecodering gewerkt, waarbij we een code-editor van het type agent hebben”, zegt Markus. Maar op AI gebaseerde codering “elimineert een groot deel van de herhaling die je zou kunnen tegenkomen bij vibratiecodering.” Hij beschouwt deze codeertechniek als het “letterlijk herdefiniëren” van de softwareontwikkelingscyclus, waardoor de ontwikkelingstijdlijnen uiteindelijk worden verkort en de codedoorvoer op productieniveau wordt vergroot. Niet-technische teams kunnen ook meedoen aan de actie, waarbij ze eenvoudige taalinstructies gebruiken om softwareprototypes te maken. Zijn team heeft deze techniek bijvoorbeeld gebruikt om in twintig minuten een intern samengesteld dataproduct te creëren; zonder AI zou de bouw zes weken hebben geduurd. “We ontwikkelen er software mee, passen er software mee aan, doen er data science mee, doen er data-analyse mee, doen er data-engineering mee”, aldus Markus. “Dit is dus een gamechanger.”
