Soms wil je iets kopiëren, maar wil je niet dat het op internet terechtkomt zodat een hacker het kan zien. Misschien is het een gesprek met uw arts of advocaat. Misschien ben je een journalist en is dit een gevoelig interview. Privacy en controle zijn belangrijk.
Het verlangen naar privacy is een van de redenen waarom de Franse ontwikkelaar Mistral AI zijn nieuwste transcriptiemodel vrij klein heeft gebouwd op het apparaat uitvoeren. Ze kunnen op uw telefoon, op uw laptop of in de cloud worden uitgevoerd.
Voxtral Mini-transcriptie 2een van de nieuwe modellen die woensdag werd aangekondigd, is ‘super, superklein’, vertelde Pierre Stock, vice-president wetenschappelijke operaties van Mistral. Een ander nieuw model, Voxtral Realtime, kan hetzelfde doen, maar dan direct, zoals ondertiteling.
Privacy is niet de enige reden waarom bedrijven klein willen bouwen open source-model. Door rechtstreeks op het apparaat dat u gebruikt te draaien, kan dit model sneller werken. U hoeft niet meer te wachten tot bestanden via internet hun weg naar het datacenter vinden en omgekeerd.
“Wat je wilt, is dat de transcriptie heel, heel dichtbij je gebeurt”, zei Stock. “En de dichtstbijzijnde apparaten die we kunnen vinden zijn alle edge-apparaten, bijvoorbeeld laptops, telefoons en draagbare apparaten zoals smartwatches.”
Lage latentie (lees: hoge snelheid) is van cruciaal belang voor realtime transcriptie. Voxtral Realtime-modellen kunnen latencies van minder dan 200 milliseconden leveren, aldus Stock. Het kan de woorden van de spreker net zo snel transcriberen als u ze kunt lezen. U hoeft niet langer twee of drie seconden te wachten totdat de ondertiteling is ingehaald.
Bekijk dit: Chiptekort heeft gevolgen voor iPhone, OpenAI stopt investeringen, TikTok-censuurbeschuldigingen | Technologie vandaag
Voxtral Realtime-modellen zijn beschikbaar via de Mistral API en in Knuffelgezichtsamen met een demo waar je het kunt proberen.
Bij enkele snelle tests ontdekte ik dat het vrij snel werd gegenereerd (hoewel niet zo snel als je zou verwachten als het op het apparaat stond) en erin slaagde om nauwkeurig vast te leggen wat ik zei in het Engels met een beetje Spaans erin gemengd. Momenteel kan het volgens Mistral 13 talen verwerken.
Voxtral Mini Transcribe 2 is ook beschikbaar via de API van het bedrijf, of je kunt ermee spelen Mistral AI-studio. Ik heb het model gebruikt om mijn interview met Stock te transcriberen.
Ik heb gemerkt dat het snel en redelijk betrouwbaar is, hoewel het worstelt met eigennamen als Mistral AI (die Mr. Lay Eye heet) en Voxtral (VoxTroll). Ja, het AI-model heeft de naam verkeerd. Maar Stock zegt dat gebruikers het model kunnen aanpassen om bepaalde woorden, namen en jargon beter te begrijpen als ze het voor een specifieke taak gebruiken.
De uitdaging bij het bouwen van kleine, snelle AI-modellen is dat ze ook nauwkeurig moeten zijn, aldus Stock. Het bedrijf prees de prestaties van het model op benchmarks die betere foutenpercentages lieten zien dan die van concurrenten.
‘Het is niet genoeg om alleen maar te zeggen: oké, ik maak een klein model’, zei Stock. “Wat je nodig hebt is een klein model dat dezelfde kwaliteit heeft als het grote model, toch?”
