Uit een nieuw onderzoek van Google blijkt dat geavanceerde redeneermodellen hoge prestaties leveren door debatten met meerdere agenten te simuleren, waarbij verschillende perspectieven, persoonlijkheidskenmerken en domeinexpertise betrokken zijn.
Uit hun experimenten bleek dat dit interne debat, dat zij “samenleving van het denkenverbetert de modelprestaties aanzienlijk bij complexe redeneer- en planningstaken. De onderzoekers ontdekten dat toonaangevende redeneermodellen zoals DeepSeek-R1 en QwQ-32B, die waren getraind via versterkend leren (RL), ontwikkelt inherent het vermogen om deel te nemen aan gemeenschapsgedachtegesprekken zonder expliciete instructies.
Deze bevindingen bieden een routekaart voor hoe ontwikkelaars robuustere LLM-applicaties kunnen bouwen en hoe bedrijven superieure modellen kunnen trainen met behulp van hun eigen interne gegevens.
Wat wordt bedoeld met een denkmaatschappij?
Het uitgangspunt van denkgemeenschappen is dat redeneermodellen leren de sociale dialoog met meerdere actoren te imiteren om hun logica te verbeteren. Deze hypothese is gebaseerd op de cognitieve wetenschap, met name op het idee dat de menselijke rede zich in de eerste plaats heeft ontwikkeld als een sociaal proces van het oplossen van problemen door middel van argumentatie en betrokkenheid bij verschillende gezichtspunten.
De onderzoekers schrijven dat “cognitieve diversiteit, die voortkomt uit een verscheidenheid aan vaardigheden en persoonlijkheidskenmerken, het oplossen van problemen verbetert, vooral als deze gepaard gaat met authentieke meningsverschillen.” Bijgevolg suggereren ze dat het integreren van verschillende perspectieven LLM’s in staat stelt krachtige redeneerstrategieën te ontwikkelen. Door gesprekken tussen verschillende interne persona’s te simuleren, kunnen modellen belangrijke controles uitvoeren (zoals verificatie en backtracking) die veelvoorkomende fouten zoals vooringenomenheid en onbedoelde sycofantie helpen voorkomen.
In modellen als DeepSeek-R1 manifesteert deze ‘maatschappij’ zich rechtstreeks in gedachteketens. De onderzoekers merken op dat je geen apart model of signaal nodig hebt om deze interactie te forceren; Het debat ontstaat onafhankelijk tijdens het redeneren vanuit één enkel modelvoorbeeld.
Voorbeelden van het denken van mensen
Deze studie geeft een concreet voorbeeld van hoe deze interne wrijving tot betere resultaten leidt. In één experiment met een complex organisch-chemisch syntheseprobleem, DeepSeek-R1 simuleert een debat tussen verschillende interne perspectieven, waaronder “Planners” en “Critical Verifiers”.
Planners stelden aanvankelijk standaardreactiepaden voor. De Critical Verifier (die wordt gekenmerkt door een hoge consciëntieusheid en een lage mate van vriendelijkheid) komt echter tussenbeide om de veronderstelling aan te vechten en tegenargumenten te geven met nieuwe feiten. Door dit tegenstrijdige onderzoek ontdekt het model fouten, verzoent het conflicterende standpunten en verfijnt het de syntheseroutes.
Een soortgelijke dynamiek ontstaat bij creatieve taken. Toen hem werd gevraagd de zin ‘Ik gooide mijn haat in een brandend vuur’ te herschrijven, simuleerde het model een onderhandeling tussen een ‘Creatieve Ideator’ en een ‘Semantic Fidelity Checker’. Nadat de ideeëngenerator een versie had voorgesteld waarin het woord ‘diepgaand’ werd gebruikt, antwoordde de recensent: ‘Maar dat voegt ‘diepgaand’ toe, wat niet in het origineel staat. We moeten vermijden dat we nieuwe ideeën toevoegen.’ Het model kwam uiteindelijk tot een compromis dat de oorspronkelijke betekenis handhaafde en tegelijkertijd de stijl versterkte.
Misschien wel de meest opvallende evolutie vindt plaats in de ‘Countdown Game’, een wiskundige puzzel waarbij het model bepaalde getallen moet gebruiken om een doelwaarde te bereiken. Aan het begin van de training probeert het model het probleem op te lossen met behulp van een monoloogbenadering. Zoals hij via RL heeft geleerd, splitst hij zich spontaan op in twee verschillende persona’s: de ‘methodische probleemoplosser’ die de berekeningen doet en de ‘verkennende denker’ die de voortgang bewaakt, die mislukte paden zal onderstrepen met opmerkingen als ‘Weer geen geluk… Misschien kunnen we proberen negatieve getallen te gebruiken’, wat de methodische oplosser ertoe aanzet om van strategie te wisselen.
Deze bevindingen betwisten de veronderstelling dat langere gedachteketens automatisch tot een hogere nauwkeurigheid leiden. Daarentegen moedigen diverse gedragingen, zoals het bekijken van reacties door verschillende lenzen, het verifiëren van eerdere aannames, het teruggaan en het verkennen van alternatieven, verbeteringen in de redenering aan. De onderzoekers versterkten dit door de activeringsruimte van het model kunstmatig te oriënteren om conversatieverrassingen teweeg te brengen; deze interventie activeert een breder scala aan persoonlijkheids- en vaardigheidsgerelateerde kenmerken, waardoor de nauwkeurigheid bij complexe taken wordt verdubbeld.
De implicatie is dat sociaal redeneren onafhankelijk ontstaat via RL als een functie van de aanmoediging van het model om correcte antwoorden te produceren, in plaats van via expliciet menselijk toezicht. In feite presteren monoloogtrainingsmodellen lager dan onbewerkte RL, waardoor op natuurlijke wijze gesprekken met meerdere agenten ontstaan. Kom in plaats daarvan opdagen begeleide aanpassingen (SFT) in gesprekken en debatten met meerdere partijen presteert aanzienlijk beter dan SFT in standaard gedachtegangen.
Implicaties voor zakelijke AI
Voor ontwikkelaars en besluitvormers in ondernemingen bieden deze inzichten praktische richtlijnen voor het bouwen van meer geavanceerde AI-toepassingen.
Snelle engineering voor ‘conflict’
Ontwikkelaars kunnen de redenering in modellen voor algemene doeleinden verbeteren door hen expliciet aan te moedigen de structuur van het gemeenschapsdenken over te nemen. Het is echter niet voldoende om het model alleen maar uit te nodigen om met zichzelf te chatten.
“Het is niet genoeg om eenvoudigweg te ‘debatteren’, maar om verschillende opvattingen en disposities te hebben die debat onvermijdelijk maken en dat debat de mogelijkheid bieden om alternatieven te verkennen en te differentiëren,” vertelde James Evans, een van de auteurs van het artikel, aan VentureBeat.
In plaats van generieke rollen te gebruiken, zouden ontwikkelaars signalen moeten ontwerpen die tegengestelde disposities specificeren (bijvoorbeeld de risicomijdende compliance officer versus de op groei gerichte productmanager) om het model te dwingen onderscheid te maken tussen bestaande alternatieven. Zelfs eenvoudige aanwijzingen die het model ertoe brengen ‘verrassing’ uit te drukken, kunnen deze superieure redenering in gang zetten.
Ontwerp voor sociale schaal
Terwijl ontwikkelaars de berekening van de testtijd opschalen om het model langer te laten ‘denken’, moeten ze deze tijd structureren als een sociaal proces. Implementatie zou een ‘gemeenschaps’-proces moeten faciliteren waarin modellen voornaamwoorden als ‘wij’ gebruiken, zichzelf vragen stellen en expliciet over alternatieven debatteren voordat ze antwoorden vinden.
Deze aanpak kan ook worden uitgebreid naar multi-agentsystemen, waarbij verschillende individuen die aan verschillende agenten zijn toegewezen, een kritisch debat aangaan om tot betere beslissingen te komen.
Stop met het opschonen van je trainingsgegevens
Misschien wel de belangrijkste implicatie ligt in de manier waarop bedrijven hun eigen modellen trainen of verfijnen. Traditioneel scrubben datateams hun datasets om ‘Gouden Antwoorden’ te creëren die een lineair, naadloos pad naar een oplossing bieden. Uit onderzoek blijkt dat dit een vergissing kan zijn.
Modellen die zijn afgestemd op gespreksgegevens (bijvoorbeeld transcripties van debatten en resolutie van meerdere agenten) verbeteren het redeneren aanzienlijk sneller dan modellen die zijn getraind op zuivere monologen. Er is zelfs een punt in een debat dat geen juist antwoord oplevert.
“We hebben conversatiesteigers getraind die tot verkeerde antwoorden leidden, vervolgens die modellen versterkten en ontdekten dat ze net zo goed werkten als het versterken van correcte antwoorden, wat aantoont dat de conversatiegewoonte van het verkennen van oplossingen het belangrijkst is voor nieuwe problemen”, aldus Evans.
Dit betekent dat bedrijven moeten stoppen met het weggooien van ‘rommelige’ technische logs of Slack-threads waarin problemen keer op keer worden opgelost. In de ‘chaos’ leert het model verkenningsgewoonten aan.
De ‘black box’ blootstellen aan vertrouwen en audit
Voor zakelijke gebruiksscenario’s met een hoog risico is alleen het verkrijgen van antwoorden niet voldoende. Evans voerde aan dat gebruikers interne afwijkende meningen moesten zien om de output te kunnen vertrouwen, wat wijst op een verandering in het ontwerp van de gebruikersinterface.
“We hebben nieuwe interfaces nodig die het interne debat systematisch aan ons blootleggen, zodat we ‘deelnemen’ aan het kalibreren van het juiste antwoord”, aldus Evans. “We kunnen beter zijn in debatten; AI is beter in debatten; en we zijn beter in AI-debatten.”
Het strategische argument voor open gewichten
Deze bevindingen bieden een nieuw argument in het ‘build vs. buy’-debat over open-weight-modellen versus propriëtaire API’s. Veel propriëtaire redeneermodellen verbergen hun gedachtegang en behandelen interne debatten als bedrijfsgeheimen of veiligheidsverantwoordelijkheden.
Evans betoogt echter dat “niemand eerder echt een rechtvaardiging heeft aangevoerd voor het blootleggen van de denkbeelden van deze gemeenschap”, maar de waarde van het controleren van deze interne conflicten begint onmiskenbaar te worden. Totdat propriëtaire dienstverleners volledige transparantie bieden, kunnen bedrijven in sectoren met een hoog nalevingsniveau ontdekken dat het open-weight-model een duidelijk voordeel biedt: het vermogen om meningsverschillen te zien, en niet alleen beslissingen.
“Ik geloof dat grote, propriëtaire modellen informatie zullen gaan aanbieden (en licentiëren) zodra ze zich realiseren dat er waarde in zit”, aldus Evans.
Uit onderzoek blijkt dat de taak van een AI-architect zich verschuift van pure modeltraining naar iets dat dichter bij de organisatiepsychologie ligt.
“Ik geloof dat dit nieuwe grenzen opent in het ontwerpen en organiseren van kleine groepen binnen en tussen modellen, wat waarschijnlijk nieuwe prestatieklassen mogelijk zal maken”, aldus Evans. “Mijn team werkt hieraan en ik hoop dat andere teams hetzelfde doen.”
