Open AI wil iemand meer dan een half miljoen dollar betalen om de schade van AI te beperken.
Als dat veel geld lijkt, overweeg het dan potentieel verlies: banenverlies, desinformatie, misbruik door criminelen, vernietiging van het milieu en erosie van menselijke hulpbronnen, om er maar een paar te noemen.
CEO Sam Altman beschreef de baan zaterdag in de post van X als “stressvol”. ‘Je zult spoedig in de diepste afgrond duiken’, schreef Altman.
Altman zei dat de positie van ‘hoofdvoorbereiding’ ‘een belangrijke rol speelt op een cruciaal moment’.
“Modellen verbeteren snel en zijn nu tot veel geweldige dingen in staat, maar ze beginnen ook een aantal echte uitdagingen met zich mee te brengen. De potentiële impact van modellen op de geestelijke gezondheid is iets waar we in 2025 een voorproefje van nemen; we zien nu pas dat modellen zo goed worden in computerbeveiliging dat ze kritieke kwetsbaarheden beginnen te ontdekken”, schreef hij.
Open AI GPT-chat heeft geholpen AI-chatbots populair te maken onder consumenten, van wie velen deze technologie gebruiken om onderwerpen te onderzoeken, e-mails op te stellen, reizen te plannen of andere eenvoudige taken uit te voeren.
Sommige gebruikers praten ook met bots als alternatieve therapiewat in sommige gevallen de geestelijke gezondheidsproblemen heeft verergerd en wanen en ander gerelateerd gedrag heeft aangemoedigd.
OpenAI zei in oktober dat het samenwerkt met professionals in de geestelijke gezondheidszorg om de manier te verbeteren waarop ChatGPT omgaat met gebruikers die gedrag vertonen, waaronder psychose of zelfbeschadiging.
De kernmissie van OpenAI is het ontwikkelen van kunstmatige intelligentie op een manier die de hele mensheid ten goede komt. Vanaf het begin heeft het bedrijf veiligheidsprotocollen tot een centraal onderdeel van zijn activiteiten gemaakt. Toen het bedrijf echter producten begon uit te brengen en de druk om winst te maken groeide, zeiden sommige voormalige medewerkers dat het bedrijf winst boven veiligheid begon te stellen.
Jan LeikiDe voormalige leider van het veiligheidsteam van het inmiddels opgeheven OpenAI zei in een post van mei 2024 op X waarin hij zijn vertrek aankondigde dat het bedrijf zijn missie om ervoor te zorgen dat technologie veilig werd ingezet, uit het oog was verloren.
“Het bouwen van machines die slimmer zijn dan mensen is een inherent gevaarlijke onderneming. OpenAI draagt een enorme verantwoordelijkheid namens de hele mensheid”, schreef hij. “Maar de laatste jaren zijn veiligheidscultuur en -processen minder een prioriteit geworden voor slimme producten.”
Minder dan een week later kondigden andere stafleden hun ontslag bij X aan, ook onder vermelding van veiligheidsproblemen. Een voormalige medewerker, Daniel Kokotajlo, zei in een blogpost in mei 2024 dat hij ontslag nam omdat hij “het vertrouwen verloor dat het bedrijf zich verantwoordelijk zou gedragen in het tijdperk van AGI.”
Kokotajlo vertelde later aan Fortune dat OpenAI aanvankelijk ongeveer dertig mensen had die onderzoek deden naar veiligheidskwesties gerelateerd aan AGI, een nog steeds theoretische versie van AI die net zo goed kan denken als mensen, maar een reeks afwijkingen heeft dat aantal met bijna de helft verminderd.
Het voormalige hoofd van de paraatheid van het bedrijf, Aleksander Madry, nam de nieuwe rol in juli 2024 op zich. De functie maakt deel uit van het Security Systems-team van OpenAI, dat bescherming, raamwerken en evaluaties voor de modellen van het bedrijf ontwikkelt. De baan betaalt $ 555.000 per jaar plus eigen vermogen.
“Je bent de leider die rechtstreeks verantwoordelijk is voor het bouwen en coördineren van capaciteitsevaluaties, dreigingsmodellen en mitigaties die een operationeel coherent, rigoureus en schaalbaar veiligheidstraject vormen”, aldus de vacature.
