Select your language

sales@serverdirect.nl+31853018585Live Chat

OpenAI’s o3-model: Menselijk Niveau Bereikt op de ARC-benchmark

OpenAI’s o3-model: Menselijk Niveau Bereikt op de ARC-benchmark

Auteur: Siu-Ho

February 1, 2025

Begin 2025 bracht OpenAI het baanbrekende o3-model uit, wat een belangrijke stap betekent richting Artificial General Intelligence (AGI). Dit model toont ongeëvenaarde redeneervermogens die het menselijk niveau in specifieke domeinen benaderen. In tegenstelling tot eerdere AI-systemen die zich richtten op nauwe taken, vertoont het o3-model het vermogen om kennis te generaliseren en nieuwe problemen op te lossen—een kernkenmerk van AGI, de theoretische vorm van kunstmatige intelligentie die in staat is om intelligentie te begrijpen, te leren en toe te passen over een breed scala aan taken op menselijk of bovenmenselijk niveau. Het is belangrijk op te merken dat de term AGI in het veld vaak verschillend wordt geïnterpreteerd, met uiteenlopende definities over reikwijdte, mogelijkheden en de benchmarks die echte algemene intelligentie definiëren.


Een Historisch Moment voor AI

Vandaag markeert een belangrijke mijlpaal voor de AI-gemeenschap. OpenAI heeft de release aangekondigd van het nieuwe o3-model, beschouwd als de tweede iteratie in de o1-serie—een architectuur die bekend staat om zijn uitgebreide redeneervermogen.

Deze release is opmerkelijk omdat het o3-model prestaties op menselijk niveau heeft bereikt op de ARC-benchmark, een belangrijke maatstaf binnen machine-intelligentie.


Waarom de ARC-benchmark van Belang Is

De ARC (Abstraction and Reasoning Corpus) benchmark wordt algemeen beschouwd als een fundamentele test voor het evalueren van algemene intelligentie in AI-systemen. In tegenstelling tot traditionele benchmarks is ARC bestand tegen memorisatie en focust het op kernachtig redeneren.

Wat Maakt ARC Uniek?

  • Alleen Kernkennis: De taken vereisen fundamenteel begrip—elementaire natuurkunde, objectherkenning en tellen.
  • Geen Herhaling: Elk probleem is uniek en test het vermogen van het model om direct te leren.
  • Menselijke Benchmark: Taken zijn eenvoudig oplosbaar voor mensen, maar moeilijk voor de meeste AI-modellen.

Hoe ARC Werkt

Elke ARC-puzzel bestaat uit:

  • Inputvoorbeelden
  • Outputvoorbeelden
  • De AI moet de transformatieregel afleiden en toepassen op een nieuwe situatie.

Hoewel mensen deze taken intuïtief kunnen oplossen, hadden AI-systemen hier tot nu toe moeite mee—tot nu.


Doorbraak in Prestaties

Het o3-model van OpenAI behaalde een score van 75,7% op de semi-private ARC AGI-benchmark—een enorme sprong vergeleken met het eerdere maximum van circa 5% door voorgaande frontier-modellen.

Dit maakt o3 de nieuwe state-of-the-art op de ARC-ranglijst.


Modelvarianten: Lage vs. Hoge Afstelling

Twee varianten van het o3-model werden getest:

  • Low-Tuned o3: Geoptimaliseerd voor snelheid en kostenefficiëntie; geschikt voor eenvoudige taken.
  • High-Tuned o3: Gebruikt meer rekenkracht voor diepgaand redeneren; geschikt voor complexe, meerstapsproblemen.

Het was de high-tuned versie die verantwoordelijk was voor het doorbraakresultaat.


Is Dit Echte AGI?

Volgens de makers van de benchmark betekent dit resultaat een echte doorbraak in aanpassing en vernieuwing, waarmee we ons begeven in onbekend terrein.

Toch stellen experts zoals François Chollet dat dit nog geen AGI is, omdat het model nog steeds faalt bij sommige eenvoudige taken. Hij erkent echter dat dit een belangrijke mijlpaal is.


Reflectie op de Definiëring van AGI

De term AGI (Artificial General Intelligence) is geëvolueerd. Naarmate we dichterbij komen, wordt de definitie genuanceerder:

  • Sommigen zien AGI als gelijk aan de capaciteiten van modellen op o1-niveau.
  • Anderen definiëren AGI als superintelligentie—slimmer dan de hele mensheid.
  • OpenAI gebruikt nu een vijfdelig raamwerk om redeneervoordgang te meten, in plaats van een binaire AGI/niet-AGI-benadering.

Rekenkosten en Praktische Beperkingen

Hoewel de prestaties indrukwekkend zijn, blijven de rekenkosten hoog:

  • High-Tuned o3 kan tot wel $11.000 USD per taak kosten
  • Zelfs de low-tuned variant kan meer dan $1.000 USD per taak kosten

Dergelijke kosten zijn niet houdbaar voor brede toepassing, maar waarschijnlijk zal de efficiëntie verbeteren naarmate de technologie vordert—zoals we zagen bij televisies, telefoons en andere vroege technologieën.


Gevolgen voor Andere Benchmarks

Naast ARC laat o3 ook indrukwekkende resultaten zien op andere benchmarks:

  • 96,7% op competitieve wiskundebenchmarks
  • 87,7% op doctoraal-niveau wetenschapsbenchmarks
  • 25% op de nieuwe Frontier Math Benchmark, een grote sprong vergeleken met eerdere modellen die slechts 2% behaalden

Vooruitblik

OpenAI-onderzoeker Noam Brown verwacht dat de ontwikkeling van o3 zich in hoog tempo zal voortzetten. Tegelijkertijd voorspelt CEO Sam Altman dat tegen het einde van 2025 systemen in staat zullen zijn om verbluffende cognitieve taken uit te voeren die de menselijke intelligentie op veel gebieden evenaren.

Altman benadrukt ook het belang van een genuanceerde definiëring van AGI, gezien de voortdurend veranderende capaciteiten van AI.


Slotgedachten

Hoewel deze release mogelijk niet het daadwerkelijke ontstaan van AGI markeert, is het onmiskenbaar een cruciale stap vooruit. Naarmate de kosten dalen en het begrip toeneemt, zullen verdere doorbraken in redeneren, aanpassingsvermogen en praktische toepassingen waarschijnlijk volgen.

OpenAI nodigt veiligheidsonderzoekers en ontwikkelaars uit om deze modellen verder te verkennen, terwijl we een nieuw hoofdstuk ingaan in de wereld van kunstmatige intelligentie.

Wij bieden wereldwijde levering, waaronder Amsterdam, Brussel, Parijs, Madrid, Rome en meer.