De ontwikkeling in de sector van de kunstmatige intelligentie blijft vooruitgaan. In dit opzicht loopt het bedrijf OpenAI voorop met innovatie. In het verleden heeft OpenAI al indruk gemaakt op de samenleving met nieuwe en geavanceerde technologieën, en nu staan ze op het punt nog een product te lanceren: GPT-4. Wat de GPT-4 technologie inhoudt en wat we ervan kunnen verwachten, leer je in dit artikel.
Wat is de GPT-technologie?
GPT is een acroniem voor Generative Pre-trained Transformer. Dit is een serie taalverwerkingsmodellen die groeien en leren door middel van kunstmatige intelligentie. De AI wordt gevoed met verschillende gegevens, teksten en getallen en kan zo putten uit een grote database met informatie.
De GPT-technologie heeft een complex neuraal netwerk dat getraind is om met behulp van statistische methoden de juiste woorden uit de database te selecteren en ze correct in de context van elke zin te plaatsen. Door dit soort deep learning, of machinaal leren, kan de GPT-technologie worden gebruikt om nieuwe teksten te maken.
Daarnaast gebruikt GPT een technologie die natuurlijke taalverwerking (NLP) en natuurlijke taalgeneratie (NLG) heet. Met deze taalmodellen kan kunstmatige intelligentie menselijke taal begrijpen en denkprocessen en argumentatiepatronen reproduceren.
Al in 2020 kwam OpenAI’s GPT-3 taalmodel op de markt. We hebben al een paar artikelen geschreven over het onderwerp GPT-3, maar hier volgen de belangrijkste punten nog eens:
- GPT-3 heeft een gigantisch neuraal netwerk van 175 miljard synapsen en gebruikt de bovengenoemde taalmodellen en machine learning technologie om teksten voort te zetten of geheel nieuwe teksten te maken.
- Sinds de release heeft GPT-3 tot 4,5 miljoen woorden per dag geschreven en wordt het gebruikt door meer dan 300 apps en toepassingen. Een voorbeeld van zo’n app is de neuroflits tekstgenerator. neuroflash biedt een gratis tool waarmee je de kunstmatige intelligentie teksten voor je kunt laten schrijven. Zo kun je veel verschillende soorten teksten maken:
Hier zie je bijvoorbeeld hoe de neuroflitsgenerator moeiteloos een blogpost voor je schrijft:
Als je meer wilt weten over de opwindende technologie van een AI-tekstgenerator zoals neuroflash, bekijk dan ons YouTube-kanaal:
Wat is GPT-4 precies?
We hebben nu uitgelegd hoe de GPT-technologie werkt. Maar waar gaat GPT-4 over? GPT-4 is de laatste innovatie in een reeks taalverwerkingssystemen die door OpenAI zijn ontwikkeld. In 2019 bracht OpenAI GPT-2 uit, in 2020 kwam GPT-3 uit, en nu staat ook de release van GPT-4 voor de deur.
Vorig jaar nog hield Sam Altman, de CEO van OpenAI, een vraag en antwoord sessie tijdens de AC10 online meetup. Daar gaf Altman voor het eerst commentaar op de nieuwe GPT-4 technologie. Het GPT-4 taalmodel zal volgens de geruchten deze zomer uitkomen. Maar ondanks de opwinding en de vele verwachtingen ten aanzien van GPT-4 is er tot nu toe weinig openbare informatie. Naar de mogelijke technologische ontwikkelingen kan men dus alleen maar gissen:
Wat kunnen we verwachten van GPT-4?
Er wordt wat gespeculeerd over GPT-4 en de verwachtingen zijn hooggespannen:
GPT-4 zal niet enorm groot zijn
Waarschijnlijk zal GPT-4 qua aantal parameters groter zijn dan GPT-3. Maar zoals zo vaak het geval is, kan gezegd worden dat het er uiteindelijk op neerkomt dat grootte er niet toe doet, want groter betekent niet automatisch beter. Kleinere taalmodellen zoals Gopher (280 miljard parameters) en Chinchilla (70 miljard parameters) hebben al bewezen dat ze grotere Natural Language Models zoals Megatron-Turing (dat met 530 miljard parameters de titel van grootste neurale netwerk heeft) kunnen bijhouden.
OpenAI heeft al aangekondigd dat ze zich niet langer zouden richten op het maken van extreem grote modellen. In plaats daarvan richten ze zich op het optimaal benutten van kleinere modellen. Dit is ook zeer effectief, want grotere modellen veroorzaken meer nevenschade (bijv. grotere milieuschade en rekenkosten).
GPT-4 zal betere resultaten opleveren
Het trainen van taalmodellen zoals GPT is zo duur dat bedrijven vaak een afweging moeten maken tussen nauwkeurigheid en kosten. OpenAI is echter een pioniersbedrijf en onderzoekt daarom verschillende benaderingen om optimale taalmodellen te ontwikkelen in plaats van alleen maar grotere modellen te maken.
Met GPT-4 zal OpenAI naar verwachting robuustere zoekopdrachten uitvoeren, waardoor het proces van gegevensanalyse verder wordt verbeterd. GPT-3 is bijvoorbeeld al in staat om mensachtige tekst te genereren, maar met GPT-4 zou het genereren van tekst helemaal niet meer te onderscheiden zijn van menselijke schrijvers.
Omdat GPT-4 waarschijnlijk meer parameters zal hebben dan GPT-3, zal de kunstmatige intelligentie van GPT-4 ook beter worden in diep leren (d.w.z. een betere leerling). GPT-3 zal bijvoorbeeld kunnen begrijpen dat het een tekst moet voortzetten en kan zo een heel verhaal blijven draaien:
GPT-3 begrijpt zelfs wat een grap is:
We kunnen ons daarom alleen maar voorstellen waartoe GPT-4 nog meer in staat zou kunnen zijn.
GPT-4 zal minder afhankelijk zijn van goede aanwijzingen
We kunnen communiceren via natuurlijke taalverwerking en diep leren met de technologie van GPT. Maar tot nu toe moet je, om de juiste resultaten te krijgen, het GPT-3 taalmodel vooraf een goede en precieze tekstmelding geven. Als men bijvoorbeeld een social media post wil maken, dan moet men ook de gewenste inhoud van die post nauwkeurig beschrijven:
Waarschijnlijk zal GPT-4 robuuster zijn tegen slechte prompts, omdat echte kunstmatige intelligentie niet zo afhankelijk moet zijn van een goede prompt. Er hoeft dus minder tijd en moeite gestoken te worden in het schrijven van een goede tekstprompt. Het is ook mogelijk dat GPT-4 een methode invoert om de kwaliteit van de aanwijzingen te evalueren.
GPT-4 zal een grotere context hebben
Het geheugen van GPT-3 is vrij beperkt. Dit betekent dat het systeem niet in staat is een half geschreven roman verder te schrijven of een heel artikel in één keer te vertalen. GPT-3 heeft eenvoudigweg geen idee van dingen die buiten zijn contextvenster liggen.
Daardoor heeft GPT-3 moeite om de samenhang over lange teksten te bewaren. Het systeem zou uiteindelijk gewoon ideeën herhalen of zelfs uitweiden naar ongerelateerde onderwerpen.
GPT-4 zou waarschijnlijk ook dezelfde beperking hebben, maar de mate waarin het de bruikbaarheid van het systeem negatief beïnvloedt zou zeker minder zijn. GPT-4 zal een groter contextvenster hebben en gebruikers in staat stellen het systeem te voeden met boeken, lange artikelen, afbeeldingen, video’s of audio.
Wat zijn de mogelijke risico's van GPT-4?
Helaas is het niets nieuws dat grote innovatieve technologieën ook misbruikt kunnen worden. Vooral met zo’n futuristische technologie als GPT-4 is het nog maar de vraag welke impact OpenAI’s nieuwe taalverwerkingsmodel zal hebben. Het is daarom mogelijk dat GPT-4 enige risico’s met zich meebrengt:
- Misinformatie: Zoals de afgelopen jaren is gebleken, zijn nepnieuws en verkeerde informatie al wijdverbreid op het internet. Sociale mediaplatforms als Facebook, YouTube en TikTok hebben het moeilijk om hun inhoud te controleren. Dus wat als GPT-4 betekent dat er veel meer van dit soort inhoud zal zijn? De GPT-4 technologie zou meer inhoud op grotere schaal kunnen produceren in minder tijd dan mensen zouden kunnen. De interneteconomie is al een allegaartje van verkeerde informatie, spam en nietszeggende berichten; GPT-4 zou dit nog erger kunnen maken.
- Inhoudelijke moderatie: Een andere vraag is: Hoe kun je iets modereren dat niet door mensen is geschreven? Het internet heeft al een groot probleem met bots en nepaccounts. Nu gaat het echter ook om de inhoud. GPT-4 zou gebruikt kunnen worden om verschillende soorten inhoud te creëren voor commercieel gewin, waardoor een nog kunstmatiger internet ontstaat. Het zou moeilijk kunnen zijn om deze technologie in te dammen, omdat ze niet gemakkelijk te verwijderen is zoals een nepaccount, en AI-teksten zijn bijna niet te onderscheiden van menselijke teksten.
- Ethiek en regelgeving: GPT-4 zal hoogstwaarschijnlijk een fundamentele technologie voor de toekomst zijn. Het is ontwikkeld met behulp van enorme hoeveelheden gegevens en rekenkracht om geavanceerde en ongeëvenaarde prestaties te leveren. OpenAI heeft al een lijst met richtlijnen voor het gebruik van GTP-3 geïmplementeerd. Toch zijn dergelijke technologieën nog erg nieuw en zijn de ethische aspecten van het onderwerp nog niet duidelijk besproken en onderzocht. Bovendien zet de explosie van innovatie in taalmodellen en AI veel bedrijven ertoe aan het ontwikkelingsproces te versnellen zonder overweging vanwege een winstoogmerk.
- Spam kwestie: algoritmes zoals die van Google, YouTube en andere sociale media sites blijken bepaald gedrag te stimuleren en de productie van online inhoud te stimuleren. Zo zijn koppen en inhoud die de aandacht trekken (bekend als clickbait) favoriet bij algoritmen. Er kan mogelijk een verleiding zijn om met GPT-4 massaal dergelijke clickbait-inhoud te produceren, omdat die met reclame en populariteit te gelde kan worden gemaakt.
Laatste gedachten - GPT-4 & de toekomst
De grammaticafanaten onder jullie zullen gemerkt hebben dat de risico’s van de GPT-4 technologie allemaal in de aanvoegende wijs staan. Dit komt omdat we niet precies weten wat we met GPT-4 kunnen verwachten. De verleiding om de technologie te misbruiken zal er zeker zijn, maar het zal altijd aan ons liggen hoe we nieuwe en geavanceerde technologieën gebruiken. Het vrijkomen van GPT-4 wordt dus weer een test voor ons mensen.
Voor internetgebruikers zal GPT-4 waarschijnlijk leiden tot meer AI-gegenereerde inhoud, maar we zullen het niet eens merken omdat het steeds moeilijker wordt om AI-teksten te onderscheiden van menselijke inhoud. Voor bedrijven zullen er mogelijk voordelen zijn, omdat GPT-4 het mogelijk maakt om dagelijks inhoud te maken met weinig tijdsbesteding. Daarnaast is het misschien mogelijk om met GPT-4 complexere teksten zoals essays te maken.
Als GPT-4 wordt vrijgegeven als open source materiaal, is dat een groot voordeel, vooral voor de ontwikkeling van software. De wereld van AI zal zeker evolueren met de innovatie van het GPT-4 taalverwerkingssysteem. Net eerder dit jaar werd een andere AI-aangedreven technologie onthuld door OpenAI: DALL-E 2, een tekst-naar-beeld generator waar we ook over berichtten. Hoe meer technologieën als GPT-4 en DALL-E 2 worden uitgebracht, hoe groter het effect op het internet en het publiek zou kunnen zijn.
