Vragen? Bel 06 – 160 749 53 of mail mij info@jarnoduursma.nl

Vragen? Bel of mail mij

De toekomst van synthetische media

Wat zijn synthetische media?

Synthetische media zijn digitale media die door kunstmatige intelligentie (AI) software zijn gecreëerd of gemodificeerd. Dit kunnen bijvoorbeeld foto’s, video’s, teksten of geluidsfragmenten zijn. De AI-software kan realistische nieuwe voorbeelden maken of bestaande media aanpassen, waardoor geheel nieuwe media ontstaan. Met synthetische media is het mogelijk om bijvoorbeeld volledig nieuwe en geloofwaardige video’s te creëren, gezichten in video’s te verwisselen, stemmen na te maken, geloofwaardige teksten te genereren en objecten in video’s of foto’s weg te poetsen alsof ze er nooit geweest zijn. Denk aan software als ChatGPT, Midjourney, Dall-E en Stable Diffusion.

NB: alle foto’s in dit artikel zijn gecreëerd door AI-software.

Kunstmatig intelligente software wordt onze creatieve assistent

Met kunstmatige intelligente software is het mogelijk om nieuwe ideeën te genereren die gebaseerd zijn op bestaande voorbeelden. Dit betekent dat de AI-software geen kopieën maakt, maar volledig nieuwe variaties. De foto’s, video’s, teksten of geluidsfragmenten die worden gecreëerd, zijn het product van de “verbeeldingskracht” van de software. Programma’s zoals ChatGPT, Dall-E, Midjourney en Lensa zijn voorbeelden van AI-software die dit soort verbeeldingskracht hebben. In de afgelopen jaren heeft slimme software steeds meer menselijke vaardigheden overgenomen, zoals het vermogen om te zien, te luisteren, te spreken en te lezen. En nu worden de eerste veelbelovende stappen gezet op het gebied van verbeeldingskracht en creativiteit.

Fotomodellen, katten en Airbnb

Bekend zijn de voorbeelden van fotomodellen, mensen, katten, CV’s of Airbnb-pagina’s die in het echt helemaal niet bestaan. Je kent misschien ook wel de deepfake-technologie waarbij het gezicht van de ene persoon wordt verwisseld met dat van een ander. En inmiddels maakt kunstmatig intelligente software ook muziek, op basis van voorbeelden die menselijke artiesten eerder bedachten. Dit soort kunstmatige intelligente software is inmiddels ook in staat teksten samen te stellen op basis van bestaand materiaal, denk maar aan ChatGPT. Sommige van die teksten -afkomstig van AI- zijn niet te onderscheiden van teksten die door mensen geschreven zijn. Ook zijn er digitale avatars die moeiteloos teksten voorlezen in verschillende talen. Synthetische kunst-uitingen zijn ook zeer de moeite waard. Programma’s als Dall-E en Midjourney maken ze zonder moeite.

Creativiteit voor iedereen

Synthetische media democratiseren het proces van creativiteit en maken het voor iedereen beschikbaar. Mensen kunnen steeds makkelijker en goedkoper zélf creatieve content maken, bijvoorbeeld video’s van hoge kwaliteit produceren met zichzelf in de hoofdrol. Verder wordt het mogelijk snel een tekst te laten genereren door een kunstmatig intelligent systeem. Eventueel als eerste opzet voor een artikel of als idee voor een leuke invalshoek. Ook kun je samenwerken met dit soort AI-software om volledig nieuwe verhalen te schrijven. De auteur doet een voorzet, de machine creëert een verhaal en de auteur schaaft dat bij. Zo kan de auteur sneller en makkelijker nieuwe verhalen maken, die wellicht veel origineler zijn zonder deze samenwerking. Het is nu al heel goedkoop om zelf content te maken, maar de prijs wordt alleen nog maar lager, terwijl de kwaliteit omhoog gaat. Creativiteit wordt zo een proces wat zich afspeelt tussen mens en machine.

Voorbeeld: Synthesia

Neem dit voorbeeld: Synthesia. Met deze software kun je een digitale avatar maken. De enige input is tekst. Van deze geschreven tekst maakt de kunstmatig intelligente software vervolgens een digitale avatar die jouw tekst voorleest.

Het uiterlijk van deze avatar is bijna niet van echt te onderscheiden. Enkel de synthetische stem verraadt nog het verschil met een mens van vlees en bloed. Dit soort software zorgt voor democratisering van videoproductie. Videoproductie beschikbaar voor iedereen. Je hebt geen studio nodig, geen microfoon, geen acteurs, geen camera’s. Alles wat je maakt gebeurt op je computer. Met de snelheid waarin je normaal gesproken een e-mail schrijft, maak je dan een video met een digitale presentator.

Instructievideo’s

Je kunt de software gebruiken om bedrijfspresentaties te genereren, instructievideo’s voor software te maken of het gebruiken voor interne communicatie.

Ben je een internationaal bedrijf? Dan vertaalt deze software in 39 talen. Ben je een woningbouwvereniging met meertalige huurders? Dan is deze software bijvoorbeeld ideaal om je huurders iets uit te leggen. Je kunt deze AI-software gebruiken om voor je webshop geautomatiseerd individuele productvideo’s te maken. Of als verkoper van vastgoed van ieder appartement in een complex een unieke video produceren. Omdat de bron van input bestaat uit tekst, kun je dus ook heel makkelijk voornaam, achternaam, afdeling en dat soort gegevens verwerken en vervolgens een volledig gepersonaliseerde video maken.

Nu is videoproductie vaak nog een statisch en lineair proces. Je maakt een video ergens op locatie met een medewerker, acteur, technicus en geluidsman. Een tijdrovend proces. En niet te vergeten: alles moet er in een keer goed opstaan. En daarna is het klaar. Af. In de toekomst wordt dit anders. Wordt het produceren van video veel meer een continu proces. Verandert er inhoudelijk iets? Nieuwe video. Heb je een leuke invalshoek? Nieuwe video!

Mee-fantaserende machines

Synthetische media systemen creëren nieuwe content en creëren zo nieuwe ideeën. Ze doen oneindig creatieve suggesties -bijvoorbeeld bij het schilderen van een landschap- en maken variaties op onze eigen creatieve input. Of het nu gaat om video, tekst, muziek enzovoort. In de toekomst weten we niet meer of iets is gegenereerd door een computer, is bedacht door een mens of daadwerkelijk heeft plaatsgevonden in de realiteit.

Deze meiden zijn niet echt. Gegenereerd door AI

Bestaande werelden kunnen in de toekomst door software worden gekloond tot oneindige ‘lookalikes’: een digitale virtuele wereld. Ideaal om bijvoorbeeld zelfrijdende auto’s mee te trainen of het werk voor gamedesigners makkelijker te maken.

Lees ook mijn artikel ‘Deepfakes’, een krachtig middel voor complotbedenkers.

DALL-E: tekst naar afbeelding

IN januari 2021 introduceerde OpenAI een nieuwe software-tool: DALL-E. De kunstmatig intelligente software maakt afbeeldingen op basis van geschreven tekst. Het creëert volledig nieuwe (!) foto’s op basis van een zin. De software heeft geleerd om de relatie te leggen tussen woorden en visuele output. Erg spectaculair!
In het blog van OpenAi staan veel schitterende voorbeelden:
  • a store front that has the word ‘openai’ written on it
  • an armchair in the shape of an avocado
  • an illustration of a baby daikon radish in a tutu walking a dog

Kunstmatige Creativiteit

Het is niet moeilijk enthousiast te zijn over dit nieuwe landschap van mogelijkheden. Wij zullen als mensen op het gebied van creativiteit en innovatie steeds meer de interactie kunnen aangaan met kunstmatig intelligente machines. Op sommige vlakken zullen zij het creatieve proces enorm vergroten door met snelheid nieuwe ideeën te genereren. Sommige ideeën lijken in eerste instantie wellicht onnozel of zelfs hallucinogeen, maar soms zijn ze verrassend vernieuwend en inspirerend. En dan gaat het dus niet alleen over visuele input, maar ook over tekst en taal.

Supergeavanceerde auto-complete software

Een bekend voorbeeld van dit soort tekst-technologie is het taalmodel GPT-3. Je kent het ook wel als ChatGPT. Het is een AI-systeem dat is getraind om zelfstandig geloofwaardige teksten te genereren. Het GPT-3 systeem kan in feite één ding heel erg goed: het volgende woord in een bepaalde zin voorspellen. Daardoor kan GPT-3 volledige teksten produceren die lijken op teksten die een mens heeft geschreven. Het computersysteem heeft daarbij overigens geen weet van de ‘betekenis’ van woorden, maar is vooral goed in het doen van woord-voorspellingen. Het is dus eigenlijk een super geavanceerde auto-complete functie, zoals je dat kent van je telefoon.

Luister naar mijn podcast LTTF over synthetische media en “De digitale ideeënmachine” 

De toekomst van Synthetische Media

In de toekomst zullen dit soort kunstmatig intelligente systemen complete e-mailberichten voor ons schrijven. Dan hoeven wij die berichten enkel en alleen nog door te lezen, voordat we ze goedkeuren en versturen. Het is zelfs voorstelbaar dat in de wat verdere toekomst kunstmatig intelligente systemen namens ons reageren op gemakkelijk te beantwoorden e-mails. Dat klinkt nu nog futuristisch, maar de kwaliteit van dat soort GPT-3 autocomplete-software gaat met sprongen vooruit.

Synthetische media systemen zijn als het ware mee-fantaserende machines. En er zijn nog veel meer gebieden waar we hulp gaan krijgen van kunstmatig intelligente software die content gaat maken, bedenken of aanpassen. Soms met hulp van mensen, soms redelijk autonoom.

Synthetische spraak

We zien overigens niet alleen dat generatieve AI-software wordt gebruikt bij beeld- en tekstgeneratie, maar ook bij audio. Niet alleen zien we generatieve AI-computersystemen die muziek creëren, maar zelfs de menselijke stem laat zich door AI genereren. Sommige bedrijven zijn er al in geslaagd om synthetische stemmen te genereren die niet meer van echt te onderscheiden zijn, zoals Wellsaid. De robot-stem is al lang niet blikkerig en houterig meer, maar vrijwel niet meer van echt te onderscheiden. Ook is het mogelijk om je eigen stem te klonen. Dat heb ik zelf gedaan met het programma Descript.

 

Toepassingen van synthetische spraak en voice cloning: Spotifyreclame kan bijvoorbeeld snel worden gepersonaliseerd wanneer een reclame-stem ook jouw naam gebruikt. Nieuwslezers kunnen 24 uur per dag het nieuws voorlezen, zolang ze maar gevoed worden met nieuwe teksten. De stem van je dierbaren kun je klonen zodat je ook na overlijden tegen ze kunt praten via je smart speaker. Het wordt makkelijker om een audioboek uit te brengen naast je gewone boek.

 

Scenario’s

Slechte scenario: Wanneer dit feilloos werkt, kun je iemand anders van alles laten zeggen in een audio fragment. Smaad, reputatieschade, chantage, identiteitsfraude. Rapper Jay-Z heeft overigens recent nog bezwaar gemaakt tegen voice cloning video’s waarin hij zogenaamd Billy Joel’s ‘We Didn’t Start the Fire’ rapt. Het is logisch dat voice cloning haar intrede doet in de muziekindustrie. Van artiesten zijn er immers voldoende audiosamples om slimme AI-systemen mee te trainen. Het roept wel de vraag op: is iemand eigenaar van zijn of haar eigen stem? Dat hangt van een aantal factoren af. Of je bijvoorbeeld een publiek figuur bent of niet. En of een video bedoeld is voor satire, of je geld wilt verdienen met een nep-album of het gebruikt om iemand in een kwaad daglicht te zetten. 

Gepersonaliseerde product placement

Synthetische media maken het in de toekomst mogelijk om films, video’s en games te personaliseren op basis van de gebruiker. Iedere individuele gebruiker krijgt dan specifieke beelden te zien, passend bij zijn of haar profiel. Hou je van Gucci-kleding? Dan krijg je dat te zien in een videogame. Hou je meer van duurzame Kuyichi-kleding? Dan krijg je wellicht kledingstukken van de nieuwste collectie te zien in een video die je kijkt. Hou je van BMW? Dan is de auto die gebruikt wordt in de nieuwste aflevering van ‘Homeland’ misschien wel – speciaal voor jou – een BMW. Natuurlijk is dit toekomstmuziek, maar synthetische media maken geïndividualiseerde product placement mogelijk. De kwaliteit van het creëren van content neemt toe, terwijl de prijs voor het maken heel laag wordt.

Digitaal gekloonde beroemdheden

Artiesten en beroemdheden maken met synthetische media software digitale versies van zichzelf. Een digitale kloon of avatar die hen online kan vertegenwoordigen. Acteurs kunnen hun digitale opwachting maken in een film, zonder fysiek bij de opnames geweest te zijn. En doordat hun stem gekloond wordt, is het ook mogelijk hiermee ergens anders op de wereld voice-overs te produceren voor reclamecommercials. Een digitale chatbot beantwoordt tegelijkertijd online vragen die door fans gesteld worden, maar dan ook nog eens in de tone of voice van de beroemdheid zelf.

De digitale stemmen van beroemdheden zullen waarschijnlijk ook door commerciële bedrijven worden ‘ingehuurd’ om persberichten, inhoudelijke rapporten of webteksten voor te lezen met hun karakteristieke stemgeluid. Voice cloning van beroemdheden als commerciële bedrijfstak is erg interessant, omdat het alleen een investering van tijd vraagt. Daarna kunnen beroemdheden hun stem oneindig vaak en lang uitlenen aan derden, zonder er zelf nog tijd in te hoeven investeren, terwijl ze wel de inkomsten incasseren.

Digital avatars

Digital avatars zijn digitale versies van mensen. Ze bestaan enkel en alleen in de virtuele wereld. Ze zijn, zeker aan de buitenkant, een geloofwaardige afspiegeling van het menselijk uiterlijk. In de toekomst zal de kwaliteit ervan alleen maar toenemen. Niet alleen in het uiterlijk en de manier van bewegen, maar ook in spraak en conversatie.

Luister ook naar mijn podcast LTTF over “Oneindig creatieve machines“.

Overal waar we informatie opvragen, kunnen in de toekomst digital avatars zijn. Ze vertellen ons de vertrektijden van de bus, trein en vliegtuig. En ze lezen 24 uur per dag, zowel online als op de televisie, de nieuwste berichten aan ons voor. Ook breaking news kan worden gebracht door deze spraakrobots. Op elke moment van de dag, 24/7, lezen ze ons het weerbericht voor, nemen onze bestellingen op bij fastfood restaurant en doen op sommige plekken zelfs een korte intake. Het hoeft niet uit te maken waar je als consument bent: vanuit je luie stoel thuis, op je smartphone of op de locatie zelf.

Veelgestelde vragen

Digital avatars kunnen worden getraind in het beantwoorden van de ‘veelgestelde vragen’, die in groten getale bij de klantenservice binnenkomen. Een groot voordeel: deze virtuele ‘medewerkers’ zijn schaalbaar en kunnen met gemak tienduizend gesprekken per minuut voeren. Ze zijn vriendelijk, dienstbaar, ze volgen altijd de protocollen. Ze zijn nooit moe of chagrijnig, ze vermijden conflicten en leren steeds meer inlevingsvermogen.

De potentiële markt voor dit soort software, waarbij digitale avatars de meest gestelde vragen voor een bedrijf beantwoorden, is immens. Wanneer deze software goed werkt en consumenten wennen aan het idee dat ze met een machine in gesprek te zijn, zal deze oplossing gemeengoed worden. Een gevolg is dat personeel dat voor hun werk eenvoudige vragen van klanten moet beantwoorden, daarbij gedeeltelijk of in het geheel zou kunnen worden vervangen door deze software.

Digital avatars zul je ook tegenkomen in de opleidings- en trainingsindustrie. Heeft je werkgever nieuwe software in gebruik genomen? Een Digital Avatar legt het je uit in een gepersonaliseerde video met je eigen naam, functie en soepel gesproken in je eigen taal.

Maken en aanpassen

Synthetische media bieden vele voordelen en kansen: overleden acteurs kunnen bijvoorbeeld gemakkelijker dan ooit weer ‘tot leven worden gewekt’ in nieuwe films met deepfake-achtige technologie. (Waneer er wordt gesproken over deepfakes worden vaak de video’s bedoeld waar gezichten worden verwisseld.)

Wil je meer weten over deepfakes? lees dan mijn rapport: “Deepfake technologie: The Infocalypse” 

Acteurs hoeven bepaalde scènes niet meer over te doen en dialogen kunnen achteraf worden aangepast. Advertenties laten zich gemakkelijk aanpassen aan meerdere taalgebieden, zodat het niet opvalt dat de Nederlands gesproken reclame vanuit het Duits is nagesynchroniseerd. Stuntmannen hoeven in films minder gevaarlijk werk te doen en historische figuren kunnen in het heden digitaal tevoorschijn komen en zo onderwijs voor leerlingen interessanter te maken.

Synthetische media zijn een nieuwe revolutie in het medialandschap. Na de opkomst van massamedia, het internet, sociale media / web 2.0 is dit de vierde mediarevolutie. Wacht niet te lang met het pakken van de kansen, zou ik zeggen.

Wat klanten zeggen

"Jarno heeft bij de HKU een lezing verzorgd over Synthetische Media: Kunstmatige creativiteit. Jarno liet aan de hand van vele voorbeelden zien wat er in de fascinerende wereld van deepfakes allemaal mogelijk is. Interessant en beangstigend tegelijkertijd, en genoeg stof tot nadenken. Zijn lezing werd met veel enthousiasme ontvangen."
Marjoleine Gadella
Coördinator Evenementen bij HKU
Marjoleine Gadella
"Jarno gaf in zijn lezing in sneltreinvaart een update over de laatste trends. In no-time ben je op de hoogte over onderwerpen als kunstmatige intelligentie, conversational commerce, et cetera. Op zijn eigen - soms humoristische - wijze raak je geïnspireerd, zodat je op eigen kracht verder kunt om je interesses uit te diepen. Wat mij betreft was het een lezing die qua inhoud met kop en schouders boven de rest van die dag uitstak. "
Eds Keizer
Gek
Eds Keizer
"Ik heb nog nooit deze groep communicatieprofessionals van UWV zo geboeid zien luisteren, als bij de anderhalf uur durende presentatie van Jarno over AI."
Marc Awater
Eventmanager UWV
Marc Awater

Uitgelichte lezingen

Synthetische Media

1# Synthetische Media

De toekomst van contentcreatie. Synthetische media zijn verschillende media, zoals foto’s, video's, teksten of geluidsfragmenten, die zijn gecreëerd of gemodificeerd door kunstmatig intelligente (AI) software. Denk aan deepfakes.

Kunstmatig intelligente systemen worden onze creatieve assistent. Ze gaan ons inspireren en helpen nieuwe dingen te creëren. Denk aan ChatGPT, Dall-E en Midjourney. Check deze hoog gewaardeerde lezing!

Meer informatie over deze lezing