Bij Mediahuis hadden we een AI-proces voor tekstsamenvattingen dat we maar niet onder controle kregen. De prompt was uitgebreid, de output redelijk, maar redacteuren pasten gemiddeld 30% aan. De oplossing? Het model fine-tunen met 150 voorbeelden uit ons eigen CMS. Resultaat: nog maar 8% hoeft aangepast.
Dezelfde taak, dezelfde redacteuren, elke dag maar een fractie van het werk. Hoe dat kan? Monkey see, monkey do.
De prompt als lapmiddel
De meeste mensen gaan ervan uit dat slechte AI-output betekent dat je prompt niet goed genoeg is. Dus sleutelen ze verder. Nog een voorbeeld erbij, nog een randvoorwaarde, nog een zin die uitlegt wat je eigenlijk bedoelt. Voor je het weet zit je op twee A4’tjes prompt en het resultaat is bijna goed. Maar ook weer niet altijd.
Voor losse vragen werkt dat prima. Maar als je hetzelfde type taak honderden keren wilt uitvoeren, in een specifieke stijl en met consistente output, dan werkt het niet meer. Vergelijk het met een nieuwe collega die je elke ochtend opnieuw een briefing van tien pagina’s geeft, in plaats van gewoon goed in te werken.
Voordoen in plaats van uitleggen
Bij fine-tuning geef je een model geen instructie maar voorbeelden. Honderden input-outputparen die samen zeggen: zo doen wij dat hier. Het model pikt het patroon op, de toon, de lengte, de opbouw. Zonder dat je alles expliciet hoeft te beschrijven.
Neem het schrijven van samenvattingen. In een prompt moet je precies uiteenzetten wat je wilt: maximaal drie zinnen, begin met het belangrijkste feit, geen citaten, zakelijke toon. Bij fine-tuning geef je het model honderd samenvattingen die je goed vindt. Het ziet zelf dat ze kort zijn, dat ze met het nieuws openen, dat er geen aanhalingstekens in staan. Dat hoef jij niet meer op te schrijven.
Of neem koppen. Probeer maar eens in een prompt te vangen wat een goede Autovisie-kop onderscheidt van een goede Metro-kop. Dat is lastig onder woorden te brengen, zelfs voor ervaren koppenmakers. Maar geef een model 250 goede koppen per titel en het verschil zit er vanzelf in.
Een getraind model maken is een hele klus. Je moet voorbeelden verzamelen en opschonen. Aan de andere kant: de meeste CMS’en zitten vol bruikbare data die je kunt exporteren. Het is één keer flink doorpakken, tegenover elke dag opnieuw een prompt bijschaven die net niet doet wat je wilt.
Wat het in de praktijk oplevert
Terug naar die samenvattingen. Omdat we bij Mediahuis alle redactionele wijzigingen in het CMS opslaan, konden we precies meten hoeveel redacteuren nog aan de AI-output schaven. Met de uitgebreide prompt: gemiddeld 30% aanpassing. Na fine-tuning op 150 voorbeelden: 8%. Dat scheelt tijd en frustratie.
Bij artikelkoppen zien we hetzelfde. Elke titel binnen Mediahuis heeft nu een eigen getraind model, gevoed met de beste koppen als trainingsdata. Geen ellenlange prompt meer die uitlegt wat een goede kop is. Het model heeft het gezien en doet het na. Monkey see, monkey do.
Wanneer prompt, wanneer fine-tune?
Fine-tuning is niet voor alles de oplossing. Eén persbericht herschrijven? Gewoon prompten. Brainstormen over koppen? Prompt. Een interview samenvatten voor intern gebruik? Ook prompt, prima.
Als je merkt dat je steeds dezelfde prompt aan het bijschaven bent, voor steeds dezelfde soort taak, en het resultaat toch wisselvallig blijft? Dan loont het om te investeren in een fine-tune. Als uitleggen niet meer werkt, ga voordoen.
Een eigen getraind model maken kan onder andere bij OpenAI maar ook bij het Europese alternatief Mistral.
