Met de OpenAI GPT-3, kunt u parameters zoals temperatuur en top\_p gebruiken om het gedrag van het AI-model te beheren, met name in termen van zijn creativiteit en diversiteit van respons.
De parameter `top_p` staat voor ‘top probability’, en deze filtert het ‘vocabularium’ van het model op zo’n manier dat alleen de woorden (of ‘tokens’) overblijven die bijdragen tot de selectie van de cumulatieve waarschijnlijkheid die kleiner of gelijk is aan de ingestelde waarde van ‘top\_p’.
Hier is een voorbeeld van hoe u de `top_p`-parameter kunt gebruiken in uw API-aanroep:
```
import openai
openai.api_key = ‘uw-API-sleutel’
response = openai.Completion.create(
engine=“text-davinci-002”,
prompt=“Translate the following English text to French: ‘{}’”,
max_tokens=60,
top_p=0.5
)
```
In dit voorbeeld zou de waarde van`top_p` van 0.5 betekenen dat in elke stap van de generatie alleen tokens in aanmerking worden genomen die cumulatief bijdragen aan 0.5 van de totale waarschijnlijkheid. Een lagere waarde van `top_p` kan resulteren in minder diversiteit van gegenereerde antwoorden, omdat domeintokens met hogere waarschijnlijkheid de overhand hebben in de selectie. Hogere waarden van `top_p` kunnen resulteren in meer diversiteit van antwoorden.
Let op: De Character-per-token ratio kan variëren afhankelijk van de taal en de context. Bijvoorbeeld, een token kan erg kort zijn zoals “a” of het kan een volledig woord zijn zoals “apple”. Soms kan het ook een speciaal teken zijn zoals “,” of een Unicode-teken.
