Het toevoegen van opties aan een OpenAI GPT-3 API-verzoek met JSON gaat vrij rechttoe rechtaan. Hier is de basisopmaak:
```
{
“model”: “text-davinci-003”,
“prompts”: [“Hallo, hoe kan ik u helpen?”],
“max_tokens”: 60
}
```
In dit verzoek worden drie opties ingesteld: het model (een versie van GPT-3 genaamd ‘Text-davinci-003’), een prompt (die zegt: “Hallo, hoe kan ik u helpen?”) en een maximum aantal tokens om te genereren (in dit geval 60).
Hier zijn een paar extra opties die je kunt toevoegen:
- `temperature`: Dit bepaalt hoe ‘zinvol’ de output van het model zal zijn, op een schaal van 0 tot 1. Een lagere waarde (zoals 0,2) maakt het model meer gefocust en deterministisch, terwijl hogere waarden (zoals 0,8) het willekeuriger en meer ‘creatief’ zullen maken.
- `top_p`: Dit is een iets ingewikkelder vorm van temperatuurregeling. In plaats van het model simpelweg ‘warmer’ of ‘koeler’ te maken, specificeert top_p een kansdrempel. Het model zal alleen tokens kiezen die ten minste zo waarschijnlijk zijn als aangegeven door top_p.
Dit is hoe het bovenstaande voorbeeld eruit kan zien met deze twee opties toegevoegd:
```
{
“model”: “text-davinci-003”,
“prompts”: [“Hallo, hoe kan ik u helpen?”],
“max_tokens”: 60,
“temperature”: 0.8,
“top_p”: 0.9
}
```
Let op: deze opties zijn niet altijd nodig voor elk verzoek. Ze zijn vooral nuttig als je het gedrag van het model in detail wilt sturen.
