En produktrekommendation beror på frågan. Ett krav på återförsäljare, budget eller kompatibilitet kan förändra vilka alternativ som är relevanta. Det är olika testvillkor, inte utbytbara prompter.
Jag ser promptdesign som en del av mätdesignen. Behåll en baslinje, dokumentera förutsättningarna och ändra en viktig begränsning i taget när du undersöker en skillnad.
Upprepning spelar också roll. Ett enskilt svar är en observation. Upprepade svar hjälper oss att beskriva konsekvens under de dokumenterade villkoren. De representerar fortfarande inte alla verkliga användare eller alla framtida svar.
Det perspektivet finns också i vår forskning på Hyper Agency. Vår valkompassstudie använde upprepade API-anrop för att undersöka svarens konsekvens. Det är en studie av den specifika miljön, inte ett mått på köpresultat.