Eval Set Olmadan Prompt Tuning

Sohbette güzel bir cevap geldi. Prompt'a bir cümle ekledim. Başka bir soru bozuldu. Bozulduğunu üç gün sonra, rastgele bir denemede gördüm. Arada 'iyileştirdik' denmişti.

Hallucination yazısındaki set bunun için var. Set yoksa tuning bir günlük. Günlük, sürüm kontrolü değil. Prompt'u dosyaya almak yetmiyor; dosyayı neye göre kabul ettiğini de yazmak gerekiyor.

Tek örnek tuzak

Tek zor soruyu düzelten cümle, üç kolay soruyu uzatır veya sertleştirir. Bunu görmeden birleştirmek, bir birim testi geçsin diye diğerlerini silmeye benzer. Kimse silmez; çalıştırmadığı için silinmiş gibi olur.

Kural kısa: prompt PR'ında set çıktısı durur. Kırmızı varsa birleşmez. Set yoksa PR, metin düzenlemesidir — davranış değişikliği değilmiş gibi durur, davranış değiştirir. Bunu bir kez yedikten sonra 'bir cümle ekledim' cümlesinden korkuyorum.