Bir ajanın iyi olup olmadığı nasıl anlaşılır

İyi bir demo değerlendirme değildir

Gözünüzün önünde üç kez iyi çalışan bir ajan, size çok az şey göstermiş olur. Adımları her çalışmada değişiyor, küçük bir prompt değişikliği test etmediğiniz yerlerde davranışı kaydırabiliyor ve işi bitmediği halde neşeyle bitti diyebiliyor. Eval, her sonucu otomatik puanlamanın bir yolu olan bir görev kümesi. Bir şeyi değiştirip daha iyi mi oldu diye öğrenmenizi sağlıyor.

Bu dersteki her şey Anthropic'in "Demystifying evals for AI agents" rehberinden ve kendi ajan projelerinde anlattıkları eval'lerden geliyor.

Üç tür değerlendirici

Grader, ajanın yaptığına bakıp bir puan üretir. Üç türü var ve her biri farklı bir şeyin bedelini ödüyor.

• Kod tabanlı grader'lar bir olguyu kontrol eder: test geçti mi, dosya var mı. Ucuz ve hızlı, ama kırılgan. Beklenmedik bir ifadeyle yazılmış doğru bir cevap kalabilir.
• Model tabanlı grader'lar bir rubrikle başka bir model kullanır. Esnek ve açık uçlu çıktıyı okuyabilir. İnsan yargısına göre kalibre edilmeleri gerekir, yoksa kayarlar.
• İnsan grader'lar altın standart ve en yavaş olanı.

Araştırma sistemi, doğruluk, atıflar, bütünlük, kaynak kalitesi ve araç verimliliği üzerinden 0 ile 1 arasında puan veren bir model yargıç kullanıyor. Yine de insanlara ihtiyaç vardı: insanlar SEO çiftliği sayfalarına yönelen bir yanlılığı yakaladı.

Yolu değil, sonucu puanlayın

Ajanlar beklemediğiniz yollar buluyor. Grader'ınız belirli bir araç çağrısı sırasında ısrar ederse, daha iyi bir yol testi geçemez. Rehberin kuralı, dünyadaki sonucu puanlamak: rezervasyon veritabanında mı, dosya değişti mi, program derleniyor mu.

Derleyici projesi bunun ne kadar ileri gidebileceğini gösteriyor. Ajanlara bilinen doğru bir referans olarak GCC verildi. Kontrol neredeyse kusursuz olduğu için ajanlar çekirdek hatalarını paralel olarak ayırabildi. Carlini'nin uyarısı buradan çıkıyor: ajan, kontrolün ölçtüğü şeyi çözer; zayıf bir kontrol, kendinden emin ve yanlış iş üretir.

Görevler nereden gelir, kaç tane olmalı

Gerçek hatalardan başlayın. Ajanın gerçekten birini yarı yolda bıraktığı durumları alın ve her birini bir göreve çevirin. Rehber 20 ila 50 böyle görev öneriyor. Anthropic'in araştırma ekibi de yaklaşık 20 sorguyla başladı.

Ajanlar deterministik olmadığı için her görevi birkaç kez çalıştırıyorsunuz ve sayılar şaşırtıcı davranıyor. pass@k'da k denemeden biri başarılıysa başarı sayılır, bu yüzden k büyüdükçe skor yükselir. pass^k'da her deneme başarılı olmak zorunda, bu yüzden skor düşer. Deneme başına yüzde 75 başarılı olan bir ajan, art arda üç kez yalnızca yaklaşık yüzde 42 oranında geçiyor. Hangisini önemseyeceğiniz, kullanıcının tekrar deneyip deneyemeyeceğine bağlı.

Değerlendiricinin de eval'i olmalı

Ayrı bir değerlendirici ajan güçlü bir araç, ama cömert başlıyor. Harness projesinde onların değerlendiricisi, kendi bulduğu hataları onaylıyordu. Kullanılabilecek kadar şüpheci hale gelmesi, kararlarını okuyup prompt'unu bir insanın vereceği karara göre ayarlayarak yapılan birkaç tur aldı.