Bir model neden 'daha iyi' sayılır? Kıyaslama testlerini okuma kılavuzu

Yeni bir yapay zekâ modeli duyurulduğunda duyuruya neredeyse her zaman bir tablo eşlik eder: çeşitli testlerde alınan puanlar, önceki sürümle ve rakiplerle karşılaştırma. Bu tablolar yanlış değildir, ama çoğu okuyucu için yanıltıcıdır — çünkü ölçtükleri şeyle günlük kullanımın ilişkisi zayıftır.

Kıyaslama testi neyi ölçer

Kıyaslama (benchmark) testleri standart soru setleridir. Bir modelin matematik problemlerini, kod yazma görevlerini veya çoktan seçmeli bilgi sorularını ne oranda doğru cevapladığını ölçerler. Sağladıkları şey karşılaştırılabilirliktir: aynı sınav herkese uygulanır.

Sağlamadıkları şey ise sizin işinizle ilgi. Bir modelin üniversite düzeyinde fizik sorularını yüzde doksan doğru çözmesi, sizin müşteri yazışmalarınızı iyi özetleyeceği anlamına gelmez. Bunlar farklı becerilerdir ve birinde iyi olmak diğerini garanti etmez.

Puan farkını okuma

Tablolarda sık görülen fark birkaç puandır: 87,3'e karşı 89,1 gibi. Bu farkların çoğu pratikte hissedilmez. Nedeni şu: testler sınırlı sayıda soru içerir, ve modelin cevabı her seferinde birebir aynı olmaz. Küçük farklar ölçüm gürültüsünden kaynaklanabilir.

Pratik bir kural: birkaç puanlık farkı yok sayın. Anlamlı fark, on puan ve üzeri farklardır — ya da bir modelin yapabildiği, diğerinin hiç yapamadığı bir iş varsa oradadır.

Kirlenme sorunu

Modeller internetten toplanan devasa metinlerle eğitilir. Kıyaslama testlerinin soruları da internette yayınlanmıştır. Yani bir model, test sorularını eğitim sırasında görmüş olabilir — bu duruma "veri kirlenmesi" denir ve puanı gerçekte olduğundan yüksek gösterir.

Bu yüzden yeni yayınlanmış, henüz internete yayılmamış testler daha güvenilirdir. Duyurularda sadece eski ve çok bilinen testlerin puanı veriliyorsa, temkinli olmakta fayda var.

Neye bakmalı

Kendi işiniz açısından anlamlı olan üç şey var:

Bağlam uzunluğu. Modelin tek seferde ne kadar metni işleyebildiği. Uzun belgelerle çalışıyorsanız bu, puan tablosundan çok daha önemlidir.

Tutarlılık. Aynı görevi on kez verdiğinizde kaçında kabul edilebilir sonuç alıyorsunuz. Ortalama kalite değil, en kötü sonuç belirleyicidir — çünkü her çıktıyı kontrol etmek zorunda kalırsınız.

Maliyet ve hız. Yüzde iki daha iyi ama üç kat pahalı ve iki kat yavaş bir model, çoğu iş akışında kötü bir tercihtir.

Tek geçerli test

Kıyaslama tabloları modeli seçmenize yardım etmez, sadece hangilerini deneyeceğinizi daraltır. Kararı veren şey kendi verinizle yaptığınız denemedir: geçmişte yaptığınız on gerçek işi alın, iki modele de verin, sonuçları yan yana koyun.

Bu on dakikalık deneme, herhangi bir puan tablosundan daha çok şey söyler.