Dört motor, aynı sorular,
tekrarlı ölçüm
Dil modelleri olasılıksal çalışır: aynı soruya her seferinde aynı cevabı vermez. Bu yüzden tek ölçüm anlamsızdır. Her soru her motora birden çok kez sorulur ve tekrarlar arasındaki kararlılık ayrıca raporlanır.
Soru seti kurulur
Sektörünüzde alıcının gerçekten sorduğu 20 soru birlikte belirlenir. Set iki tür soru içerir: kategori soruları markanızın adını içermez ve keşfedilme şansınızı ölçer; marka soruları adınızı içerir ve motorun sizi nasıl anlattığını ölçer.
Dört motora sorulur
ChatGPT, Claude, Gemini ve Grok. Her motor kendi arayüzünde, gerçek kullanıcının gördüğü koşullarda çalıştırılır.
Üç kez tekrarlanır
Aynı soru aynı motora üç kez sorulur. Üçünde de aynı sonuç çıkmazsa bu rapora yazılır; tek ölçüm kesin sonuç sayılmaz.
Üçü tutmadı → rapora “kararsız” yazılır
Cevap çözümlenir
Marka geçti mi, kaçıncı sırada, hangi tonda, doğrudan önerildi mi, hangi rakipler anıldı, motor cevabında hangi kaynaklara atıf gösterdi. Çözümleme kendi sunucumuzda yapılır.
Rapor üretilir
Yönetici özeti üstte, ham kanıt altta. Her oranın altında motorun gerçek cümlesi durur.
Bir turda ne oluyor?
Neden tekrar şart
Aynı soruyu bir motora arka arkaya sorduğunuzda farklı cevaplar alabilirsiniz. Ölçtüğümüz turlarda soru-motor çiftlerinin bir bölümünde tekrarlar arasında sonuç değişti. Bu yüzden rapor tek bir fotoğraf değil, kararlılık bilgisiyle birlikte verilir.