Her RAG demosu çalışır. Sorun da tam olarak budur. Bir modeli bir klasör dolusu PDF'e bağlarsınız, cevabını zaten bildiğiniz üç soru sorarsınız ve sistem kusursuz yanıt verir. Odadaki herkes başını sallar. Sonra canlıya alınır, gerçek bir çalışan gerçek bir soru sorar ve sistem iki yıl önce yürürlükten kalkmış bir politikayı büyük bir özgüvenle kaynak gösterir. Demo bir özellikti. İşletmenin gerçekten ihtiyacı olansa bir üründü.
Retrieval-augmented generation — bir dil modelini kendi dokümanlarınıza bağlayıp tahmin yürütmek yerine sizin içeriğinizden yanıt vermesini sağlamak — benden en sık istenen şey. Aynı zamanda en çok hafife alınan şey. Ekipler bunu bir onay kutusu gibi görüyor: "RAG ekleyelim." Oysa pratikte model işin kolay kısmı. Etrafındaki her şey asıl iştir.
Chatbot yanıt verir. Şirket hafızası hesap verir.
Fark, her birinin nasıl değerlendirildiğinde gizli. Bir chatbot, yanıtın kulağa doğru gelip gelmediğiyle değerlendirilir. Bir şirket hafızası — çalışanların ve müşterilerin karar vermek için güvendiği bir sistem — yanıtın doğru, güncel, izinli ve izlenebilir olup olmadığıyla değerlendirilir. Bu dört kelime neredeyse hiç modeli, neredeyse tüm mühendisliği içerir.
Üretim (generation) yeterince çözülmüş bir problem; modern herhangi bir modelden akıcı bir yanıt alabilirsiniz. Zor olan sorular, demonun hiç sormadıklarıdır: Bu dokümanın hangi sürümü geçerli? Bu kişinin bunu görmeye yetkisi var mı? Yanıtın doğru olduğunu nereden biliyoruz? Ve doğru değilse ne olur?
Gerçek bir şirket hafızasının ihtiyaç duyduğu beş şey
Bu sistemlerden birinin kapsamını çıkardığımda, model seçimi belgenin sonuna yakın tek bir satırdır. Bu beş şey ise geri kalanıdır.
Doküman yönetişimi
Her doküman için tek bir geçerli sürüm; sahiplik, son kullanma ve eskileri emekliye ayırma yolu. "Yanlış" AI yanıtlarının çoğu, eski dokümanlara verilmiş doğru yanıtlardır.
Retrieval kalitesi
Chunking, embedding ve sıralamanın sizin içeriğinize göre ayarlanması. Yanlış pasaj getirilirse hiçbir model yanıtı kurtaramaz — yanlış şeyi akıcı biçimde özetler.
İzinler
Retrieval, soranın kim olduğuna saygı göstermeli. Bir satışçı ve CFO aynı soruyu sorar; her biri görmeye yetkili olduğu kadarıyla yanıt almalı.
Değerlendirme
Gerçek bir test seti ve bir skor. "Demoda iyi hissettirdi" bir metrik değildir. Sabit bir gerçek soru kümesinde ne sıklıkla doğru olduğunu bilmeniz — ve bu düştüğünde fark etmeniz — gerekir.
İnsan devri
"Emin değilim" için net, tasarlanmış bir yol — sessizliği doldurmak için yanıt uydurmak yerine, tüm konuşmayı bir insana devretmek.
Bir demo, bu sabah sizin derlediğiniz dokümanlar ve sizin seçtiğiniz sorular üzerinde çalışır. Üretim ise on yıllık kopyalanmış, çelişkili, yarı yarıya emekliye ayrılmış dosyalar üzerinde; hiç hayal etmediğiniz sorularla; farklı izinlere sahip — bazıları kötü niyetli — kişiler tarafından çalışır. Demo en iyi durumu ölçer. İşletme ise en kötü durumda yaşar.
Şirket hafızasında model işin kolay %20'sidir. Retrieval, yönetişim ve eskalasyon, kimsenin ona güvenip güvenmeyeceğini belirleyen %80'dir.
Bir eklenti gibi değil, bir ürün gibi kapsamlandırın
Bir "şirket hafızası" yaptıracaksanız, tek satır kod yazılmadan beş soruyu yanıtlayarak tüm riski azaltabilirsiniz:
- Neyi yanıtlamalı? Doğru cevaplaması gereken 30–50 gerçek soruyu yazın. Bu liste hem test setiniz hem kapsamınızdır.
- Kimin sorma izni var? İzin sınırlarını lansmandan sonra değil, baştan tanımlayın.
- Gerçek nerede yaşıyor? Her konu için geçerli kaynağı ve onu güncel tutan kişiyi adlandırın.
- Doğru olduğunu nasıl bileceksiniz? Skoru ve eşiği inşadan önce belirleyin; böylece "yeterince iyi" bir his olmaktan çıkar.
- Ne zaman devretmeli? Yanıt vermeyi bırakıp bir insana devrettiği anı tasarlayın.
Bunları yanıtlayın, model değiştirilebilir bir ayrıntıya dönüşür. Atlayın; özgüvenli, akıcı, kusursuz ifade edilmiş bir sorumluluk inşa etmiş olursunuz.
Bir şirket hafızası mı düşünüyorsunuz?
Sadece toplantıda etkileyen demolar değil; doğru, izinli ve ölçülebilir RAG sistemleri tasarlayıp inşa ediyorum. RAG / Şirket Hafızası sayfasına bakın veya bir danışmanlık görüşmesi planlayın.