Şirket içi doküman asistanı: RAG kurgusunda kritik kararlar

“Şirketin tüm dokümanlarını yapay zekaya bağlayalım, çalışanlar sorsun” fikri kulağa basit gelir. Teknik kurulum gerçekten de bir haftalık iştir. Projeyi başarısız kılan şey model seçimi değil; hangi dokümanın kimin sorusuna cevap olacağını belirleyen kararlardır.

İlk karar: kapsam

Her şeyi indekslemek en kötü başlangıçtır. 2019’dan kalma prosedürler, iptal edilmiş fiyat listeleri ve üç farklı sürümü dolaşan aynı el kitabı, asistanın güvenilir görünen ama yanlış cevaplar vermesine yol açar. Doğru başlangıç, tek bir yüksek değerli alandır: İK prosedürleri, ürün teknik dokümanları veya satış sonrası servis kılavuzları gibi. Dar bir alanda doğru çalışan bir asistan, geniş alanda güvenilmez çalışan bir asistandan kıyaslanamayacak kadar değerlidir.

Parçalama (chunking) kaliteyi belirler

Doküman modele bütün olarak verilmez; parçalara ayrılır ve soruya en yakın parçalar getirilir. Sabit karakter sayısıyla kesmek, tabloları ve maddeleri ortadan böler — cevabın yarısı kaybolur. Pratikte işe yarayan yaklaşım:

• Başlık hiyerarşisine göre bölmek; her parçaya üst başlıkları metin olarak eklemek.
• Tabloları bölmemek, bölünmesi gerekiyorsa başlık satırını her parçada tekrarlamak.
• Her parçaya kaynak bilgisi iliştirmek: doküman adı, sürüm, tarih, bölüm.
• Parçaları biraz örtüştürmek (overlap), böylece sınırda kalan cümleler kaybolmaz.

Arama tek yöntemle yapılmaz

Anlamsal arama (embedding) “yıllık izin nasıl hesaplanır” gibi kavramsal soruları iyi yakalar ama “KDV-2 beyannamesi” veya bir ürün kodu gibi tam eşleşme gerektiren aramalarda zayıftır. Bu yüzden anlamsal aramayı klasik anahtar kelime aramasıyla birleştirin ve sonuçları yeniden sıralayın. Kurumsal içerikte kod, kısaltma ve form adı çok geçtiği için bu birleşim ölçülebilir fark yaratır.

Yetki, indeksin içine yazılmalı

En kritik nokta budur: asistan, kullanıcının göremeyeceği bir dokümandan cevap üretmemelidir. Yetkiyi cevabın sonrasında filtrelemek yetmez; içerik zaten modele gitmiş olur. Yetki bilgisi her parçanın üstünde durmalı ve arama, daha ilk adımda kullanıcının erişebildiği parçalarla sınırlanmalıdır. Maaş bandı, sözleşme veya disiplin dosyası gibi içerikler sızdığında bu bir hata değil, ihlal olur.

Kaynak göstermek zorunludur

Her cevap, hangi dokümanın hangi bölümünden geldiğini göstermelidir. Bunun iki faydası vardır: kullanıcı doğrulayabilir, ve model kaynak göstermek zorunda kaldığında uydurma eğilimi belirgin biçimde azalır. İlgili parça bulunamadığında doğru davranış, tahmin etmek değil “bu konuda dokümanlarda bilgi bulamadım” demektir. Bu davranışı sistem talimatında açıkça zorunlu kılın.

Güncellik ve sürüm

Doküman güncellendiğinde eski parçalar indeksten çıkmalıdır; aksi halde asistan iptal edilmiş prosedürü savunmaya devam eder. Her parçanın tarihi görünür olmalı ve cevapta “kaynak: 12.03.2026 tarihli sürüm” bilgisi yer almalıdır. Güncelliği yönetilmeyen bir asistan, birkaç ay içinde kimsenin güvenmediği bir araca dönüşür.

Başarıyı nasıl ölçersiniz?

Yayına almadan önce 50–100 gerçek soruluk bir test seti hazırlayın; cevapları konuyu bilen kişiler yazsın. Her sürümde bu set üzerinden üç şeyi ölçün: doğru cevap oranı, doğru kaynağı getirme oranı ve “bilmiyorum” demesi gereken sorularda uydurma oranı. Kullanıcı memnuniyeti hissi değil, bu üç sayı yön verir. Canlıda ise cevabın altına konan basit bir başparmak butonu, en ucuz ve en işe yarar geri bildirim mekanizmasıdır.