Demoda çalıştı, üretimde tutmadı: ürüne yapay zeka özelliği nasıl eklenir?

Bir işi yapay zekaya devredip devretmeyeceğinize üç soru karar verir. Model yanıldığında bedelini kim öder, çıktının doğru olduğunu kim ve nasıl doğrular, talep başına maliyet ve bekleme süresi bütçeniz nedir? Üçünün cevabı netse geri kalanı sıradan mühendisliktir: bağlam toplama, ölçüm, yetki sınırı, kayıt. Cevaplar net değilse ortaya etkileyici bir demo çıkar, üretimde ilk şikayetle birlikte özellik sessizce kapatılır. Aradaki fark modelin zekasında değil, özelliğin etrafına kurduğunuz iskelede.

Başarısızlığın kaynağı genelde model değil

MIT Media Lab'ın NANDA projesi kapsamında yayımlanan "The GenAI Divide: State of AI in Business 2025" raporu 300'ü aşkın kurumsal girişimi inceledi ve kuruluşların büyük çoğunluğunda ölçülebilir bir kâr-zarar etkisi bulamadı. Rapordaki %95 oranı çokça tartışıldı, yöntemi de eleştirildi. Ama raporun asıl bulgusu orada değil: takılan projelerde sorun neredeyse hiç modelin yeteneği olmuyor. Veri hazır değil, çıktı mevcut iş akışının içine oturmuyor, kimse hangi sonucun "başarı" sayılacağını baştan yazmamış.

Aynı raporun bir başka bulgusu satın alma tarafında: konusuna hakim bir tedarikçiyle kurulan çözümlerin yaklaşık üçte iki oranında tuttuğu, tamamen içeride sıfırdan geliştirilenlerin ise bunun üçte biri kadar başarılı olduğu belirtiliyor. Bunu "kendiniz yapmayın" diye okumak yanlış olur. Doğru okuması şu: bu işin zor kısmı model eğitmek değil, alan bilgisini akışa gömmek. O bilgi sizde varsa avantajlısınız, yoksa satın aldığınız şey de tutmaz.

Hangi işler uygun: hata maliyeti ve doğrulanabilirlik

İlk özelliği seçerken iki eksene bakın. Yanlış çıktının bedeli ne kadar, ve o çıktının doğru olup olmadığı kaç saniyede anlaşılıyor?

İyi ilk adaylar hep aynı yerden çıkar. Taslak üretmek (teklif metni, e-posta cevabı, ürün açıklaması), çünkü onaylayan bir insan var. Sınıflandırma ve yönlendirme (gelen talebi doğru ekibe atmak), çünkü yanlış etiketin bedeli bir tıkla düzeltilir. Belgeden alan çıkarmak (faturadan tutar, sözleşmeden tarih), çünkü kullanıcı ekranda değeri belgeyle yan yana görür. Uzun metni özetlemek, ama kaynağa bağlantı vererek.

Kötü ilk adaylar da bellidir: müşteriye bağlayıcı bilgi veren serbest sohbet, iade ve garanti politikası anlatan destek botu, tek başına para hareketi ya da veri silme başlatan akışlar. Bunlar imkansız değil, sadece ilk özellik olmamalı. Bir kere ölçmeden bu sulara girmeyin.

Sizin adınıza konuşan bot sizi bağlar

Britanya Kolumbiyası Sivil Çözüm Mahkemesi 14 Şubat 2024'te Air Canada'yı, sitesindeki sohbet botunun yas indirimi başvurusunun uçuştan sonra da yapılabileceğini söylemesi nedeniyle sorumlu tuttu. Havayolu, botun ayrı bir varlık olduğunu ve kendi beyanlarından sorumlu tutulamayacağını savundu. Mahkeme bunu reddetti: bot sitenin bir parçasıdır, sitedeki bilginin tamamından şirket sorumludur. Tazminat birkaç yüz Kanada dolarıydı, kurulan içtihat ise çok daha pahalı.

İkinci örnek daha yakın. Nisan 2025'te kod editörü Cursor'ın destek botu, olmayan bir kural uydurdu ve kullanıcılara aboneliklerinin tek cihazla sınırlı olduğunu söyledi. Böyle bir politika hiç var olmamıştı. Geliştiriciler aboneliklerini iptal etmeye başladı, şirket özür dilemek zorunda kaldı. İşin sinsi tarafı şuydu: bot aynı soruya herkese aynı cevabı vermiyordu, bu yüzden kullanıcılar kuralın gerçek olup olmadığını birbirlerine sorarak bile doğrulayamadı.

Buradan çıkan kural nettir. Politika sorularını modele bırakırsanız politikanızı model yazar. Cevabın kaynağı sabit bir metin olmalı, model o metni bulup aktarmalı, kaynak bulunamıyorsa cevap üretmek yerine "bilmiyorum, insana aktarıyorum" demeli. Bu davranışı prompt'ta rica etmekle olmaz, akışa kurallı biçimde gömmek gerekir.

Model seçimi işin küçük kısmı, asıl iş bağlam

Ekipler haftalarca model karşılaştırır, sonra kalitenin asıl belirleyicisinin modele hangi bilgiyi verdikleri olduğunu görür. Doğru paragrafı bulup vermezseniz en iyi model bile uydurur.

Bu yüzden ilk yatırım getiri (retrieval) tarafına yapılır: hangi belgeler kaynak sayılacak, güncel sürüm hangisi, eskisi neden hâlâ arşivde duruyor, aynı prosedürün üç farklı kopyası varsa hangisi kazanacak. Şirket içi belgelerin yarısı güncelliğini yitirmişse modelin yaptığı iş, eski bilgiyi daha ikna edici bir dille sunmaktan ibaret olur.

Yetki de bağlamın parçasıdır. Getirme katmanı, kullanıcının normalde göremeyeceği bir belgeyi asla getirmemeli. Filtre sorgudan sonra değil, sorgudan önce uygulanır. Kimin neyi görebileceğini yetkilendirme modeli yazımızda ayrıntılandırmıştık; yapay zeka özelliği bu modeli devralır, yenisini icat etmez.

Ölçmediğiniz doğruluğu iyileştiremezsiniz

"Denedik, güzel cevaplar veriyor" bir ölçüm değildir. Ölçüm, üzerinde anlaşılmış bir örnek kümesidir: gerçek girdiler ve her biri için elle yazılmış beklenen çıktı.

Yaygın pratik 20-50 örnekle başlamak, sonra üretim dağılımını yansıtacak şekilde 100-1000 aralığına büyütmektir. Sayıdan çok çeşitlilik önemli: birbirine benzeyen 1000 örnek, farklı hata türlerini kapsayan 100 örnek kadar bilgi vermez. Kümeye şunlar mutlaka girsin: boş ya da eksik girdi, çelişkili iki kaynak, kapsam dışı soru, kötü niyetli soru.

Kümeyi bir kez kurduktan sonra kural basit. Prompt değişti mi koş. Model sürümü değişti mi koş. Getirme mantığına dokunuldu mu koş. Bir kabul eşiği belirleyin (örneğin doğru cevap oranı belli bir yüzdenin altına düşmeyecek ve yasaklı çıktı sayısı sıfır olacak), eşiğin altındaki sürüm yayına çıkmasın. Bu, test otomasyonu yazımızda anlattığımız kapı mantığının aynısıdır, sadece testin çıktısı ikili değil oransaldır.

Değerlendirmeyi başka bir modele yaptıracaksanız (yaygın ve pratik bir yöntem), önce o hakemin insan etiketiyle ne kadar uyuştuğunu ölçün. Uyum düşükse elinizde ölçüm değil, ikinci bir tahmin var demektir.

Maliyet talep başına hesaplanır, ay sonunda toplanır

Fiyatlandırma token üzerinden yapılır ve girdiyle çıktı ayrı fiyatlanır; çıktı tarafı belirgin biçimde pahalıdır. Getirme katmanına eklediğiniz her belge girdi tokenını, dolayısıyla her talebin maliyetini büyütür. Sohbet geçmişini her turda baştan göndermek de öyle.

Üç kaldıraç işin çoğunu görür. Birincisi, tekrar eden sabit bağlamı (sistem talimatı, ürün kataloğu, prosedür metni) önbelleğe almak; önbellekten okunan kısım tam fiyatın çok altına iner, ama bunun için o bölümün baytı baytına aynı kalması gerekir, içine tarih damgası koyarsanız önbellek her seferinde ıskalar. İkincisi, kullanıcıyı bekletmeyen işleri (gece toplu etiketleme, arşiv özetleme) toplu uçlardan geçirmek; büyük sağlayıcılarda toplu işleme genellikle yarı fiyata çalışır. Üçüncüsü kota: kullanıcı ve kiracı başına üst sınır koymadan yayına çıkmayın.

Kotasızlık sadece bütçe sorunu değil. OWASP'ın LLM listesinde bu başlık "sınırsız tüketim" adıyla ayrı bir madde olarak yer alıyor, çünkü aynı açık hem faturayı şişirir hem hizmeti düşürür. Bekleme süresi tarafında da bir bütçe belirleyin: kaç saniye sonra zaman aşımına düşecek ve o an kullanıcıya ne gösterilecek? Yapay zekasız bir geri dönüş yolu (klasik arama, hazır şablon, insana aktarma) her akışta bulunmalı. Uzun süren işleri kuyruğa almanın kalıbını arka plan işleri yazımızda anlatmıştık.

Bir de sözleşme tarafı var: gönderdiğiniz verinin eğitimde kullanılıp kullanılmayacağı, ne kadar saklanacağı ve hangi bölgede işleneceği yazılı olsun. Çalışanların bu sınırı kendi başına aşmasının nasıl bir risk yarattığını gölge yapay zeka yazımızda ele almıştık.

Model çıktısı en az kullanıcı girdisi kadar güvenilmezdir

OWASP GenAI Security Project, LLM uygulamaları için Top 10 listesinin 2025 sürümünü 18 Kasım 2024'te yayımladı. Listenin ilk sırasında iki edisyondur prompt injection var ve sebebi mimari: model, talimatla veriyi aynı kanaldan okur, aralarında donanımsal bir sınır yoktur.

Doğrudan enjeksiyon bilinen hali, kullanıcının "önceki talimatları unut" yazmasıdır. Asıl tehlikeli olan dolaylı olanıdır: modelin okuyacağı bir belgeye, web sayfasına ya da e-postaya gömülmüş talimat. Destek taleplerini otomatik özetleyen bir sisteme, içinde gizli talimat bulunan bir e-posta gönderildiğini düşünün. Kullanıcı hiçbir şey yazmadı, sistem yine de yönlendirildi.

İki madde daha pratikte sık kanar. Çıktının hatalı işlenmesi: modelin ürettiği metni doğrudan SQL sorgusuna, HTML'e, kabuk komutuna ya da bir API çağrısına geçirmek. Aşırı yetki: modele verdiğiniz araçların ne yapabildiği. Modele "sipariş iptal et" aracı verdiyseniz, prompt injection artık bir metin sorunu değil, bir yetkilendirme sorunudur. Kural tek cümle: model çıktısını internetten gelen ham veri gibi doğrulayın, araçları en az ayrıcalıkla verin, geri alınamaz işlemleri insan onayına bağlayın. Bu maddelerin klasik web tarafındaki karşılıkları için OWASP Top 10 yazımıza bakabilirsiniz.

Kaydı tutun, kademeli açın

Bir kullanıcı "bana yanlış bilgi verdi" dediğinde elinizde ne olduğu, özelliği kurtarıp kurtaramayacağınızı belirler. Girdi, getirilen bağlam parçaları, model ve prompt sürümü, çıktı, kullanıcının yaptığı düzeltme: hepsi kayda geçmeli. Bunlar aynı zamanda bir sonraki ölçüm kümenizin ham maddesidir. Kaydın nasıl tasarlanacağını denetim izi yazımızda anlatmıştık; buraya bir alan daha ekleyin, hangi model sürümünün cevap ürettiği.

Yayına alırken de aynı disiplin geçerli. Önce iç ekip, sonra kullanıcıların küçük bir dilimi, sonra herkes. Kademeli açmanın altyapısını zaten özellik bayrakları yazımızda kurmuştuk. İzleyeceğiniz sayı da hazır: kullanıcı düzeltme oranı. Model çıktısının kaçta kaçı olduğu gibi kabul ediliyor, kaçı düzeltiliyor, kaçı çöpe atılıyor.

Kullanıcıya yapay zekayla konuştuğunu söylemek artık bir yükümlülük

AB Yapay Zeka Yasası'nın 50. maddesindeki şeffaflık yükümlülükleri 2 Ağustos 2026'da uygulanmaya başladı. Kısaca: kullanıcı bir yapay zeka sistemiyle etkileşime girdiğini bilmeli ve üretilen içerik makine tarafından okunabilir biçimde işaretlenmeli. Dijital Omnibus paketi yüksek riskli sistemlerin takvimini erteledi (Ek III kapsamı 2 Aralık 2027'ye, Ek I kapsamı 2 Ağustos 2028'e), fakat şeffaflık maddesi ertelenmedi. 2 Ağustos 2026'dan önce piyasaya sürülmüş sistemlere işaretleme yükümlülüğü için 2 Aralık 2026'ya kadar süre tanındı.

Türkiye'de yapay zekaya özgü yürürlükte tek bir kanun yok. TBMM'de bekleyen teklifler ve Mart 2026'da yayımlanan araştırma komisyonu raporu var; ayrıca 2026-2030 Türkiye Yapay Zeka Eylem Planı 17 Ağustos 2026 tarihli Cumhurbaşkanlığı Genelgesi ile yürürlüğe girdi. Mevcut mevzuatın (tüketici hukuku, haksız fiil, kişisel veri kuralları) zaten geçerli olduğunu unutmayın; yeni bir kanun beklemenize gerek yok. AB'ye ürün ya da hizmet satıyorsanız 50. madde takvimi sizin için çoktan işliyor.

Bu haftaya sığan ilk adım

Tek bir iş seçin. Örneğin gelen destek taleplerinin doğru ekibe yönlendirilmesi. Son üç ayın kayıtlarından 40 gerçek örnek çıkarın ve doğru cevabı elle yazın. Önce yapay zeka olmadan bir temel ölçün: anahtar kelime kuralları bu 40 örneğin kaçını doğru yönlendiriyor? Sonra aynı kümeyi modelle koşun.

Aradaki fark özelliğin gerçek getirisidir ve artık bir sayıdır. O sayıyı talep başına maliyetle ve düzeltme yüküyle yan yana koyduğunuzda karar kendini verir. Fark küçükse iyi haber: birkaç günde ve ucuza öğrendiniz.