Retrieval-augmented generation (RAG), yapay zeka modeli verilerini iyileştirmek ve halüsinasyonların etkisini azaltmak için en umut verici tekniklerden biridir

Rahul Pradhan, Ürün ve Strateji Başkan Yardımcısı, Couchbase

Üretken Yapay Zeka (GenAI) ve büyük dil modelleri (LLM) inkar edilemez bir şekilde 2023’ün en önde gelen teknolojileri ve bu ivme 2024 yılı veya devamında hiç yavaşlayacak gibi görünmüyor. İşletmeler bu teknolojilere milyarlarca dolar yatırım yapmaya devam edecek ve daha zengin kuruluşlar inovasyonu kaçırmadıklarından emin olmak için birleşme ve satın almaları artıracak.

GenAI, bir iş aracı olarak oldukça mantıklıdır. Çalışanları daha etkili ve verimli hale getirebilir, kavrama ve becerileri artırabilir ve nihayetinde yeni fırsatların önünü açabilir. Yapay zekaya karşı olan kurumsal güvenin tehlikesi, yapay zekanın doğru kararı verme yeteneğine güvenilmesi gerekliliğidir. Bunun olmadığı durumda kuruluşlar, yapay zeka yatırımlarının önemli bir kısmını güvenilir olduklarından emin olmak için her soru ve cevabı birkaç kez kontrol ederek harcayabilir. Ek olarak, yapay zeka kuruluşların kafasını karıştıran veya onları tamamen yanlış yönlendiren halüsinasyonların kurbanı olabilir.

Büyük İllüzyon

Büyük dil modelleri, girdiyi ve mevcut verileri analiz eden ve daha sonra bir yanıtta hangi kelimelerin (veya kelime sekanslarının) gelmesi gerektiğini hesaplayan olasılıksal yapılardır. Bu iki ucu keskin bir yaklaşımdır. Kuruluşların, herhangi bir konuda herhangi bir sorguyu yanıtlamasına ve bunu doğal, anlaşılır ve dilbilgisi açısından doğru bir dil kullanarak yapmasına olanak tanır.

Ancak sonuç olarak büyük dil modelleri olasılıklar üzerine oynuyorlar. Eğitildikleri data setinin talep edilen bir sorguyla eşleşemediği durumlarda tek seçenekleri blöf yapmak oluyor. Verilen yanıt doğru görünecek ve tam bir güvenle sunulacaktır, ancak gerçekliğe veya öğrenilmiş bir bilgiye dayanmayacaktır. Gerçeklere dayanan iş kararları alması ve en iyi uygulamaları takip etmesi gereken kuruluşlar için bu durum yapay zekanın güvenilirliğini ve dolayısıyla etkinliğini önemli ölçüde azaltır.

Perde Arkasında Olanlar

Yapay zeka halüsinasyonları çeşitli faktörlerden kaynaklanır. Ancak sonuçta bir insan ömrü boyunca sahip biriktirdiği bilgi ve deneyimden yararlanabilirken, yapay zeka modellerinin yalnızca veri kümeleri kadar akıllıdır.

Örnek olarak, yapay zeka halüsinasyonlarına yol açan en yaygın kavramlardan biri veri seyrekliğidir. Bir veri kümesinde eksik veya tamamlanmamış değerler olduğunda, yapay zekanın boşlukları kendisinin doldurmasından başka bir seçeneği olmayacaktır. Bir insan, böyle bir durumla başa çıkabilecek muhakeme ve eleştirel düşünme yeteneklerine sahiptir, ancak bir yapay zeka kolaylıkla yanlış sonuçlara varabilir. Örneğin çoğu insan hiçbir filmini izlememiş olsalar bile Tom Hanks’in iyi bir aktör olduğunu düşünecektir. Ancak, veri kümesinde bununla ilgili yeterli bilgisi bulunmayan bir yapay zeka tam tersi bir sonuca varabilir.

Eksik veri yanlış veriye yol açar. Bilginin yanlış kategorize edilmesi veya etiketlenmesi veya yapay zekanın güvenilir olmayan kaynaklardan eğitilmesinden kaynaklanan düşük veri kalitesi, yapay zekanın aslında farkında olmadan yanlış bilgi yaymasına yol açabilir. Örnek olarak James Webb Uzay Teleskobu’nun fırlatılmadan 17 yıl önce fotoğraf çektiğini iddia etmek sadece tek bir yanlış bilginin paylaşmasıldan ibaret değildir. İlgili verilerin sağlamasının yapılamaması, cilt kanserlerini teşhis ve tedavi etmek için temsili olmayan tıbbi verilerin kullanılması gibi giderek daha yanlış sonuçlara yol açmaktadır.

Son olarak, yapay zeka modelinin nasıl eğitildiği de büyük önem taşır. Eğer eğitim verileri modelin genelleme yapmasına izin verecek kadar örnek içermiyorsa, çok fazla ilgisiz, “gürültülü” veri varsa, bir model tek bir örnek veri kümesi üzerinde çok uzun süre eğitiliyorsa veya model hem ilgisiz hem de ilgili verilerden öğrenecek kadar karmaşıksa, sonuç aşırı öğrenme olacaktır. Yapay zeka modeli, eğitim örneğinde mükemmel çalışacak ancak gerçek dünyada son derece zayıf bir örüntü tanıma özelliğine sahip olacaktır ve bu da yanlışlara ve hatalara yol açacaktır.

Büyüyü Bozmak

Yapay zeka halüsinasyonlarını ortadan kaldırmak, yapay zekanın tam potansiyelini gerçekleştirmesini sağlayacak anahtardır. Bu noktada ilk adım, veri seyrekliği, veri kalitesi ve aşırı öğrenme ile mücadele etmektir. Diğer tüm iş fonksiyonları veya çalışanlar gibi, işletmeler de doğru bilgi ve eğitim verilmediği takdirde yapay zekanın etkili bir şekilde çalışmasını bekleyemez. Modelin ince ayarının yapılması veya yeniden eğitilmesi de ilgili ve doğru içeriğin oluşturulmasına yardımcı olur. Sürekli eğitim olmadan veriler güncelliğini yitirebilir ve tüm bunlar da önemli maliyetler ve yatırımın geri dönüşünün gecikmesi anlamına gelebilir.

Prompt mühendisliği, halüsinasyonlardan kaçınmak için bir başka yöntemdir ve hızla önemli yapay zeka becerilerinin bir parçası haline gelmektedir. Bu da modellerin her zaman son derece açıklayıcı “prompt”lar ile besleme ve eğitim için ek yatırım yapma zorunluluğunu da beraberinde getirmektedir.

Farklı Bir Açıdan Bakış

Doğru yardımla ideal olarak bir yapay zeka modeli verilerini iyileştirebilmeli ve halüsinasyonları hafifletebilmelidir. Retrieval-augmented generation (RAG) bunu yapmak için en umut verici tekniklerden biridir. RAG yapay zeka çerçevesi, gerektiğinde harici kaynaklardan veri çekerek büyük dil modellerinin yanıtlarını iyileştirmek ve en önemlisi halüsinasyonlardan kaçınmak adına büyük önem taşır.

Kuruluşların, sanal asistanlar, sohbet robotları ve diğer içerik oluşturucular gibi uygulamaların kesin ve ilgili yanıtlar oluşturmasına yardımcı olmak adına RAG’in birden fazla bilgi kaynağına başvurma ve derin bir bağlam anlayışı geliştirme becerisini sunabileceğinden emin olmaları gerekir. Her yapay zeka uygulamasında olduğu gibi bu aslında bir güven meselesidir. RAG; ilgili, güvenilir ve güncel kaynaklardan bilgi çekerek ve kullanıcıların bu kaynaklara erişmesini sağlayarak yapay zekanın güvenilirliği hakkındaki şüpheleri ortadan kaldırmaya yardımcı olur.

Hepsinden önemlisi RAG, tüm bilgilerin mümkün olduğunca güncel, eksiksiz ve dolayısıyla doğru olmasını sağlamak için gerçek zamanlı verilere erişime ihtiyaç duyar. Örnek olarak, en yoğun perakende sezonunda kullanıcılara ürünlerle ilgili en iyi, en kişiselleştirilmiş teklifleri sunmak için tasarlanmış herhangi bir uygulama veya sohbet robotu, en iyi önerileri kullanıcılara anında gösterebilmek için her bir kullanıcının profiline kendini uyarlayamazsa anlamını kaybedecektir. Ek olarak, kullanıcı için en iyi teklifi formüle etmek üzere fiyatlardaki dinamik değişiklikleri almak için gerçek zamanlı verilere erişmesi gerekir. Nihayetinde kimse daha önce satın aldığı bir şey için teklif almak veya başka bir yerde daha düşük fiyata mevcut olan bir şey için fazla ödeme yaptığını öğrenmek istemez.

Buna ek olarak RAG, etkinliğini artıran operasyonel bir veri deposu ile eşleştirilmelidir. Verileri etkili bir şekilde sorgulamak için verilerin, modellerin belirli terimler veya dil yerine sayısal vektörler kullanarak arama yapmasına olanak tanıyan yüksek boyutlu matematiksel vektörlerde depolanması gerekir. Yapay zeka daha sonra aynı terimleri bulmak zorunda kalmadan ilgili bilgileri doğru bağlamda bulabilir. Vektörlerin verimli bir şekilde depolanmasını ve aranmasını destekleyen ve modellerin sorgularını bu sayısal vektörlere dönüştürebilen bir veritabanı kullanmak, yapay zeka modellerini gerçek zamanlı olarak güncel tutabilir. Böylelikle her zaman öğrenirler, adaptasyon sağlarlar ve eski veya eksik bilgilerin maliyetli halüsinasyonlara yol açma olasılığını büyük ölçüde azaltırlar.