Bir sosyal platform büyüdükçe moderasyon süreçleri de kaçınılmaz olarak karmaşıklaşır. Kullanıcı şikayetleri, ban talepleri, yayınlanmamış içerikler, kurumsal hesap doğrulamaları ve politika ihlalleri derken moderasyon ekipleri her gün yüzlerce karar vermek zorunda kalır.
Bu kararların her biri dikkat gerektirir. Ancak tüm içeriklerin tek tek incelenmesi zamanla hem operasyonel maliyet oluşturur hem de ekiplerin verimliliğini düşürür.
Bir noktada şu soru ortaya çıkar:
Yapay zeka moderasyon sürecinin bir bölümünü güvenli şekilde üstlenebilir mi?
Naberise platformunda geliştirdiğimiz Agent projesi tam olarak bu soruya cevap aramak için ortaya çıktı.
Ancak asıl mesele yalnızca bir yapay zeka modeli kullanmak değildi. Önemli olan; yapay zekanın hangi verilere erişeceği, hangi kararları önereceği ve hangi sınırlar içerisinde çalışacağıydı.
Bu yazıda Naberise Agent’ın tasarım sürecini, aldığımız mimari kararları ve neden kontrollü bir yaklaşımla ilerlediğimizi anlatacağım.
Hazır Çözümler Neden Yeterli Olmadı?
İlk akla gelen çözüm, genel amaçlı bir LLM API’sini moderasyon paneline entegre etmekti. Bu yaklaşımı denedik, ancak kısa sürede bazı temel sınırlamalarla karşılaştık.
Veri Erişimi
Genel amaçlı modeller platformun veritabanını veya operasyonel verilerini bilmez. Örneğin bir moderatörün:
“Bugün kaç kullanıcı şikayet edildi?”
sorusuna cevap verebilmek için modelin ilgili verilere erişebilmesi gerekir. Sadece bir dil modeli kullanmak bu tür sorular için yeterli değildir.
Platforma Özgü Bilgi
Moderasyon kararları yalnızca içeriğin kendisine bakılarak verilemez. Bir içeriğin yayınlanıp yayınlanmayacağı; platform kurallarına, kullanıcının geçmişine, aldığı raporlara ve içerik politikalarına bağlıdır.
Bu nedenle aynı içerik farklı durumlarda farklı kararlarla sonuçlanabilir.
Moderasyon İş Akışları
Moderatörler yalnızca soru sormaz; kullanıcı inceler, raporları karşılaştırır, içerik geçmişini görüntüler ve karar verir.
Bu nedenle çözümün yalnızca sohbet eden bir model değil, moderasyon iş akışlarına entegre bir yardımcı olması gerekiyordu.
Bu gereksinimler bize kendi ajanımızı geliştirmeye yöneltti:
İlk aşama olarak Read-Only Yaklaşımı
Ajanı geliştirirken ilk kararımız, hangi aksiyonları alabileceğinden önce hangi sınırlar içerisinde çalışacağını belirlemek oldu.
Ajan; kullanıcıları banlamaz, içerikleri yayından kaldırmaz veya işletme hesaplarını doğrudan onaylamaz. Bunun yerine mevcut verileri analiz eder, ilgili bağlamı toplar, risk değerlendirmesi yapar ve moderatöre öneriler sunar. Nihai karar ise her zaman insan onayına bırakılır.
Bu yaklaşımın arkasında üç temel neden vardı:
Risk Kontrolü
Moderasyon kararlarının bazıları doğrudan kullanıcı deneyimini etkiler ve geri alınması zor sonuçlar doğurabilir. Hatalı bir ban veya yanlış bir içerik kaldırma kararı, kullanıcı güvenini zedeleyebilir. İlk aşamada bu riski tamamen yapay zekaya devretmek istemedik.
İnsan Denetimi
Moderasyon süreçleri yalnızca teknik değil, aynı zamanda hukuki ve etik sorumluluklar da içerir. Bu nedenle kritik karar noktalarında insan denetiminin korunmasını önemli gördük.
Kademeli Yetkilendirme
Yeni bir sistemi doğrudan tam yetkiyle devreye almak yerine, önce analiz kalitesini gözlemlemeyi tercih ettik. Sistem performansı doğrulandıkça daha fazla yetkinin kontrollü şekilde devreye alınabilmesi için mimariyi buna uygun tasarladık.
Bu karar yalnızca bir güvenlik önlemi değildi; Naberise Agent’ın tüm mimarisini şekillendiren temel tasarım prensibi oldu.
Bugün Naberise Agent, moderasyon ekiplerinin günlük operasyonlarında aktif olarak kullandığı bir yardımcı haline geldi. Ancak asıl değer, kullandığı modelden çok etrafında inşa edilen mimaride yatıyor.
Veri erişimi, araç entegrasyonları, güvenlik sınırları ve insan denetimi gibi konular; projenin başarısında model seçiminden çok daha belirleyici oldu.
Devam eden bölümlerde bu mimariyi katman katman inceleyecek ve sistemi üretim ortamında kullanılabilir hale getiren kararları paylaşacağız.