Yerel yapay zekâ pilotunu nasıl değerlendiriyoruz?

Donanım kontrolü ilk eşiktir

Kendi yerel kod modeli çalışmamızda önce depolama kapasitesini ve mevcut dosyaları ele aldık. Kullanılmayan model dosyaları temizlenirken proje verileri ve korunması gereken yedekler ayrı tutuldu. Ardından modelin yüklenmesi ve GPU üzerinde yanıt üretmesi doğrulandı.

Bu kontrol, sistemin çalışabildiğini gösterir. Modelin her kod tabanında doğru sonuç verdiğini, ekip verimliliğini artırdığını veya dış bir servisten daha ekonomik olduğunu göstermez. Teknik hazırlık ile iş sonucu arasındaki ayrımı pilot boyunca koruyoruz.

Kullanım senaryosunu daraltın

“Şirketimize yapay zekâ kuralım” yerine sınırları olan bir görev seçmek gerekir. Örneğin birim test taslağı üretmek, bir fonksiyonu açıklamak veya onaylı dokümanlardan yanıt hazırlamak ayrı değerlendirme setleri gerektirir. Başlangıçta tek bir iş akışı seçmek hatanın nerede oluştuğunu anlamayı kolaylaştırır.

Değerlendirme seti yalnız kolay örneklerden oluşmamalıdır. Eksik bilgi, yanlış yönlendiren metin, yetki dışı veri talebi ve modelin yanıt vermemesi gereken durumlar da yer almalıdır. Beklenen sonuçlar model çalıştırılmadan önce yazılır; sonuca göre ölçüt değiştirilmez.

Kaliteyi tek puana sıkıştırmayın

Kod desteğinde derlenme, test sonucu ve inceleyen kişinin kabulü ayrı ölçütlerdir. Doküman yanıtında ise doğru kaynağı kullanma, kaynak dışında iddia üretmeme ve soruya yanıt veremediğini doğru söyleme izlenebilir. Hatalı bir yanıtı akıcı yazması başarı kabul edilmemelidir.

Pilot için önerdiğimiz değerlendirme kaydı aşağıdaki alanları içerir. Bu bir müşteriye ait sonuç tablosu değildir; aynı görevin farklı model veya ayarlarla tekrarlanmasını sağlayan yöntem önerisidir.

• Görev ve beklenen kabul ölçütü
• Model, sürüm, ayarlar ve kullanılan bağlam
• Yanıt süresi ve kaynak tüketimi
• Doğruluk / test sonucu / insan incelemesi
• Hata türü, risk ve bir sonraki deneme kararı

Veri ve işlem yetkisini baştan sınırlayın

Bir pilotta hangi verinin modele gideceği ve üretilen çıktının hangi işlemi tetikleyeceği yazılı olmalıdır. Modelin öneri üretmesi ile üretim sisteminde komut çalıştırması aynı yetki seviyesi değildir. İlk denemelerde geri alınabilir, insan onaylı adımlar seçmek incelemeyi kolaylaştırır.

NIST AI Risk Management Framework, yapay zekâ sistemlerinin tasarımı, geliştirilmesi, kullanımı ve değerlendirilmesinde risklerin ele alınması için gönüllü bir çerçeve sunar. Buradaki pilot yaklaşımımız bir NIST sertifikası veya resmî uygunluk iddiası değildir.

Kaynak: NIST · AI Risk Management Framework

Yerel kurulumun toplam maliyetini görün

Yalnız model dosyasının boyutuna veya tek yanıtın süresine bakmak yeterli değildir. Donanım kapasitesi, eşzamanlı kullanım, güncelleme, izleme ve arızada müdahale ihtiyacı da işletim planına girer. Dış servis seçeneğinde ise kullanım koşulları, veri akışı ve kullanım bazlı maliyet ayrıca değerlendirilir.

Yerel model tercihi bazı gereksinimlere uygun olabilir; her durumda daha güvenli veya daha ucuz olduğu sonucu otomatik çıkmaz. Kararı, sizin örnekleriniz ve kullanım yükünüzle yapılan ölçümler vermelidir.

Üretime geçiş kararını yazılı verin

Pilotun sonunda yalnız başarılı ekran görüntülerini değil, başarısız örnekleri ve bilinen sınırları da birlikte değerlendiririz. Üretime geçilecekse izleme, insan onayı, sürüm değişikliği ve geri dönüş adımları tanımlanır. İlk hedef tüm işi devretmek değil, hangi bölümde ölçülebilir fayda sağlandığını anlamaktır.