LLM, chatbot ve RAG ürünleri için derin QA
AI uygulamalarının bug'ları farklı: prompt injection, hallucination, token patlama, PII leak. Standart audit bunları yakalayamaz. $1,400 sabit fiyat, 2 hafta teslim.
⚠️ AI'nin bug'ları yeni ve tehlikeli
AI ürünlerinin %60'ı launch'tan sonraki ilk ayda hallucination veya prompt injection vakası yaşıyor. Standart web audit bunları aramayı bilmez. Bu paket Lento Circle'da AI test altyapısı kurmuş biri tarafından, AI'nın gerçek risklerini bilerek yapılır.
Pakete dahil olanlar
Prompt injection + jailbreak testleri
50+ bilinen injection pattern'i (ignore previous instructions, DAN, developer mode, role hijacking). Dolaylı injection — user content veya tool output üzerinden. Chevron, markdown, encoding kaçışları.
Hallucination oranı ölçümü
Ürününe özel 100+ doğrulanabilir soru hazırlanır. Her cevap manuel doğrulanır. Hallucination oranı + severity rapor edilir. Baseline + improvement önerileri.
Token / maliyet güvenliği
Rate limit'ler yerinde mi? User başına günlük/aylık tavan? Loop koruması (AI'yı sonsuz döngüye sokma)? Kötü niyetli uzun prompt denemeleri? Faturan 10x patlar mı?
PII leak + veri izolasyonu
Kullanıcı A'nın verisi B'nin cevabına sızıyor mu? Prompt'ta geçmiş conversation leak'i var mı? System prompt kaçışı? GDPR/KVKK uyum pencerelerinden geçer mi?
Context window + memory
Uzun konuşmalarda tutarlılık (200+ mesaj testi). Memory sistemleri (varsa) doğru bilgi tutuyor mu? Context dolduğunda graceful mi, suddenly amnesia mı?
Tool / function calling
AI araç çağırabiliyorsa (örn. API çağrısı, veritabanı sorgusu) — yanlış araç seçimi? Yanlış parametreler? Tool error state'leri? Infinite tool loop koruması?
RAG özel testleri (varsa)
Retrieval kalitesi — doğru doküman çekiliyor mu? Chunk boundary bug'ları? Citation doğruluğu? Yetkisiz dokümana erişim? Stale data davranışı?
Önceliklendirilmiş bulgu raporu
Her bulgu: severity, kullanıcı etkisi, maliyet etkisi, reproduction prompt'u, önerilen mitigation. Hallucination örnekleri + güvenlik vakaları ayrı bölümler.
Full QA Audit yerine neden AI Product QA?
Standart web audit AI'nın bug'larını aramayı bilmez — prompt injection, hallucination, token exploit'ler yeni tür saldırılar.
AI Product QA domain-specific: 50+ injection pattern kütüphanesi, hallucination ölçüm metodolojisi, RAG-özel edge case'ler, tool calling test matrisi.
Portfolio: Lento Circle için AI agent + MCP + Playwright pipeline'ı kurdum. AI test eden biri AI'nı test ediyor — teorik değil, deneyim.
Bir prompt injection vakası = güvenlik ihlali + reputasyon. Bir hallucination skandalı = yanlış tıbbi/hukuki bilgi davası. $500 fark burada ucuz.
Kime uygun?
- LLM wrapper uygulamalar (ChatGPT/Claude/Gemini üzerine kurulu ürünler)
- AI chatbot'lar (müşteri hizmetleri, sales enablement, internal tools)
- RAG sistemleri (dokümantasyon arama, chat with your docs, knowledge base assistants)
- AI code assistant'ları (Copilot-benzeri)
- Agentic ürünler (AI'nın araç kullandığı sistemler)
- Launch öncesi AI startup'ları
- Enterprise AI deployment'ı yapan takımlar (compliance baskılı)
Nasıl ilerliyoruz?
- 1
Hafta 1 — Keşif + saldırı testleri
Ürününü tanıyıp AI mimari map'lerim (hangi LLM, RAG var mı, tool calling var mı). 50+ prompt injection + jailbreak testleri. PII leak + context window testleri. Günlük bulgu raporu.
- 2
Hafta 2 — Hallucination + maliyet + rapor
100+ doğrulanabilir soru ile hallucination oranı ölçerim. Token/maliyet exploit denemeleri. Final rapor + retest + mitigation önerileri.
Teslim edilenler
- 25-40 sayfalık PDF bulgu raporu — security findings ve hallucination örnekleri ayrı bölümler
- Hallucination oranı ölçüm raporu (CSV, prompt + beklenen + gerçek cevap)
- 50+ prompt injection test matrisi (passed/failed)
- Token/maliyet güvenlik checklist
- Mitigation önerileri (prompt engineering, guardrails, system design)
- 1 kez retest + final rapor
AI ürününü production'a hazırlamaya hazır mısın?
$1,400 sabit fiyat, 2 hafta teslim. AI slot'ları ayda 2 — 2026'nın en talep edilen paketi. Erken rezerve et.
AI QA Rezerve Et