Retrieval-Augmented Generation Eğitimi

Eğitim Hakkında

Retrieval-Augmented Generation (RAG), büyük dil modellerinin (LLM) dış bilgi kaynaklarına “sorgu-getir-yanıtla” yöntemiyle erişmesini sağlar. Böylece model parametrelerine gömülmemiş bilgileri gerçek-zamanlı çekerek daha güncel, doğru ve izlenebilir çıktılar sunar. Bu eğitim, RAG mimarisinin temel kavramlarını, bileşenlerini ve end-to-end üretim süreçlerini tanıtarak katılımcıların doğru-kaynaklı, ölçeklenebilir ve bakımı kolay RAG sistemleri kurabilmesini hedefler.

RAG;

Bilgi Erişim (Retrieval) katmanı → Sembolik veya vektör tabanlı arama ile bağlam toplar.
Üretim (Generation) katmanı → LLM’nin toplanan bağlamı kullanarak nihai yanıt üretmesini sağlar.

Bu iki aşamanın pipeline hâlinde otomatik orkestrasyonu, “hallucination” riskini azaltır, veri soy kütüğünü (data lineage) korur ve çıktıları denetlenebilir kılar.

Kimler İçindir?

Veri Bilimcileri & ML Mühendisleri – LLM tabanlı çözümlerini kurumsal veriyle beslemek isteyenler
NLP Araştırmacıları – Bilgi erişim + üretim sinerjisini deneyimlemek isteyenler
Backend / Platform Mühendisleri – RAG servislerini ölçekli ortamda dağıtacak ekipler
Ürün & Proje Yöneticileri – LLM tabanlı ürün yol haritalarını şekillendiren karar vericiler
Teknoloji Meraklıları – Doğru kaynak gösteren sohbetbotları, arama motorları, belge asistanları vb. geliştirmek isteyenler

Sertifika

Eğitimlerimize %80 oranında katılım gösterilmesi ve eğitim müfredatına göre uygulanacak sınav/projelerin başarıyla tamamlanması durumunda, eğitimin sonunda dijital ve QR kod destekli “BT Akademi Başarı Sertifikası” verilmektedir.

Eğitim İçeriği

RAG’e Giriş ve Temel Kavramlar

Hoş Geldiniz ve Eğitimin Hedefleri
○ Program formatı (teori + laboratuvar + mini-proje) ve zaman çizelgesi
○ Katılımcı profili: veri bilimci, platform mühendisi, ürün sahibi, danışman
○ Başarı göstergeleri:
- Kendi doküman havuzunda çalışan bir RAG servisi yayınlama
- Retrieval + generation metriklerini ölçüp iyileştirme
- Hallucination oranını %40 → %5’e düşürme vaka ödevi
RAG Tanımı, Motivasyonu ve Tarihçesi
○ LLM’lerin sınırlılıkları: parametre-içi bilgi sınırı, “staleness”
○ 2020 Facebook RAG → FiD (2021) → HyDE (2022) → ReACT/Self-RAG (2023-24)
○ Arama (IR) mirası: BM25, TF-IDF → Dense Retrieval; retrieval-tabanlı diyalog
Temel Bileşenler ve Yaşam Döngüsü
○ Doküman katmanı: veri kaynakları, ETL, chunking, meta-tag enrichment
○ Embedding katmanı: sentence-transformer, çok-dilli modeller, domain adaptasyonu
○ Vektör DB: FAISS / Qdrant / Weaviate / pgvector; HNSW, IVF-PQ, Disk-ANN
○ LLM katmanı: GPT-4o, Llama-3-70B-Instruct, Mistral-8B, Phi-3-mini, PaLM-2-RAG
○ Fusion & Prompting: Stuff, Map-Reduce, Refine, Tree-of-Thoughts, Graph-of-Thoughts
○ İzleme-Değerlendirme: recall@k, MRR, nDCG, faithfulness, latency, token/s
○ Sürekli gelişim: feedback-loop, self-evaluation, RLHF/RLAIF

Veri Kaynakları, Embedding ve Versiyonlama

Veri Toplama ve Parçalama
○ Kaynak tipleri:
▪ Yapısal (SQL, CSV, Parquet)
▪ Yarı-yapısal (HTML, JSON, API)
▪ Yapısal olmayan (PDF, DOCX, PPTX, resim-OCR)
○ ETL boru hattı: Apache Tika, Unstructured, trafilatura, GROBID, Tesseract-OCR
○ Chunking stratejileri: sabit token • semantik bölümleme • kaymalı pencere • heading-aware splitting
○ Metadata zenginleştirme: belge ID, sürüm, yazar, güvenlik etiketi, tarih
Embedding Tasarımı ve Optimizasyonu
○ Dil/model uyumu:
▪ Genel: all-MiniLM-L6-v2, bge-base-en, text-embedding-3-small
▪ Çok-dilli: LaBSE, bge-base-tr, E5-mistral-large
▪ Alan-özel: Law-MiniLM, FinBERT-RR, Bio-Clinical-BERT
○ Boyut-kalite ticareti: 384 vs 768 vs 1 536; PCA/OPQ sıkıştırma
○ Eksik dil desteği için öğretici sentez (synthetic QA pair generation)
○ Fine-tune pipeline: LoRA-PEFT, contrastive loss, multi-negatives
Veri & Embedding Versiyonlama Stratejileri
○ Depo hiyerarşisi: /data, /chunks, /embeddings, /index, /models
○ DVC-remote + Git-LFS snapshot, MLflow artefact store
○ Semantic versioning: v1.3-finance-tr-chunks → v1.3.1 bugfix rollback
○ Disaster-recovery: delta-sync, cold-storage, co-location replication
○ Veri soy kütüğü: Airflow/Marquez + OpenMetadata

Pipeline Orkestrasyonu, CI/CD ve Dağıtım

CI/CD Tasarım İlkeleri
○ Build-Index-Test-Deploy-Monitor adımları için çok aşamalı Docker build
○ Trigger matrix: veri, embedding modeli, LLM sürümü değişimleri
○ Çift inceleme: kod PR + eval-score PR (RAGAS ≥ 0.72)
CI/CD Araç Kümesi
○ Jenkins Declarative Pipeline • GitLab-CI parent-child • GitHub Actions reusable workflows
○ Artefact deposu: Harbor/Artifactory (Docker) + S3 (Embedding) + MLflow (Model)
○ Gizli değişken yönetimi: HashiCorp Vault, Azure Key Vault, Doppler
Dağıtım Stratejileri ve Ortamları
○ Tek-düğüm demo: Docker-Compose (LLM-Server, Retriever-API, UI)
○ Prod: Kubernetes (Helm/Kustomize), Argo Rollouts (%5 canary, auto-abort)
○ Serverless: AWS Bedrock + Lambda + Pinecone; Azure Cognitive Search + Function App
○ GPU-CPU ayrışması: LLM svc → GPU node-pool, Retrieval svc → CPU spot-pool
Otomatik Test & Validasyon
○ Retrieval: recall@3 > 0.8, latency < 120 ms p95
○ Generation: JSON schema, profanity filter, SAFE-completion
○ Sürüm geçişi: blue-green, feature-flag, shadow traffic (%10 prod query)
○ Rollback: Helm history → rollback; index snapshot restore; version-pin header

İzleme, Loglama ve Performans Yönetimi

Gerçek-Zamanlı Gözlemlenebilirlik
○ Metrikler:
▪ Retrieval: qps, hit_rate, recall@k, avg_vector_dim
▪ LLM: tokens_in/s, tokens_out/s, streaming_latency, cache-hit%
▪ Sistem: CPU/GPU util, VRAM, fd-count, thread-count
○ Prometheus Exporters: qdrant-exporter, vllm-exporter, langchain-tracing exporter
○ Grafana panelleri: “RAG Overview”, “Retrieval Heatmap”, “LLM Throughput”
Loglama ve Olay Yönetimi
○ OpenTelemetry trace ID propagation (frontend → retriever → LLM)
○ Central log: Loki/Elastic; JSON structured logging (query, doc_ids, citation_score)

○ Alert politikası: latency p99 > 1 s (Warning) • faithfulness < 0.6 (Critical)
○ Olay RCA: mis-ranking, stale index, prompt-drift, GPU OOM

Sürekli İyileştirme Döngüsü
○ Feedback store: kullanıcı beğeni/şikâyet, ground-truth QA
○ Otomatik etiketleme: GPT-tabanlı self-grading (RAGAS)
○ Embedding refresh koşulları: yeni doküman > N veya recall düşüşü > %10
○ AB/online-learning: Lexicographic Diverse Retriever, Progressive Rerank

Güvenlik, Etik ve Uyumluluk

Veri ve Model Güvenliği
○ Uçtan uca TLS 1.3, mTLS gRPC; JWT-bound access token
○ PII/PHI maskeleme: regex + NER-tabanlı redaction
○ Embedding sızıntısı önleme: reversible hashing, k-anonim chunk store
○ Prompt injection savunması: allow-list function-calling, param-guard, regex sandbox
○ Adversarial test paketi: “Rome jailbreak”, “Doc-rank overflow”, “Similarity poison”
Etik ve Regülasyon
○ Kaynak gösterme: citation-id → URL → timestamp; log izlenebilirliği
○ Bias audit: fairness toolkit, counterfactual evaluation
○ KVKK/GDPR: veri minimizasyonu, silme talebi akışı, veri yerelliği
○ EU AI Act: “Limited Risk – Generative Search Assistant”
○ Denetim & rapor: model card, data sheet, algorithmic impact assessment

Kazanımlar

Gerçeğe Yakın Yanıtlar – Dış bilgi kaynağı ekleyerek hallucination’ı azaltın.
Güncel & Dinamik Bilgi – Modeli yeniden eğitmeden içerik güncellenir.
Kaynak İzlenebilirliği – Referans URL, doküman parçası ve skorlar aracılığıyla güven oluşturun.
Maliyet Verimliliği – Küçük/orta LLM’lerle yüksek doğruluk; parametre güncellemesine ihtiyaç yok.
Regülasyon Uyumu – Kaynak gösterme, verinin lokalde kalması ve erişim kontrollü mimari.