| Ders Adı | Kodu | Yarıyıl | T+U Saat | Kredi | AKTS |
|---|---|---|---|---|---|
| Artıfıcıal Intellıgence Securıty | SWE 608 | 0 | 3 + 0 | 3 | 6 |
| Ön Koşul Dersleri | |
| Önerilen Seçmeli Dersler | |
| Dersin Dili | İngilizce |
| Dersin Seviyesi | Doktora |
| Dersin Türü | Seçmeli |
| Dersin Koordinatörü | Dr.Öğr.Üyesi DENİZ BALTA |
| Dersi Verenler | Dr.Öğr.Üyesi DENİZ BALTA, |
| Dersin Yardımcıları | |
| Dersin Kategorisi | Diğer |
| Dersin Amacı | Bu dersin amacı, doktora öğrencilerine Yapay Zeka (AI) güvenliği ile ilgili temel kavramlar, zorluklar ve teknikler hakkında kapsamlı bir anlayış kazandırmaktır. Ders, AI sistemlerindeki güvenlik açıklarını tespit etmeye, düşmanca saldırıları anlamaya ve model sağlamlığını ve güvenilirliğini artırmaya yönelik savunma mekanizmalarını incelemeye odaklanmaktadır. Ders, düşmanca makine öğrenimi, veri zehirleme, model güvenliği, gizliliği koruyan AI, açıklanabilir AI güvenliği ve büyük dil modeli (LLM) güvenliği gibi temel konuları kapsamaktadır. Ayrıca ders, öğrencilerin güncel araştırmaları eleştirel bir bakış açısıyla değerlendirme, AI güvenlik risklerini analiz etme ve AI sistemlerinde ortaya çıkan güvenlik sorunlarına yenilikçi çözümler önerme becerilerini geliştirmeyi amaçlamaktadır. |
| Dersin İçeriği | Bu ders, Yapay Zeka (AI) sistemlerinin temel kavramlarını, güvenlik sorunlarını ve savunma mekanizmalarını ele almaktadır. Konular arasında AI güvenlik ilkeleri, tehdit modelleme, saldırgan makine öğrenimi, kaçırma saldırıları, saldırgan savunma teknikleri, veri zehirleme, arka kapı saldırıları, model çıkarma ve gizlilik saldırıları yer almaktadır. Ders ayrıca gizliliği koruyan AI, açıklanabilir AI (XAI) güvenliği, büyük dil modeli (LLM) güvenliği, komut satırı enjeksiyonu ve geri getirme ile güçlendirilmiş üretme (RAG) ile AI ajanlarındaki güvenlik sorunlarını da ele almaktadır. |
| Özel Koşullar | |
| Sektör Desteği | |
| Destekleyen Firma | |
| Destekleyen Eğitmen |
| # | Ders Öğrenme Çıktıları | Öğretim Yöntemleri | Ölçme Yöntemleri |
|---|---|---|---|
| 1 | Yapay zeka güvenliği ve güvenilir yapay zeka sistemleriyle ilgili temel kavramları, ilkeleri ve zorlukları açıklar. | Anlatım, Soru-Cevap, | Yazılı Sınavlar (Kısa ve Uzun Yanıtlı), |
| 2 | Yapay zeka tabanlı uygulamalardaki güvenlik açıklarını, saldırı yüzeylerini ve tehdit modellerini analiz eder. | Problem Çözme, | Yazılı Sınavlar (Kısa ve Uzun Yanıtlı), Çoktan Seçmeli Testler, |
| 3 | Kaçınma, veri zehirleme, arka kapı saldırıları ve model çıkarma dahil olmak üzere, düşmanca makine öğrenimi saldırılarını değerlendirir. | Problem Çözme, Proje, | Yazılı Sınavlar (Kısa ve Uzun Yanıtlı), |
| 4 | Yapay zeka modellerinin güvenliğini, sağlamlığını ve güvenilirliğini artırmak için uygun savunma tekniklerini uygular. | Proje, | Yazılı Sınavlar (Kısa ve Uzun Yanıtlı), |
| 5 | Büyük dil modelleri (LLM’ler), bilgi erişimiyle desteklenen içerik üretimi (RAG) ve yapay zeka ajan sistemlerindeki güvenlik açıklarını inceler. | Deney ve Laboratuvar, | Performans Değerlendirme, |
| 6 | Makine öğrenimi sistemlerinde gizlilik risklerini ve gizliliği koruyan teknikleri değerlendirir. | Proje, | Yazılı Sınavlar (Kısa ve Uzun Yanıtlı), |
| Hafta | Ders Konuları | Ön Hazırlık |
|---|---|---|
| 1 | Yapay Zeka Güvenliğine Giriş | Haftalık notlar veya sunumlar. |
| 2 | Yapay Zeka Sistemleri için Tehdit Modellemesi | Haftalık notlar veya sunumlar. |
| 3 | Düşmanca Makine Öğrenimi | Haftalık notlar veya sunumlar. |
| 4 | Gelişmiş Düşmanca Saldırılar | Haftalık notlar veya sunumlar. |
| 5 | Düşmanca Saldırılara Karşı Savunma | Haftalık notlar veya sunumlar. |
| 6 | Veri Zehirleme ve Arka Kapı Saldırıları | Haftalık notlar veya sunumlar. |
| 7 | Model Güvenliği ve Gizlilik Saldırıları | Haftalık notlar veya sunumlar. |
| 8 | Gizliliği Koruyan Yapay Zeka | Haftalık notlar veya sunumlar. |
| 9 | Açıklanabilir Yapay Zeka ve Güvenlik | Haftalık notlar veya sunumlar. |
| 10 | Büyük Dil Modelleri Güvenliği | Haftalık notlar veya sunumlar. |
| 11 | RAG ve Yapay Zeka Ajanı Güvenliği | Haftalık notlar veya sunumlar. |
| 12 | Yapay Zeka Güvenlik Testleri | Haftalık notlar veya sunumlar. |
| 13 | Güvenilir Yapay Zeka ve Risk Yönetimi | Haftalık notlar veya sunumlar. |
| 14 | Araştırma Sunumları | Haftalık notlar veya sunumlar. |
| Kaynaklar | |
|---|---|
| Ders Notu | |
| Ders Kaynakları | |
| Sıra | Program Çıktıları | Katkı Düzeyi | |||||
|---|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | 5 | |||
| # | Ders Öğrenme Çıktılarının Program Çıktılarına Katkısı |
|---|---|
| 1 | Yapay zeka güvenliği ve güvenilir yapay zeka sistemleriyle ilgili temel kavramları, ilkeleri ve zorlukları açıklar. |
| 2 | Yapay zeka tabanlı uygulamalardaki güvenlik açıklarını, saldırı yüzeylerini ve tehdit modellerini analiz eder. |
| 3 | Kaçınma, veri zehirleme, arka kapı saldırıları ve model çıkarma dahil olmak üzere, düşmanca makine öğrenimi saldırılarını değerlendirir. |
| 4 | Yapay zeka modellerinin güvenliğini, sağlamlığını ve güvenilirliğini artırmak için uygun savunma tekniklerini uygular. |
| 5 | Büyük dil modelleri (LLM’ler), bilgi erişimiyle desteklenen içerik üretimi (RAG) ve yapay zeka ajan sistemlerindeki güvenlik açıklarını inceler. |
| 6 | Makine öğrenimi sistemlerinde gizlilik risklerini ve gizliliği koruyan teknikleri değerlendirir. |
| Değerlendirme Sistemi | |
|---|---|
| Yarıyıl Çalışmaları | Katkı Oranı |
| 1. Ara Sınav | 30 |
| 1. Ödev | 10 |
| 2. Ödev | 10 |
| 3. Ödev | 10 |
| 4. Ödev | 10 |
| 1. Proje / Tasarım | 30 |
| Toplam | 100 |
| 1. Yıl İçinin Başarıya | 60 |
| 1. Final | 40 |
| Toplam | 100 |
| AKTS - İş Yükü Etkinlik | Sayı | Süre (Saat) | Toplam İş Yükü (Saat) |
|---|---|---|---|
| Ders Süresi (Sınav haftası dahildir: 16x toplam ders saati) | 16 | 3 | 48 |
| Sınıf Dışı Ders Çalışma Süresi(Ön çalışma, pekiştirme) | 16 | 3 | 48 |
| Ara Sınav | 1 | 10 | 10 |
| Ödev | 4 | 6 | 24 |
| Proje / Tasarım | 1 | 10 | 10 |
| Final | 1 | 10 | 10 |
| Toplam İş Yükü | 150 | ||
| Toplam İş Yükü / 25 (Saat) | 6 | ||
| dersAKTSKredisi | 6 | ||