Anasayfa » Akademik Birimler » Elektrik - Elektronik Fakültesi » Kontrol ve Otomasyon Mühendisliği Bölümü » Dersler » Pekiştirmeli Öğrenme Tabanlı Optimal Kontrol
Ders AdıKodu Yerel KrediAKTS Ders (saat/hafta)Uygulama (saat/hafta)Laboratuar (saat/hafta)
Pekiştirmeli Öğrenme Tabanlı Optimal KontrolKOM611537.5300
ÖnkoşullarYok
YarıyılGüz, Bahar
Dersin Diliİngilizce, Türkçe
Dersin SeviyesiDoktora
Dersin TürüSeçmeli @ Kont. ve Otom. Müh. ABD Kontrol ve Otomasyon Mühendisliği Doktora Programı
Seçmeli @ Kont. ve Otom. Müh. ABD Kontrol ve Otomasyon Mühendisliği Yüksek Lisans Programı
Ders KategorisiUzmanlık/Alan Dersleri
Dersin Veriliş ŞekliYüz yüze
Dersi Sunan Akademik BirimKontrol ve Otomasyon Mühendisliği Bölümü
Dersin KoordinatörüUğur Yıldıran
Dersi Veren(ler)Uğur Yıldıran
Asistan(lar)ı
Dersin AmacıPekiştirmeli öğrenme konusunu tanıtmak ve bu konuda kuramsal altyapı kazandırmak. Pekiştirmeli öğrenmeyi kontrol kuramıyla ilişkilendirmek. Doğrusal ve doğrusal olmayan sistemlerin kontrolüne uygulayabilmek.
Dersin İçeriğiMarkov karar süreçlerinin optimal kontrolü, doğrusal rassal sistemlerin dinamik programlamaya dayalı optimal kontrolü, Markov karar süreçleri için pekiştirmeli öğrenme, doğrusal rassal sistemler için pekiştirmeli öğrenme, fonksiyon yaklaşıklıkları, doğrusal olmayan sistemler için (derin) pekiştirmeli öğrenme.
Ders Kitabı / Malzemesi / Önerilen Kaynaklar
  • Sutton, R.S. and Barto, A.G., “Reinforcement Learning An Introduction”, 2nd Ed., A Bradford Book. The MIT Press 2018
  • Bertsekas, D., “Reinforcement Learning and Optimal Control”, Athena Scientific 2019.
Opsiyonel Program BileşenleriYok

Ders Öğrenim Çıktıları

    Ders Öğrenim Çıktısı & Program Çıktısı Matrisi

    PÇ-1
    PÇ-2
    PÇ-3
    PÇ-4
    PÇ-5
    PÇ-6
    PÇ-7
    PÇ-8
    PÇ-9
    PÇ-10
    PÇ-11
    PÇ-12

    Haftalık Konular ve İlgili Ön Hazırlık Çalışmaları

    HaftaKonularÖn Hazırlık
    1Markov Karar Süreçlerine (MDP) Giriş
    2MDP’lerin Optimal Kontrolü: Yaklaşım değerlendirmesi, yaklaşım yinelemesi ve kontrol uygulamaları
    3MDP’lerin Optimal Kontrolü: Değer yinelemesi ve kontrol uygulamaları
    4MDP’lerin Optimal Kontrolü: Boyutsallığın laneti ve değer fonksiyonu yaklaşıklıkları
    5MDP’lerin Optimal Kontrolü: Yaklaşım grandyanı yöntemi ve kontrol uygulamaları.
    6MDP’lerin Optimal Kontrolü: Kontrol uygulamaları – örnek problemler
    7Doğrusal Karesel Kontrol: Yaklaşım değerlendirmesi, yaklaşım yinelemesi, değer yinelemesi ve MDP’lerle ilişkileri
    8Ara Sınav 1
    9MDP’ler için Pekiştirmeli Öğrenme: Monte Carlo yöntemleri, TD ve Q-öğrenme
    10MDP’ler için Pekiştirmeli Öğrenme: Arama ve yararlanma, yaklaşım ve yaklaşım ötesi öğrenme
    11Doğrusal Rassal Sistemler için Pekiştirmeli Öğrenme: Monte Carlo yöntemleri, TD, Q-öğrenme ve LQG kontrolcüler.
    12Doğrusal Olmayan Sistemler için (Derin) Pekiştirmeli Öğrenme
    13Örnek uygulamalar
    14Dersin genel tekrarı, önemli noktaların gözden geçirilmesi, örnek problemler
    15Final

    Değerlendirme Sistemi

    EtkinliklerSayıKatkı Payı
    Devam/Katılım
    Laboratuar
    Uygulama
    Arazi Çalışması
    Derse Özgü Staj
    Küçük Sınavlar/Stüdyo Kritiği
    Ödev330
    Sunum/Jüri
    Projeler140
    Seminer/Workshop
    Ara Sınavlar130
    Final
    Dönem İçi Çalışmaların Başarı Notuna Katkısı
    Final Sınavının Başarı Notuna Katkısı
    TOPLAM100

    AKTS İşyükü Tablosu

    EtkinliklerSayıSüresi (Saat)Toplam İşyükü
    Ders Saati153
    Laboratuar
    Uygulama
    Arazi Çalışması
    Sınıf Dışı Ders Çalışması156
    Derse Özgü Staj
    Ödev312
    Küçük Sınavlar/Stüdyo Kritiği
    Projeler140
    Sunum / Seminer
    Ara Sınavlar (Sınav Süresi + Sınav Hazırlık Süresi)117
    Final (Sınav Süresi + Sınav Hazırlık Süresi)
    Toplam İşyükü :
    Toplam İşyükü / 30(s) :
    AKTS Kredisi :
    Diğer NotlarYok