강화학습 단기집중 과정

커리큘럼 안내

• 1주차

  상세 커리큘럼

  첫주 주간 과제 보러가기
  1. Day 1 - 챕터1: 강화학습의 소개 읽고 다음의 질문에 대한 답변을 Slack에 적습니다 (~27p, 약 40분)
     • 1) 강화학습이란 무엇인가요?
     • 2) 탐험과 활용 문제란 무엇인가요?
     • 3) 정책이란 무엇인가요?
     • 4) 보상 신호란 무엇인가요?
     • 5) 가치 함수란 무엇인가요?
     • 6) 모델이란 무엇인가요?
  2. Day 2 - 챕터2: 다중 선택 문제(Bandit problem) 읽고 다음의 질문에 대한 답변을 Slack에 적습니다 (~56p, 약 40분)
     • Bandits Problem - 브런치 글을 읽습니다. (10분)
     • 1) 다중 선택 문제(bandits problem)이란 무엇인가요?
     • 2) 신뢰 상한 행동 선택(Upper Confidence Bound, UCB) 알고리즘의 공식을 암기해서 적어주세요 (식 2.10)
     • 3) 맥락적 다중 선택과 강화학습의 차이점에 대해서 설명해주세요. (p50 참조)
     • (선택) Thompson Sampling 브런치 글 (20분)
  3. Day 3 - 챕터3: 유한 마르코프 결정 과정(Markov Decision Process) 읽고 다음의 질문에 대한 답변을 Slack에 적습니다 (~87p, 약 1시간)
     • MDP 개념 설명 영상 시청 (약 35분)
     • 1) Bellman Expectation Equation 암기: v(s) (식 3.14)
     • 2) Bellman Optimality Equation 암기: v*(s) (식 3.19)
     • 3) Bellman Optimality Equation 암기: q*(s, a) (식 3.20)
  4. Day 4 - 챕터4: 동적 프로그래밍(Dynamic Programming) 읽고 다음의 질문에 대한 답변을 Slack에 적습니다 (~110p, 약 1시간)
     • 1) Policy Evaluation에서 v(s) 업데이트 식을 암기해서 적어주세요: (식 4.4, Bellman Expectation Equation과 동일)
     • 2) Policy Improvement에서 pi(a|s) 업데이트 식을 암기해서 적어주세요: (식 4.9)
     • 3) Value Iteration v(s) 업데이트 식을 암기해서 적어주세요: (식: 4.10, Bellman Optimality Equation 과 동일)
     • 4) 일반화된 정책 반복(Generalized Policy Iteration, GPI)란 무엇인가요?
  5. Day 5 - 코딩 실습
     • Policy iteration실습 코드 한번 따라 작성 (Copy & Paste 없이 1번 받아 적기) 약 1시간 소요
     • 과제 제출 시에는 Google Colab Notebook 공유 링크를 복사해서 제출함에 적습니다.
     • Google Colab Notebook 공유 링크 복사하는 법
  6. Day 6
     • 보충 학습 및 주간 과제 답변
     • 1주차 주간 과제 보러가기
  7. Day 7
     • 매주 수요일 저녁 11시-12시 온라인 스터디에 참여합니다.
• 2주차

  상세 커리큘럼

  몬테 카를로(Monte Carlo), 시간차 학습(TD Learning) (챕터 5-7, ~190p)

  챕터5: 몬테카를로 방법

  챕터6: 시간차 학습

  챕터7: n-단계 부트스트랩

  몬테카를로 구현, Sarsa, Q-learning 구현 실습

• 3주차

  상세 커리큘럼

  모델 기반 강화학습, 근사 기반 정책 예측 및 제어 (챕터8-10, ~309p)

  챕터8: 표에 기반한 방법을 이용한 계획 및 학습

  챕터9: 근사를 이용한 활성 정책 예측

  챕터10: 근사를 적용한 활설 정책 제어

  dyna-q 알고리즘 구현 실습

• 4주차

  상세 커리큘럼

  근사를 활용한 Off-Policy 방법, Eligibility Trace, Policy Gradient

  챕터11: 근사를 활용한 Off-Policy 방법

  챕터12: 적격 흔적(Eligibility Trace)

  챕터13: 정책 경사도 방법

  REINFORCE, A3C 알고리즘 구현 실습