hae-koos

이 책의 남은 파트에서 지속적으로 다룰 문제를 소개하는 중요한 챕터로 이 문제를 해결하는 방법을 우리는 강화학습이라 여긴다. 이번 챕터를 통해 강화학습 문제가 어떤 것인지 개괄적으로 알아보고 그 응용에 대해 다룬다. 또한 강화학습 문제의 수학적으로 이상적인 형태를 다루고 Bellman equation이나 Value function과 같이 강화학습 문제의 수학적 구조의 중요한 요소들에 대해 학습한다. 3.1. The Agent-Environment Interface 앞서 계속 언급하였듯 강화학습에서 agent는 actions를 선택하고 environment는 그 actions에 반응하여 agent에게 새로운 situation을 제시하며, reward를 발생시킨다. 그리고 agent는 시간을 거쳐 그 rew..

MOOC 강좌 '컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석' 강의를 리뷰 및 정리한 게시물입니다. Graph Model을 어떻게 정의하고, 정의된 Model로부터 어떻게 최적화를 해서 Label을 얻는지에 관한 이야기다. 그전에 리뷰를 해보자. 위 그림처럼 노드가 N=9일 때는 각각 확률을 구해서 곱해주면 쉽지만 100x100 이미지만 생각해봐도 노드가 N=10,000이 되고, 0 ~ 1 사이의 확률값을 10,000번 곱하면 0에 가까운 값이 그 결과로 도출될 것이다. 이러한 경우가 발생하는 것을 예방하기 위해 Likelihood Probability와 Prior Probability의 곱에 - log 를 씌워준다. log 성질을 이용하면 진수의 곱은 로그의 덧셈으로 나누어지고, 결국 두 Pro..

MOOC 강좌 '컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석' 강의를 리뷰 및 정리한 게시물입니다. Graph Cut Method를 이용하여 Segmentation Task를 진행할 때는 이미지를 Graph Model로 정의하고, Graph의 Label을 정의하는 문제로 생각한다. 우측 이미지의 검은색이 background, 흰색이 foreground라고 가정한다. Graph Model에서는 관찰된 영상의 color 값을 obsevation이라 한다. 푸른색과 보라색을 따로 분할한다고 하면 푸른색을 0, 보라색을 1이라고 지정해야 한다. (Labeling) 해당 이미지를 그래프화 한 그림이 우측 그림의 상단부이고, 우리가 구하고 싶은 것은 X값들이다. 이는 P(X1 ~ X9ㅣZ1 ~ Z9) 라는 ..

MOOC 강좌 '컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석' 강의를 리뷰 및 정리한 게시물입니다. Region Growing 왼쪽 사진은 Thresholding Method의 결과물이고, 오른쪽 사진은 해당 사진에 Morphological Processing을 진행한 결과물이다. Noise와 Hole이 제거되었음을 확인할 수 있다. (마크업으로 칠한 사진이다. 실제로 해당 프로세싱 진행한 사진 아니다,,) 해당 이미지를 인풋으로 하여 사용자 입력 지점을 받으면 해당 지점으로부터 퍼져나가면서 픽셀값이 255가 아닌 지점까지 그 영역을 넓힌다. Region Growing에 해당하는 부분만 Labeling 되어 원하는 부분만 Segmentation 이 진행된 Binary Map을 얻을 수 있다. Bi..

MOOC 강좌 '컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석' 강의를 리뷰 및 정리한 게시물입니다. 위 사진은 앞선 게시물에서 다뤘던 Thresholding의 결과물이다. 100% 원하는 결과는 아님을 쉽게 알 수 있다. Noise가 존재하고, 원하는 영역 내부에도 올바르게 Segmentation이 이루어지지 않은 흔적들이 존재한다. Morphological Processing을 이용하면 Noise를 제거하거나 Hole을 채워줄 수 있다. 1. Dilation 우측 그림에서 푸른색으로 표시된 Foreground를 확장하고 싶을 때, Dilation 기법을 사용할 수 있다. Morphological Processing은 Convolution 과정과 상당히 유사하다. 먼저, Convolution에서 ..

MOOC 강좌 '컴퓨터비전, 머신러닝, 딥러닝을 이용한 의료영상분석' 강의를 리뷰 및 정리한 게시물입니다. Segmentation이란, 영상을 분할하는 작업으로 시간 간격을 두고 촬영한 영상을 비교하는 Longitudinal Study를 비롯한 다양한 연구에서 활용된다. 현재 진행하고 있는 프로젝트에서도 ROI Cropping 전에 3D TOF MRA 영상에서 Skull Stripping 즉, Brain Extraction 과정을 선제적으로 진행하였다. 예를 들어, Axial Plane에서 관찰하고 싶은 Organ이나 이상 영역을 Segmentation 하는 작업은 진단을 할 때 그 판단 기준이 될 수 있다는 점에서 중요하다. 이를 위한 다양한 기법이 제안되었다. 1. Thresholding Method..

20210705 첫 출근 연세대학교 의과대학 의생명시스템정보학교실 TAILab https://sites.google.com/view/tailab/home?authuser=0 Translational AI Lab Research Group for AI & Machine Learning in Medicine at Yonsei University College of Medicine, Severance Hospital sites.google.com 배우자 !

Part Ⅰ. Tabular Solution Methods 강화학습의 simplest forms에 대하여 배우는 챕터다. action-value function이 array나 table 형태로 나타나기에 충분할 정도로 그 state와 action space가 작은 형태다. 이러한 경우, optimal value function과 optimal policy를 찾을 가능성이 높다. 이는 오직 approximate solutions만 찾아내는 much larger problems과 대비된다. 강화학습이 다른 학습들과 구분되는 가장 중요한 특징은 correct actions에 대한 정보를 제공하여 instruct 하는 것이 아니라 actions을 평가한다는 것이다. 이것이 곧 active exploration의..

주어진 어떤 상황(state)에서 보상(reward)을 최대화할 수 있는 행동(action)에 대해 학습 답이 존재하는 훈련데이터를 토대로 한 학습이 아닌 환경과의 상호작용을 통해 학습 현재 선택한 Action이 미래의 순차적 보상에 영향 (Delayed Reward) External Supervisor이 존재하지 않는다. [ Trade-off between Exploitation and Exploration ] Agent는 reward를 얻기 위한 action을 선택하기 위해 이미 경험한 것을 exploit하거나 미래에 더 나은 action selection을 위한 environment와의 상호작용을 위해 explore한다. 위 두 방법 중에 더 나은 결과를 만들 방법을 택하여야 한다. 강화학습 구성요..

강화학습 ( Reinforcement Learning ) 환경(Environment)을 탐색하는 학습주체(Agent)는 현재 상태(State)를 인식하여 어떤 행동(Action)을 취하고, 환경으로부터 보상(Reward)를 얻는다. 강화학습의 알고리즘은 Agent가 앞으로 누적될 Reward를 최대화하는 일련의 Actions로 정의되는 Policy를 찾는 방법이다. 현재 선택한 Action이 미래의 순차적 Reward에 영향을 미친다는 것이 중요하다. (Delayed Reward) 위 서적과 박유성 교수님의 서적을 참고하여 강화학습에 대한 이론적인 이해를, Python OpenAI Gym 라이브러를 활용하여 그 구현을 목표로 공부하고 해당 내용을 정..