728x90
반응형

Category 80

[ 포스텍 인공지능연구원 연구인턴 ]Attention Is all You Need 논문 리뷰와 설명

2017년 겨울에 나온 논문으로 NIPS에 등재된, 기계번역을 공부한다면 공부했을 논문이다. 학부생 인턴 때도 공부하려다가 어영부영 넘어갔던 논문,, 드디어 각 잡고 공부하여 정리했다. 입력 문장을 하나의 벡터로 압축하는 과정없이, RNN과 CNN 구조를 활용하지도 않고 오직 Attention 기법을 적용한 Encoder, Decoder를 반복하였다. 이를 통해 연산량을 줄이고, 성능 역시 개선시킨 Transformer에 대한 논문이다. 모델 아키텍처는 위 사진과 같다. 가장 먼저 좌측과 우측에 각각 N번씩 반복되는 인코더와 디코더 구조가 눈에 띈다. 그림에서도 확인할 수 있듯이 Transformer 구조의 핵심은 다음과 같이 정리된다. Positional Encoding Encoder Self-Att..

[ 포스텍 인공지능연구원 연구인턴 ] Acoustic Feature, MelGAN 논문 정리 및 코드 실습

Acoustic Feature Audio File Structure Channel : Mono(1) / Stereo(2) Length : 60s, 1m, 1h … Sampling Rate : 1초당 샘플의 빈도수 (44.1kHz - 1초에 샘플 수가 44,100개 들어있다.) Bit Depth : 음의 강도를 얼마나 세분화하여 표현할 것인지 (24 bit - 2^24개의 높낮이를 표현할 수 있다.) Bit Rate : 오디오로 전송되는 데이터의 양 (CHANNEL # x SAMPLING RATE x BIT DEPTH) import matplotlib.pyplot as plt from scipy.io import wavfile as wav fs, data = wav.read('./3sec.wav') pri..

[ 포스텍 인공지능연구원 연구인턴 ] 블랙박스 영상 내 흔들림 탐지

2. CNN Feature Map + MSE 현재 가지고 있는 데이터는 다양한 형태의 충돌 장면을 담은 블랙박스 영상으로 낮밤, 차종, 충돌정도, 충돌상황 등 상황이 다양했다. 이에 사수 연구원님의 Approach에도 MSE를 활용하여 t번째 프레임과 t+1번째 프레임의 차이가 커지는 순간을 충돌로 판단하는 방법론이 대부분이었다. 여기에 전처리를 어떻게 하는냐의 차이. 가장 성능이 좋은 알고리즘이 Canny Edge Detection을 활용한 방법론이었고, 나는 CNN을 통해 얻은 Feature Map에 이를 적용하면 어떨까 싶어 시도하기로 했다. 문제정의부터 - ! 문제정의 '흔들림'을 판단하는 영상학적 근거가 무엇일까 이전 프레임과의 차이를 봐야하는 것은 변함이 없을것. 다만, 몇개의 프레임을 기준..

[ 포스텍 인공지능연구원 연구인턴 ] 포항으로

5월 12일, 13일에 걸쳐 제주도로 가족여행을 다녀와서 또 다시 바로 짐을 쌌다. 1월 말부터 아카데미 기간 내내 간다만다 했었던 포항을 수료 후 연구인턴 신분으로 가게 되었다. 근무지는 포항공과대학교 인공지능대학원 연구부. 처음 맞이한 주말에 대전으로 친구를 만나러 가느라 이제서야 기록하게 되었다. 또 마침 처음으로 해야할 일이 없다.. 글을 쓰는 오늘은 5월 26일 목요일. 5월16일, 그러니까 지난주 월요일이 첫 출근이었다. 아카데미 같은 반원들도 있었지만 다른 반원들도 있었는데 줌으로 얼굴을 한번씩 봐서 그런지 익숙한 얼굴들이었다. 계약서부터 쓰고, 너도나도?? 아이스 브레이킹 게임도 하고, 그 결과로 선발된 황반장님, 보고 계시죠 ~~ :) 여차저차 업무 분담과 자리 배정까지 오전중에 촥촥 진..

3. Resampling, RoI Crop

# Resampling 정상 케이스와 모야모야 케이스를 촬영하는 MR Protocol이 다르다는 점과 촬영 기기의 차이, 그리고 심지어 같은 스캐너를 사용했다고 하더라도 Voxel Spacing에 차이가 존재할 수 있다. 이를 1 : 1 : 1로 맞춰주기 위해 resampling을 진행하였다. resampling 코드나 방법은 검색하는대로 쉽게 찾아볼 수 있었다. # RoI Crop 학부 시험기간과 겹치고 교수님들께 피드백 받는 시간이 길어지는 동시에 가장 애를 먹였던 RoI Crop이다. 사람들마다 머리 모양이 모두 다르고, 머리를 차지하는 뇌의 크기도 다르다. 또한 앞서 언급하였던 스캔 프로토콜의 차이에 따라 이미지 속 뇌가 차지하는 면적이 모두 달랐기에 전체 이미지에서 RoI의 상대위치를 계산할 수..

AI/학부생 인턴 2022.05.09

[ 청년 AI 빅데이터 아카데미 17기 ] 수료증 도착, 진짜 끝 - !

아카데미 기간이 끝나고 갑작스럽게 여유를 되찾은 탓에 만족감과 공허함이 공존하던 찰나, 포항에 사는 조원들이 하나둘 수료증과 상장, 부상을 받았다고 연락이 왔다. 수료식에서 화면에 띄워둔 상장과 실물로 받는 상장은 아무래도 느낌이 다르니까 기대됐다. 어제는 수영, 오늘은 크로스핏을 하면서 3개월동안 숨만 쉬는 영장류로 전락한 나를 어이없어 하다가 집에 돌아오니 저런 폭탄처럼 생긴 소포가 도착했고, 신나서 언패킹을 진행했다. 영롱한 수료증과 구글 네스트, 그리고 에어팟 3세대 두 친구 ㅎㅎㅎ 지금 쓰는 에어팟이 가끔 말썽을 부리긴 하는데 굳이 바꿀 필요는 없을것 같아서 다가오는 어버이날 선물준비에 사용하는 걸로. 수료증도, 반장을 맡아 받은 봉사상도, 개인 성적 우수상도 모두 12주간 밤샘을 디폴트 삼아 ..

[ 청년 AI 빅데이터 아카데미 17기 ] 인공지능 주간 n번의 시험, n번의 과제 그리고 대망의 프로젝트

2022년 4월 22일,오전 10시 수료식을 끝으로 청년 AI 빅데이터 아카데미 17기의 모든 과정이 끝이 났다. 어떤 이야기로 글을 시작할 지, 어느 정도의 깊이로 글을 쓸 지 감이 오지 않은 채로 노트북 앞에 앉은건 생생한 기록을 남기고 싶어서다. 당분간 노트북은 쳐다보기도 싫다고 입을 모았었지만... 지금 써야 될 것만 같았다. 그리고 무엇보다 2주간 인공지능 프로젝트 합숙을 하면서 생활 패턴이 꼬여 잠이 안온다 ㅎㅎㅎ 우선 상단 오른쪽 사진의 AI 주간 스케줄대로 진행되진 않았다. 3월 21일을 기점으로 AIoT / 알고리즘 / 인공지능 / 머신러닝과 딥러닝 / 컴퓨터비전 순서로 강의가 진행됐다. 학부 강의로 들어야 할 것 같은 과목들을 일주일이 채 안 되는 시간동안 얼마나 하겠나 싶었지만 생각보..

[ 청년 AI 빅데이터 아카데미 17기 ] 빅데이터 주간 두 번의 시험, 두 번의 종합과제 그리고 대망의 프로젝트

또 다시 3주가 지났다. 제목처럼 두 번의 시험이 있었고, 두 번의 종합실습 과제와 대망의 프로젝트 및 발표까지 모두 마치고 주말을 맞이했다. 지난주 일요일 조원들과 이태원에서 합숙을 시작하면서 금요일 발표까지 정말 많이 쳐줘야 20시간 잔 것 같다. 사람이 오래 앉아있으면 다리가 붓는다는 것, 아니 그냥 다리가 붓는다는 느낌을 처음 받아봤다 ㅋㅋㅋ 무지막지한 일주일이었지만 정말 오랫동안 기억에 남을 것이다. 사조캐피탈 고생했다 👏 시간 순으로 돌이켜보자. 마지막 한 주는 빅데이터 과제수행 교재에 따라 프로젝트에 집중했으니 차치하고, 나머지 다섯 권의 교재를 12일에 걸쳐 모두 나갔다. 각 반에 두 분씩 교수님이 배정되고 교수님들은 빅데이터 프로젝트 피드백까지 도맡아 해당 반을 이끌어주신다. 3주가 지나..

728x90
반응형