hae-koos

2017년 겨울에 나온 논문으로 NIPS에 등재된, 기계번역을 공부한다면 공부했을 논문이다. 학부생 인턴 때도 공부하려다가 어영부영 넘어갔던 논문,, 드디어 각 잡고 공부하여 정리했다. 입력 문장을 하나의 벡터로 압축하는 과정없이, RNN과 CNN 구조를 활용하지도 않고 오직 Attention 기법을 적용한 Encoder, Decoder를 반복하였다. 이를 통해 연산량을 줄이고, 성능 역시 개선시킨 Transformer에 대한 논문이다. 모델 아키텍처는 위 사진과 같다. 가장 먼저 좌측과 우측에 각각 N번씩 반복되는 인코더와 디코더 구조가 눈에 띈다. 그림에서도 확인할 수 있듯이 Transformer 구조의 핵심은 다음과 같이 정리된다. Positional Encoding Encoder Self-Att..

Acoustic Feature Audio File Structure Channel : Mono(1) / Stereo(2) Length : 60s, 1m, 1h … Sampling Rate : 1초당 샘플의 빈도수 (44.1kHz - 1초에 샘플 수가 44,100개 들어있다.) Bit Depth : 음의 강도를 얼마나 세분화하여 표현할 것인지 (24 bit - 2^24개의 높낮이를 표현할 수 있다.) Bit Rate : 오디오로 전송되는 데이터의 양 (CHANNEL # x SAMPLING RATE x BIT DEPTH) import matplotlib.pyplot as plt from scipy.io import wavfile as wav fs, data = wav.read('./3sec.wav') pri..

2. CNN Feature Map + MSE 현재 가지고 있는 데이터는 다양한 형태의 충돌 장면을 담은 블랙박스 영상으로 낮밤, 차종, 충돌정도, 충돌상황 등 상황이 다양했다. 이에 사수 연구원님의 Approach에도 MSE를 활용하여 t번째 프레임과 t+1번째 프레임의 차이가 커지는 순간을 충돌로 판단하는 방법론이 대부분이었다. 여기에 전처리를 어떻게 하는냐의 차이. 가장 성능이 좋은 알고리즘이 Canny Edge Detection을 활용한 방법론이었고, 나는 CNN을 통해 얻은 Feature Map에 이를 적용하면 어떨까 싶어 시도하기로 했다. 문제정의부터 - ! 문제정의 '흔들림'을 판단하는 영상학적 근거가 무엇일까 이전 프레임과의 차이를 봐야하는 것은 변함이 없을것. 다만, 몇개의 프레임을 기준..

5월 12일, 13일에 걸쳐 제주도로 가족여행을 다녀와서 또 다시 바로 짐을 쌌다. 1월 말부터 아카데미 기간 내내 간다만다 했었던 포항을 수료 후 연구인턴 신분으로 가게 되었다. 근무지는 포항공과대학교 인공지능대학원 연구부. 처음 맞이한 주말에 대전으로 친구를 만나러 가느라 이제서야 기록하게 되었다. 또 마침 처음으로 해야할 일이 없다.. 글을 쓰는 오늘은 5월 26일 목요일. 5월16일, 그러니까 지난주 월요일이 첫 출근이었다. 아카데미 같은 반원들도 있었지만 다른 반원들도 있었는데 줌으로 얼굴을 한번씩 봐서 그런지 익숙한 얼굴들이었다. 계약서부터 쓰고, 너도나도?? 아이스 브레이킹 게임도 하고, 그 결과로 선발된 황반장님, 보고 계시죠 ~~ :) 여차저차 업무 분담과 자리 배정까지 오전중에 촥촥 진..

아카데미 기간이 끝나고 갑작스럽게 여유를 되찾은 탓에 만족감과 공허함이 공존하던 찰나, 포항에 사는 조원들이 하나둘 수료증과 상장, 부상을 받았다고 연락이 왔다. 수료식에서 화면에 띄워둔 상장과 실물로 받는 상장은 아무래도 느낌이 다르니까 기대됐다. 어제는 수영, 오늘은 크로스핏을 하면서 3개월동안 숨만 쉬는 영장류로 전락한 나를 어이없어 하다가 집에 돌아오니 저런 폭탄처럼 생긴 소포가 도착했고, 신나서 언패킹을 진행했다. 영롱한 수료증과 구글 네스트, 그리고 에어팟 3세대 두 친구 ㅎㅎㅎ 지금 쓰는 에어팟이 가끔 말썽을 부리긴 하는데 굳이 바꿀 필요는 없을것 같아서 다가오는 어버이날 선물준비에 사용하는 걸로. 수료증도, 반장을 맡아 받은 봉사상도, 개인 성적 우수상도 모두 12주간 밤샘을 디폴트 삼아 ..

2022년 4월 22일,오전 10시 수료식을 끝으로 청년 AI 빅데이터 아카데미 17기의 모든 과정이 끝이 났다. 어떤 이야기로 글을 시작할 지, 어느 정도의 깊이로 글을 쓸 지 감이 오지 않은 채로 노트북 앞에 앉은건 생생한 기록을 남기고 싶어서다. 당분간 노트북은 쳐다보기도 싫다고 입을 모았었지만... 지금 써야 될 것만 같았다. 그리고 무엇보다 2주간 인공지능 프로젝트 합숙을 하면서 생활 패턴이 꼬여 잠이 안온다 ㅎㅎㅎ 우선 상단 오른쪽 사진의 AI 주간 스케줄대로 진행되진 않았다. 3월 21일을 기점으로 AIoT / 알고리즘 / 인공지능 / 머신러닝과 딥러닝 / 컴퓨터비전 순서로 강의가 진행됐다. 학부 강의로 들어야 할 것 같은 과목들을 일주일이 채 안 되는 시간동안 얼마나 하겠나 싶었지만 생각보..

또 다시 3주가 지났다. 제목처럼 두 번의 시험이 있었고, 두 번의 종합실습 과제와 대망의 프로젝트 및 발표까지 모두 마치고 주말을 맞이했다. 지난주 일요일 조원들과 이태원에서 합숙을 시작하면서 금요일 발표까지 정말 많이 쳐줘야 20시간 잔 것 같다. 사람이 오래 앉아있으면 다리가 붓는다는 것, 아니 그냥 다리가 붓는다는 느낌을 처음 받아봤다 ㅋㅋㅋ 무지막지한 일주일이었지만 정말 오랫동안 기억에 남을 것이다. 사조캐피탈 고생했다 👏 시간 순으로 돌이켜보자. 마지막 한 주는 빅데이터 과제수행 교재에 따라 프로젝트에 집중했으니 차치하고, 나머지 다섯 권의 교재를 12일에 걸쳐 모두 나갔다. 각 반에 두 분씩 교수님이 배정되고 교수님들은 빅데이터 프로젝트 피드백까지 도맡아 해당 반을 이끌어주신다. 3주가 지나..

1월 22일 면접과 합격 후기 글을 쓰고 한 달이 넘게 시간이 흘렀다. 그것도 매우 빠르게.. 지원하기 전부터 지원 준비 그리고 결과를 기다릴 때도 후기들을 습관처럼 찾아봤었기에 많은 노력을 필요로 하는 과정임은 알고 있었다. "4시간?많이 잤다", "틈 생기면 자라" 등등. 과장은 없었다. 모두 사실이다...!! 2월 14일 입과식, 그리고 파이썬 프로그래밍 과정으로 본 프로그램의 커리큘럼이 시작되었다. 그전에도 모든 교육생들은 패스트캠퍼스 강의인 머신러닝과 데이터분석을 제공받는다. 선형대수, 확통, 파이썬 기초, 데이터 전처리와 시각화 그리고 머신러닝과 딥러닝까지. 전반적인 내용을 모두 아우르는 강의로 코드 구현까지 있어 배울 것이 많은 강의다. 게다가 내년까지 수강할 수 있는 1년권이다. 성실히만..

필기시험을 봤더라면 포항까지 내려갔어야 했는데 그러지 않아도 되었다. 공부량과 관계없이 시험은 불안함이 따르기 마련이니 차라리 자신있는 면접이 좋았다. 하지만 차선책이 없었던, 그래서 평소보다 간절했던 기회였기에 준비를 정말 철저히 했다. 예상 질문들에 대한 3분 ~ 4분 분량의 답변을 달달 외울 정도로. 아직도 외우고 있다 ㅋㅋㅋ 여러 블로그들을 참고하며 정리한 예상질문은 아래와 같다. 1. 자기소개 2. 지원동기 3. 이 프로그램을 위해 무엇을 얼마나 어떻게 준비했는지 4. 앞으로의 계획과 포부 5. 사전에 제공하는 온라인 강의를 수강했는지 6. 활동에서 기대가 되는 점 7. 프로젝트를 하다가 막힌다면? 8. 이외의 자소서 기반 경험들 5명씩 면접에 들어갔고, 면접관은 3분이셨다. 시간 제한은 크게 ..

차수당 75명 이내 인원을 선발하여 온라인(2주) + 합숙(10주) 형태로 진행되는 아카데미다. Python 기초 및 심화 강의를 포함해서 빅데이터와 인공지능 이론 그리고 두 번의 프로젝트까지. 12주라는 결코 길지 않은 시간동안 소화해야 하는 커리큘럼이기에 이전 후기들을 찾아보면 하루 평균 수면 시간이 많아야 4시간이라고 한다.. 하지만 포스텍, 포스코 소속 교수님들과 현업에 종사하고 계신 분들의 디테일한 피드백을 더한 두 번의 프로젝트 경험을 무상교육에 오히려 숙식 제공 + 교육수당까지 받으니 정말 공부만 하면 된다. 성적 우수자의 경우, 포스코그룹 채용 또는 포스텍 연구인턴 기회 제공까지 (이 역시 급여와 숙소는 제공된다.) 대기업은 강하다. 입과지원서 (a.k.a. 자기소개서) Mac OS는 지원..