728x90
๋ฐ˜์‘ํ˜•

์—ฐ๊ตฌ์ธํ„ด 7

[ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ]Voice Conversion ๊ฐœ๋… ๋ฐ MaskCycleGAN-VC ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ

ํ™ฉ๋ฐ˜์žฅ๋‹˜ ์‘์› ๊ณ ๋ง™๊ณ  ๐Ÿ˜ [์ฐธ๊ณ ์ž๋ฃŒ] http://dsba.korea.ac.kr/seminar/?mod=document&uid=1819 https://wdprogrammer.tistory.com/74

[ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ]Attention Is all You Need ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ์™€ ์„ค๋ช…

2017๋…„ ๊ฒจ์šธ์— ๋‚˜์˜จ ๋…ผ๋ฌธ์œผ๋กœ NIPS์— ๋“ฑ์žฌ๋œ, ๊ธฐ๊ณ„๋ฒˆ์—ญ์„ ๊ณต๋ถ€ํ•œ๋‹ค๋ฉด ๊ณต๋ถ€ํ–ˆ์„ ๋…ผ๋ฌธ์ด๋‹ค. ํ•™๋ถ€์ƒ ์ธํ„ด ๋•Œ๋„ ๊ณต๋ถ€ํ•˜๋ ค๋‹ค๊ฐ€ ์–ด์˜๋ถ€์˜ ๋„˜์–ด๊ฐ”๋˜ ๋…ผ๋ฌธ,, ๋“œ๋””์–ด ๊ฐ ์žก๊ณ  ๊ณต๋ถ€ํ•˜์—ฌ ์ •๋ฆฌํ–ˆ๋‹ค. ์ž…๋ ฅ ๋ฌธ์žฅ์„ ํ•˜๋‚˜์˜ ๋ฒกํ„ฐ๋กœ ์••์ถ•ํ•˜๋Š” ๊ณผ์ •์—†์ด, RNN๊ณผ CNN ๊ตฌ์กฐ๋ฅผ ํ™œ์šฉํ•˜์ง€๋„ ์•Š๊ณ  ์˜ค์ง Attention ๊ธฐ๋ฒ•์„ ์ ์šฉํ•œ Encoder, Decoder๋ฅผ ๋ฐ˜๋ณตํ•˜์˜€๋‹ค. ์ด๋ฅผ ํ†ตํ•ด ์—ฐ์‚ฐ๋Ÿ‰์„ ์ค„์ด๊ณ , ์„ฑ๋Šฅ ์—ญ์‹œ ๊ฐœ์„ ์‹œํ‚จ Transformer์— ๋Œ€ํ•œ ๋…ผ๋ฌธ์ด๋‹ค. ๋ชจ๋ธ ์•„ํ‚คํ…์ฒ˜๋Š” ์œ„ ์‚ฌ์ง„๊ณผ ๊ฐ™๋‹ค. ๊ฐ€์žฅ ๋จผ์ € ์ขŒ์ธก๊ณผ ์šฐ์ธก์— ๊ฐ๊ฐ N๋ฒˆ์”ฉ ๋ฐ˜๋ณต๋˜๋Š” ์ธ์ฝ”๋”์™€ ๋””์ฝ”๋” ๊ตฌ์กฐ๊ฐ€ ๋ˆˆ์— ๋ˆ๋‹ค. ๊ทธ๋ฆผ์—์„œ๋„ ํ™•์ธํ•  ์ˆ˜ ์žˆ๋“ฏ์ด Transformer ๊ตฌ์กฐ์˜ ํ•ต์‹ฌ์€ ๋‹ค์Œ๊ณผ ๊ฐ™์ด ์ •๋ฆฌ๋œ๋‹ค. Positional Encoding Encoder Self-Att..

[ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ] Acoustic Feature, MelGAN ๋…ผ๋ฌธ ์ •๋ฆฌ ๋ฐ ์ฝ”๋“œ ์‹ค์Šต

Acoustic Feature Audio File Structure Channel : Mono(1) / Stereo(2) Length : 60s, 1m, 1h … Sampling Rate : 1์ดˆ๋‹น ์ƒ˜ํ”Œ์˜ ๋นˆ๋„์ˆ˜ (44.1kHz - 1์ดˆ์— ์ƒ˜ํ”Œ ์ˆ˜๊ฐ€ 44,100๊ฐœ ๋“ค์–ด์žˆ๋‹ค.) Bit Depth : ์Œ์˜ ๊ฐ•๋„๋ฅผ ์–ผ๋งˆ๋‚˜ ์„ธ๋ถ„ํ™”ํ•˜์—ฌ ํ‘œํ˜„ํ•  ๊ฒƒ์ธ์ง€ (24 bit - 2^24๊ฐœ์˜ ๋†’๋‚ฎ์ด๋ฅผ ํ‘œํ˜„ํ•  ์ˆ˜ ์žˆ๋‹ค.) Bit Rate : ์˜ค๋””์˜ค๋กœ ์ „์†ก๋˜๋Š” ๋ฐ์ดํ„ฐ์˜ ์–‘ (CHANNEL # x SAMPLING RATE x BIT DEPTH) import matplotlib.pyplot as plt from scipy.io import wavfile as wav fs, data = wav.read('./3sec.wav') pri..

[ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ] ๋ธ”๋ž™๋ฐ•์Šค ์˜์ƒ ๋‚ด ํ”๋“ค๋ฆผ ํƒ์ง€

2. CNN Feature Map + MSE ํ˜„์žฌ ๊ฐ€์ง€๊ณ  ์žˆ๋Š” ๋ฐ์ดํ„ฐ๋Š” ๋‹ค์–‘ํ•œ ํ˜•ํƒœ์˜ ์ถฉ๋Œ ์žฅ๋ฉด์„ ๋‹ด์€ ๋ธ”๋ž™๋ฐ•์Šค ์˜์ƒ์œผ๋กœ ๋‚ฎ๋ฐค, ์ฐจ์ข…, ์ถฉ๋Œ์ •๋„, ์ถฉ๋Œ์ƒํ™ฉ ๋“ฑ ์ƒํ™ฉ์ด ๋‹ค์–‘ํ–ˆ๋‹ค. ์ด์— ์‚ฌ์ˆ˜ ์—ฐ๊ตฌ์›๋‹˜์˜ Approach์—๋„ MSE๋ฅผ ํ™œ์šฉํ•˜์—ฌ t๋ฒˆ์งธ ํ”„๋ ˆ์ž„๊ณผ t+1๋ฒˆ์งธ ํ”„๋ ˆ์ž„์˜ ์ฐจ์ด๊ฐ€ ์ปค์ง€๋Š” ์ˆœ๊ฐ„์„ ์ถฉ๋Œ๋กœ ํŒ๋‹จํ•˜๋Š” ๋ฐฉ๋ฒ•๋ก ์ด ๋Œ€๋ถ€๋ถ„์ด์—ˆ๋‹ค. ์—ฌ๊ธฐ์— ์ „์ฒ˜๋ฆฌ๋ฅผ ์–ด๋–ป๊ฒŒ ํ•˜๋Š”๋ƒ์˜ ์ฐจ์ด. ๊ฐ€์žฅ ์„ฑ๋Šฅ์ด ์ข‹์€ ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด Canny Edge Detection์„ ํ™œ์šฉํ•œ ๋ฐฉ๋ฒ•๋ก ์ด์—ˆ๊ณ , ๋‚˜๋Š” CNN์„ ํ†ตํ•ด ์–ป์€ Feature Map์— ์ด๋ฅผ ์ ์šฉํ•˜๋ฉด ์–ด๋–จ๊นŒ ์‹ถ์–ด ์‹œ๋„ํ•˜๊ธฐ๋กœ ํ–ˆ๋‹ค. ๋ฌธ์ œ์ •์˜๋ถ€ํ„ฐ - ! ๋ฌธ์ œ์ •์˜ 'ํ”๋“ค๋ฆผ'์„ ํŒ๋‹จํ•˜๋Š” ์˜์ƒํ•™์  ๊ทผ๊ฑฐ๊ฐ€ ๋ฌด์—‡์ผ๊นŒ ์ด์ „ ํ”„๋ ˆ์ž„๊ณผ์˜ ์ฐจ์ด๋ฅผ ๋ด์•ผํ•˜๋Š” ๊ฒƒ์€ ๋ณ€ํ•จ์ด ์—†์„๊ฒƒ. ๋‹ค๋งŒ, ๋ช‡๊ฐœ์˜ ํ”„๋ ˆ์ž„์„ ๊ธฐ์ค€..

[ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ] ํฌํ•ญ์œผ๋กœ

5์›” 12์ผ, 13์ผ์— ๊ฑธ์ณ ์ œ์ฃผ๋„๋กœ ๊ฐ€์กฑ์—ฌํ–‰์„ ๋‹ค๋…€์™€์„œ ๋˜ ๋‹ค์‹œ ๋ฐ”๋กœ ์ง์„ ์ŒŒ๋‹ค. 1์›” ๋ง๋ถ€ํ„ฐ ์•„์นด๋ฐ๋ฏธ ๊ธฐ๊ฐ„ ๋‚ด๋‚ด ๊ฐ„๋‹ค๋งŒ๋‹ค ํ–ˆ์—ˆ๋˜ ํฌํ•ญ์„ ์ˆ˜๋ฃŒ ํ›„ ์—ฐ๊ตฌ์ธํ„ด ์‹ ๋ถ„์œผ๋กœ ๊ฐ€๊ฒŒ ๋˜์—ˆ๋‹ค. ๊ทผ๋ฌด์ง€๋Š” ํฌํ•ญ๊ณต๊ณผ๋Œ€ํ•™๊ต ์ธ๊ณต์ง€๋Šฅ๋Œ€ํ•™์› ์—ฐ๊ตฌ๋ถ€. ์ฒ˜์Œ ๋งž์ดํ•œ ์ฃผ๋ง์— ๋Œ€์ „์œผ๋กœ ์นœ๊ตฌ๋ฅผ ๋งŒ๋‚˜๋Ÿฌ ๊ฐ€๋Š๋ผ ์ด์ œ์„œ์•ผ ๊ธฐ๋กํ•˜๊ฒŒ ๋˜์—ˆ๋‹ค. ๋˜ ๋งˆ์นจ ์ฒ˜์Œ์œผ๋กœ ํ•ด์•ผํ•  ์ผ์ด ์—†๋‹ค.. ๊ธ€์„ ์“ฐ๋Š” ์˜ค๋Š˜์€ 5์›” 26์ผ ๋ชฉ์š”์ผ. 5์›”16์ผ, ๊ทธ๋Ÿฌ๋‹ˆ๊นŒ ์ง€๋‚œ์ฃผ ์›”์š”์ผ์ด ์ฒซ ์ถœ๊ทผ์ด์—ˆ๋‹ค. ์•„์นด๋ฐ๋ฏธ ๊ฐ™์€ ๋ฐ˜์›๋“ค๋„ ์žˆ์—ˆ์ง€๋งŒ ๋‹ค๋ฅธ ๋ฐ˜์›๋“ค๋„ ์žˆ์—ˆ๋Š”๋ฐ ์คŒ์œผ๋กœ ์–ผ๊ตด์„ ํ•œ๋ฒˆ์”ฉ ๋ด์„œ ๊ทธ๋Ÿฐ์ง€ ์ต์ˆ™ํ•œ ์–ผ๊ตด๋“ค์ด์—ˆ๋‹ค. ๊ณ„์•ฝ์„œ๋ถ€ํ„ฐ ์“ฐ๊ณ , ๋„ˆ๋„๋‚˜๋„?? ์•„์ด์Šค ๋ธŒ๋ ˆ์ดํ‚น ๊ฒŒ์ž„๋„ ํ•˜๊ณ , ๊ทธ ๊ฒฐ๊ณผ๋กœ ์„ ๋ฐœ๋œ ํ™ฉ๋ฐ˜์žฅ๋‹˜, ๋ณด๊ณ  ๊ณ„์‹œ์ฃ  ~~ :) ์—ฌ์ฐจ์ €์ฐจ ์—…๋ฌด ๋ถ„๋‹ด๊ณผ ์ž๋ฆฌ ๋ฐฐ์ •๊นŒ์ง€ ์˜ค์ „์ค‘์— ์ดฅ์ดฅ ์ง„..

728x90
๋ฐ˜์‘ํ˜•