728x90
๋ฐ˜์‘ํ˜•

ํฌ์Šคํ… 21

[ KT AI ์„์‚ฌ๊ณผ์ • ] ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ๋Œ€ํ•™์› ์„œ๋ฅ˜ / ํ•„๊ธฐ๊ณ ์‚ฌ / ์ง€๋„๊ต์ˆ˜ ์„ ์ •

https://hae-koos.tistory.com/84 [ KT AI ์„์‚ฌ๊ณผ์ • ] ์‹ค๋ฌด๋ฉด์ ‘ / ์ž„์›๋ฉด์ ‘ https://hae-koos.tistory.com/83 [ KT AI ์„์‚ฌ๊ณผ์ • ] ์ธ์ ์„ฑ๊ฒ€์‚ฌ / ์ฝ”๋”ฉํ…Œ์ŠคํŠธ https://hae-koos.tistory.com/82 [ KT AI ์„์‚ฌ๊ณผ์ • ] ๋ชจ์ง‘๊ณต๊ณ  / ์„ค๋ช…ํšŒ / ์„œ๋ฅ˜์ „ํ˜• ํ•œ์ฐธ ์—ฐ๊ตฌ๋ถ€์—์„œ ์ธํ„ด์„ ํ•˜๊ณ  ์žˆ์„๋•Œ ํฌ์Šคํ….. hae-koos.tistory.com ์„œ๋ฅ˜๋งˆ๊ฐ : 8์›” 23์ผ -> ๊ฒฐ๊ณผ : 8์›” 31์ผ ์ฝ”ํ…Œ&์ธ์ ์„ฑ : 9์›” 3์ผ -> ๊ฒฐ๊ณผ : 9์›” 6์ผ ์˜ค์ „ ์‹ค๋ฌด๋ฉด์ ‘ : 9์›” 7์ผ -> ๊ฒฐ๊ณผ : 9์›” 14์ผ ์˜คํ›„ ์ž„์›๋ฉด์ ‘ : 9์›” 19์ผ -> ๊ฒฐ๊ณผ : 9์›” 22์ผ ์˜ค์ „ ์œ„ ๊ณผ์ •์„ ๋์œผ๋กœ KT ์ „ํ˜•์€ ๋งˆ๋ฌด๋ฆฌ๋˜๊ณ , ๋Œ€ํ•™์› ์ „ํ˜•์œผ๋กœ ๋„˜์–ด๊ฐ„๋‹ค. ํฌ์Šคํ…..

[ KT AI ์„์‚ฌ๊ณผ์ • ] ์‹ค๋ฌด๋ฉด์ ‘ / ์ž„์›๋ฉด์ ‘

https://hae-koos.tistory.com/83 [ KT AI ์„์‚ฌ๊ณผ์ • ] ์ธ์ ์„ฑ๊ฒ€์‚ฌ / ์ฝ”๋”ฉํ…Œ์ŠคํŠธ https://hae-koos.tistory.com/82 [ KT AI ์„์‚ฌ๊ณผ์ • ] ๋ชจ์ง‘๊ณต๊ณ  / ์„ค๋ช…ํšŒ / ์„œ๋ฅ˜์ „ํ˜• ํ•œ์ฐธ ์—ฐ๊ตฌ๋ถ€์—์„œ ์ธํ„ด์„ ํ•˜๊ณ  ์žˆ์„๋•Œ ํฌ์Šคํ… ํ™ˆํŽ˜์ด์ง€์— ๊ธฐ์‚ฌ๊ฐ€ ํ•˜๋‚˜ ์˜ฌ๋ผ์™”๋‹ค. 2023ํ•™๋…„๋„ ์‹ ์„ค๋˜๋Š” ์„์‚ฌ๊ณผ์ •์œผ๋กœ KT์—์„œ hae-koos.tistory.com ์„œ๋ฅ˜๋งˆ๊ฐ : 8์›” 23์ผ -> ์„œ๋ฅ˜๊ฒฐ๊ณผ : 8์›” 31์ผ ์ฝ”ํ…Œ&์ธ์ ์„ฑ : 9์›” 3์ผ -> ๊ฒฐ๊ณผ : 9์›” 6์ผ ์˜ค์ „ ํžŒ๋‚จ๋…ธ ๋•Œ๋ฌธ์— ๋ฐฉ์ถฉ๋ง์ด ์ž๊ธฐ ๋งˆ์Œ๋Œ€๋กœ ์›€์ง์˜€์„ ๋•Œ๋‹ค.. ์ง‘์ด ์ง€๋Œ€๊ฐ€ ๋†’์€ ๊ณณ์— ์žˆ์–ด์„œ ์ง์ ‘์ ์ด ํ”ผํ•ด๋Š” ์—†์—ˆ์œผ๋‚˜ ์—ฐ๊ตฌ๋ถ€ ์นœ๊ตฌ ์ง‘ ์•ž์€ ๋ฌผ๋‚œ๋ฆฌ๊ฐ€ ๋‚ฌ๋‹ค. ๋„์„œ๊ด€ ์•ž๋„ ๊ทธ๋ ‡๊ณ . ๊ทธ๋ž˜์„œ ์นจ๋Œ€์— ๊ผผ์ง์•Š๊ณ  ๋ˆ„์›Œ์žˆ๋Š”๋ฐ ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜์™”..

[ KT AI ์„์‚ฌ๊ณผ์ • ] ์ธ์ ์„ฑ๊ฒ€์‚ฌ / ์ฝ”๋”ฉํ…Œ์ŠคํŠธ

https://hae-koos.tistory.com/82 [ KT AI ์„์‚ฌ๊ณผ์ • ] ๋ชจ์ง‘๊ณต๊ณ  / ์„ค๋ช…ํšŒ / ์„œ๋ฅ˜์ „ํ˜• ํ•œ์ฐธ ์—ฐ๊ตฌ๋ถ€์—์„œ ์ธํ„ด์„ ํ•˜๊ณ  ์žˆ์„๋•Œ ํฌ์Šคํ… ํ™ˆํŽ˜์ด์ง€์— ๊ธฐ์‚ฌ๊ฐ€ ํ•˜๋‚˜ ์˜ฌ๋ผ์™”๋‹ค. 2023ํ•™๋…„๋„ ์‹ ์„ค๋˜๋Š” ์„์‚ฌ๊ณผ์ •์œผ๋กœ KT์—์„œ ๋Œ€ํ•™์› ์žฌํ•™ ๊ธฐ๊ฐ„ ์ž…ํ•™๊ธˆ์„ ํฌํ•จํ•œ ๋“ฑ๋ก๊ธˆ ์ „์•ก, ์—ฐ๊ตฌ ์ง€์›๋น„, ๊ธฐ์ˆ™์‚ฌ hae-koos.tistory.com ์„œ๋ฅ˜๋งˆ๊ฐ : 8์›” 23์ผ -> ์„œ๋ฅ˜๊ฒฐ๊ณผ : 8์›” 31์ผ ์ฝ”๋”ฉํ…Œ์ŠคํŠธ ๋ฐ ์ธ์ ์„ฑ๊ฒ€์‚ฌ ์ผ์ •์ด ํ•จ๊ป˜ ์•ˆ๋‚ด๋œ๋‹ค. ๋ฌธ์ œ๋Š” ์ธ์ ์„ฑ๊ฒ€์‚ฌ๋ฅผ ํ•ด๋ณธ ์ ์ด ์—†๋‹ค๋Š” ๊ฒƒ์ด๋‹ค.. ์„œ์  ๋†€๋Ÿฌ๊ฐ€๋ฉด ์žฌ๋ฏธ๋กœ ํ’€์–ด๋ณธ ์ ์ด๋‚˜ ์žˆ์ง€, ๊ฐ ์žก๊ณ  ๊ณต๋ถ€ํ•œ ๊ฒฝํ—˜์ด ์—†์—ˆ๋‹ค. ์ƒ๊ธฐ ๋‚ ์งœ๋ฅผ ๋ณด๋ฉด ์•Œ๊ฒ ์ง€๋งŒ ์„œ๋ฅ˜ ๊ฒฐ๊ณผ๊ฐ€ ์ฝ”ํ…Œ & ์ธ์ ์„ฑ ์‹œํ—˜ ๋ณด๊ธฐ 3์ผ ์ „์— ๋‚˜์˜จ๋‹ค. ์ค€๋น„๋ฅผ ์–ด๋–ป๊ฒŒ ํ–ˆ์—ˆ๋Š”์ง€ ์ƒ๊ธฐ์‹œ์ผœ๋ณด๋ฉด ์ฝ”๋”ฉํ…Œ์ŠคํŠธ ์‚ฌ์‹ค ์–ด..

[ KT AI ์„์‚ฌ๊ณผ์ • ] ๋ชจ์ง‘๊ณต๊ณ  / ์„ค๋ช…ํšŒ / ์„œ๋ฅ˜์ „ํ˜•

ํ•œ์ฐธ ์—ฐ๊ตฌ๋ถ€์—์„œ ์ธํ„ด์„ ํ•˜๊ณ  ์žˆ์„๋•Œ ํฌ์Šคํ… ํ™ˆํŽ˜์ด์ง€์— ๊ธฐ์‚ฌ๊ฐ€ ํ•˜๋‚˜ ์˜ฌ๋ผ์™”๋‹ค. 2023ํ•™๋…„๋„ ์‹ ์„ค๋˜๋Š” ์„์‚ฌ๊ณผ์ •์œผ๋กœ KT์—์„œ ๋Œ€ํ•™์› ์žฌํ•™ ๊ธฐ๊ฐ„ ์ž…ํ•™๊ธˆ์„ ํฌํ•จํ•œ ๋“ฑ๋ก๊ธˆ ์ „์•ก, ์—ฐ๊ตฌ ์ง€์›๋น„, ๊ธฐ์ˆ™์‚ฌ๋น„, ๊ฐœ์ธ์šฉ ์ตœ์‹  GPU ์„œ๋ฒ„์™€ ๋ฐฉํ•™๊ธฐ๊ฐ„ KT ์ธํ„ด์‹ญ๊นŒ์ง€. ๋˜, ์กธ์—… ํ›„์—๋Š” KT ์œตํ•ฉ๊ธฐ์ˆ ์›์—์„œ ์—ฐ๊ตฌ์›์œผ๋กœ ๊ทผ๋ฌดํ•˜๊ฒŒ ๋˜๋Š” ํ”„๋กœ๊ทธ๋žจ์„ ๊ฐœ์„คํ•œ๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ๋”ํ•  ๋‚˜์œ„ ์—†๋Š” ๊ธฐํšŒ์ž„์„ ์ง๊ฐํ–ˆ๊ณ , 7์›”์— ์˜ฌ๋ผ์˜ฌ ๊ณต๊ณ ๋ฅผ ๊ธฐ๋‹ค๋ฆฌ๊ณ  ์žˆ์—ˆ๋‹ค. ์‹œ๊ฐ„์ด ํ˜๋Ÿฌ ๋“œ๋””์–ด ๋ชจ์ง‘๊ณต๊ณ ๊ฐ€ ์˜ฌ๋ผ์™”๋‹ค. '์„์‚ฌ๊ณผ์ •'์ด๋ผ๋Š” ์›Œ๋”ฉ์ด ๋“ค์–ด์žˆ์–ด์„œ ์ฐฉ๊ฐํ•  ์ˆ˜ ์žˆ์œผ๋‚˜ ๋Œ€ํ•™์› ์ „ํ˜•๊ณผ๋Š” ์™„์ „ํžˆ ๋ถ„๋ฆฌ๋˜์–ด ์žˆ๋‹ค. ํฌํ•ญ๊ณต๋Œ€๋ฅผ ๊ธฐ์ค€์œผ๋กœ KT ์ „ํ˜•์ด ๋ชจ๋‘ ๋๋‚œ ์‹œ์ ์— ๋Œ€ํ•™์› ์›์„œ๋ฅผ ์ž‘์„ฑํ•ด์•ผ ํ–ˆ๊ณ , ๋Œ€ํ•™์› ์„œ๋ฅ˜ํ•ฉ๊ฒฉ์ž๋ฅผ ๋Œ€์ƒ์œผ๋กœ ํ•„๊ธฐ์‹œํ—˜์„ ๋ณด๊ฒŒ ๋œ๋‹ค. ํ•™๊ต์—์„œ ์ •ํ•ด์ค€ ๊ธฐ์ดˆ์ˆ˜ํ•™๊ณผ ์•Œ..

[ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ] HiFi-GAN Reproducing ์ฝ”๋“œ ๊ตฌํ˜„

https://hae-koos.tistory.com/79 [ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ] HiFi-GAN ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ / Vocoder ๊ฐœ๋… ์„ค๋ช… ๋ฐ ์ •๋ฆฌ [ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ] HiFi-GAN ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ / Vocoder ๊ฐœ๋… ์„ค๋ช… ๋ฐ ์ •๋ฆฌ Vocoder ๋ฐฐ๊ฒฝ์ง€์‹ : Mel-spectrogram ๋„ฃ์œผ๋ฉด Wave ๋งŒ๋“œ๋Š” ์นœ๊ตฌ → ๊ณต๋ถ€ํ•˜์ž BACKGROUND ํ•ฉ์„ฑ์Œ ์Œ์งˆ์„ ๊ฒฐ์ •ํ•˜๋Š” ์š”์†Œ (Neural Speech Synthesis ๊ด€์ ) ์ฃผ์–ด์ง„ ํ…์ŠคํŠธ๋กœ ๋ฉœ ์ŠคํŽ™ํŠธ๋กœ๊ทธ๋žจ์„ ์–ผ๋งˆ๋‚˜ ์ž˜ ์ƒ์„ฑํ•ด ๋‚ผ ์ˆ˜.. hae-koos.tistory.com https://github.com/jik876/hifi-gan [ Official Repository ] HiFi-GAN: Generative Advers..

[ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ] HiFi-GAN ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ / Vocoder ๊ฐœ๋… ์„ค๋ช… ๋ฐ ์ •๋ฆฌ

Vocoder ๋ฐฐ๊ฒฝ์ง€์‹ : Mel-spectrogram ๋„ฃ์œผ๋ฉด Wave ๋งŒ๋“œ๋Š” ์นœ๊ตฌ → ๊ณต๋ถ€ํ•˜์ž BACKGROUND ํ•ฉ์„ฑ์Œ ์Œ์งˆ์„ ๊ฒฐ์ •ํ•˜๋Š” ์š”์†Œ (Neural Speech Synthesis ๊ด€์ ) ์ฃผ์–ด์ง„ ํ…์ŠคํŠธ๋กœ ๋ฉœ ์ŠคํŽ™ํŠธ๋กœ๊ทธ๋žจ์„ ์–ผ๋งˆ๋‚˜ ์ž˜ ์ƒ์„ฑํ•ด ๋‚ผ ์ˆ˜ ์žˆ๋Š”๊ฐ€ ๋ฉœ ์ŠคํŽ™ํŠธ๋กœ๊ทธ๋žจ์œผ๋กœ๋ถ€ํ„ฐ ์Œ์„ฑ์˜ ํŒŒํ˜•์„ ์–ผ๋งˆ๋‚˜ ์„ ๋ช…ํ•˜๊ฒŒ ํ•ฉ์„ฑํ•  ์ˆ˜ ์žˆ๋Š”๊ฐ€ → Vocoder ๐Ÿ’ก Audio → Mel-spectrogram 1. audio๋ฅผ ์ฃผํŒŒ์ˆ˜ ์˜์—ญ์—์„œ ๋ถ„์„ํ•˜๊ธฐ ์œ„ํ•ด STFT ์ˆ˜ํ–‰, ์ฃผํŒŒ์ˆ˜ ์„ฑ๋ถ„ ํŠน์ง•์ ์„ ์ถ”์ถœํ•œ๋‹ค. 2. ๊ทธ ์ค‘ ํฌ๊ธฐ ์„ฑ๋ถ„์— ํ•ด๋‹นํ•˜๋Š” magnitude ๊ฐ’์„ ์ด์šฉํ•ด Mel-filterbank ์ ์šฉํ•œ๋‹ค. 3. ์ด๋ฅผ Mel-scale๋กœ ๋ณ€ํ™˜์‹œ์ผœ Mel-spectrogram์„ ์–ป๋Š”๋‹ค. ์œ„์™€ ๊ฐ™์€ ๊ณผ์ •์œผ๋กœ ๋ฉœ์ŠคํŽ™ํŠธ๋กœ๊ทธ๋žจ์„ ..

[ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ]AUTOVC ์ฝ”๋“œ ๋ฆฌ๋ทฐ ๋ฐ Reproducing

์ฝ”๋“œ ํŒŒํ—ค์น˜๊ธฐ ๐Ÿ”ฅ make_spect.py : Generate spectrogram data from the wav files npy ํ˜•ํƒœ๋กœ melspectrogram์ด ์ƒ์„ฑ๋จ make_metadata.py : Generate speaker embeddings and metadata for training ์œ„์—์„œ ๋งŒ๋“  ./spmel ํด๋”์— train.pkl ์ƒ์„ฑ metadata.pkl ์ƒ์„ฑ main.py : Run the main training script & Converges when the reconstruction loss is around 0.0001 conversion.ipynb : Download pre-trained AUTOVC model and run it autovc.ckpt ๋กœ๋“œํ•˜๊ณ ,..

[ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ]Voice Conversion ๊ฐœ๋… ๋ฐ MaskCycleGAN-VC ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ

ํ™ฉ๋ฐ˜์žฅ๋‹˜ ์‘์› ๊ณ ๋ง™๊ณ  ๐Ÿ˜ [์ฐธ๊ณ ์ž๋ฃŒ] http://dsba.korea.ac.kr/seminar/?mod=document&uid=1819 https://wdprogrammer.tistory.com/74

728x90
๋ฐ˜์‘ํ˜•