728x90
๋ฐ˜์‘ํ˜•

๋…ผ๋ฌธ๋ฆฌ๋ทฐ 4

D-NeRF : Neural Radiance Fields for Dynamic Scenes ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ ๋ฐ ์„ค๋ช…

NeRF ๋…ผ๋ฌธ์„ ์ฝ๊ณ , ๋งค์ฃผ ์ƒˆ๋กœ์šด ๋…ผ๋ฌธ์„ ๊ณต๋ถ€ํ–ˆ์ง€๋งŒ ๋ธ”๋กœ๊ทธ์— ์ •๋ฆฌํ•  ์‹œ๊ฐ„์€ ๋‚˜์งˆ ์•Š์•˜๋‹ค. ์ง€๊ธˆ๋„ ๋งˆ์ฐฌ๊ฐ€์ง€์ด๋‚˜ ๋กœ์ปฌ PC์˜ GPU์™€ ์—ฐ๊ตฌ์‹ค ์„œ๋ฒ„๊ฐ€ ์—ด์‹ฌํžˆ ์ผํ•˜๊ณ  ์žˆ๋Š” ์ค‘์ด๋‹ค. ๊ทธ๋ ‡๋‹ค๊ณ  ํ‡ด๊ทผํ•ด๋ฒ„๋ฆฌ๊ธฐ์—๋Š” ๋‹ค์Œ ์‹คํ—˜๊นŒ์ง€ ๋Œ๋ฆฌ๊ณ  ๊ฐ€๊ณ  ์‹ถ์–ด์„œ ์‹œ๊ฐ„์ด ์‚ด์ง ๋–ด๋‹ค. https://hae-koos.tistory.com/97 NeRF ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ ๋ฐ ์„ค๋ช… 3D ์—ฐ๊ตฌ๋ฅผ ์ง„ํ–‰ํ•˜๊ธฐ ์œ„ํ•ด ์ฝ์—ˆ๋˜ ๋…ผ๋ฌธ๋“ค์ด ๊ฝค ์žˆ๋Š”๋ฐ ๋…ธ์…˜๊ณผ ๋ฏธํŒ…๋…ธํŠธ ํ˜•ํƒœ๋กœ๋งŒ ์ •๋ฆฌ๋˜์–ด ์žˆ์–ด์„œ ๋…ผ๋ฌธ์ฝ๊ธฐ์— ์‹ซ์ฆ์ด ๋‚˜๊ฑฐ๋‚˜ ๋‹จ์ˆœํ•œ ์ผ์„ ํ•˜๊ณ  ์‹ถ์„ ๋•Œ ํ•˜๋‚˜์”ฉ ๋ธ”๋กœ๊ทธ๋กœ ์˜ฎ๊ฒจ๋ณด๊ณ ์ž ํ•œ๋‹ค. ๊ทธ ์‹œ hae-koos.tistory.com ์˜ค๋Š˜ ์ •๋ฆฌํ•  ๋…ผ๋ฌธ์€ D-NeRF. NeRF๊ฐ€ Static Scene์„ ๋‹ค๋ค˜๋‹ค๋ฉด Dynamic Scene์„ ๋‹ค๋ฃฌ ๋…ผ๋ฌธ์ด๋‹ค. ์ฆ‰, ์‹œ๊ฐ„ ์ถ•์˜ ์ •๋ณด๊นŒ์ง€ ..

NeRF ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ ๋ฐ ์„ค๋ช…

3D ์—ฐ๊ตฌ๋ฅผ ์ง„ํ–‰ํ•˜๊ธฐ ์œ„ํ•ด ์ฝ์—ˆ๋˜ ๋…ผ๋ฌธ๋“ค์ด ๊ฝค ์žˆ๋Š”๋ฐ ๋…ธ์…˜๊ณผ ๋ฏธํŒ…๋…ธํŠธ ํ˜•ํƒœ๋กœ๋งŒ ์ •๋ฆฌ๋˜์–ด ์žˆ์–ด์„œ ๋…ผ๋ฌธ์ฝ๊ธฐ์— ์‹ซ์ฆ์ด ๋‚˜๊ฑฐ๋‚˜ ๋‹จ์ˆœํ•œ ์ผ์„ ํ•˜๊ณ  ์‹ถ์„ ๋•Œ ํ•˜๋‚˜์”ฉ ๋ธ”๋กœ๊ทธ๋กœ ์˜ฎ๊ฒจ๋ณด๊ณ ์ž ํ•œ๋‹ค. ๊ทธ ์‹œ์ž‘์€ NeRF๋กœ - ! 2020๋…„ 3์›”, arXiv์— ์˜ฌ๋ผ์™€ ECCV 2020 Best Paper๋กœ ์˜ฌ๋ผ๊ฐ„ (a.k.a) NeRF๋Š” 3D Scene Representation์„ implicit function์œผ๋กœ encodingํ•˜์—ฌ ๊ณ ํ€„๋ฆฌํ‹ฐ์˜ ๋ Œ๋”๋ง ๊ฒฐ๊ณผ๋ฅผ ๋ณด์—ฌ์คฌ๋‹ค. Neural Rendering์— ๊ด€๋ จํ•œ ๋ฐฐ๊ฒฝ์ง€์‹์ด ์ „ํ˜€ ์—†์—ˆ๋˜ ๋‚˜๋Š” ์• ์ดˆ์— ๋ Œ๋”๋ง์ด๋ผ๋Š” ๊ฐœ๋…๋ถ€ํ„ฐ ์ •๋ฆฝํ•  ํ•„์š”๊ฐ€ ์žˆ์—ˆ๋‹ค. ๋ Œ๋”๋ง : 3์ฐจ์› ๊ณต๊ฐ„์— ์กด์žฌํ•˜๋Š” Object๋ฅผ 2์ฐจ์›, ์ฆ‰ ํ•˜๋‚˜์˜ ์žฅ๋ฉด์œผ๋กœ ๋ฐ”๊พธ์–ด ํ‘œํ˜„ํ•˜๋Š” ๊ฒƒ NeRF๊ฐ€ ํ‘ธ๋Š” ๋ฌธ์ œ์˜ ์ด๋ฆ„์ด Novel ..

[ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ] HiFi-GAN Reproducing ์ฝ”๋“œ ๊ตฌํ˜„

https://hae-koos.tistory.com/79 [ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ] HiFi-GAN ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ / Vocoder ๊ฐœ๋… ์„ค๋ช… ๋ฐ ์ •๋ฆฌ [ ํฌ์Šคํ… ์ธ๊ณต์ง€๋Šฅ์—ฐ๊ตฌ์› ์—ฐ๊ตฌ์ธํ„ด ] HiFi-GAN ๋…ผ๋ฌธ ๋ฆฌ๋ทฐ / Vocoder ๊ฐœ๋… ์„ค๋ช… ๋ฐ ์ •๋ฆฌ Vocoder ๋ฐฐ๊ฒฝ์ง€์‹ : Mel-spectrogram ๋„ฃ์œผ๋ฉด Wave ๋งŒ๋“œ๋Š” ์นœ๊ตฌ → ๊ณต๋ถ€ํ•˜์ž BACKGROUND ํ•ฉ์„ฑ์Œ ์Œ์งˆ์„ ๊ฒฐ์ •ํ•˜๋Š” ์š”์†Œ (Neural Speech Synthesis ๊ด€์ ) ์ฃผ์–ด์ง„ ํ…์ŠคํŠธ๋กœ ๋ฉœ ์ŠคํŽ™ํŠธ๋กœ๊ทธ๋žจ์„ ์–ผ๋งˆ๋‚˜ ์ž˜ ์ƒ์„ฑํ•ด ๋‚ผ ์ˆ˜.. hae-koos.tistory.com https://github.com/jik876/hifi-gan [ Official Repository ] HiFi-GAN: Generative Advers..

[ ์˜๋ฃŒ์˜์ƒ ] Grad-CAM (Gradient-Class Activation Map) ๋…ผ๋ฌธ๋ฆฌ๋ทฐ ๋ฐ COVID-19 Patients Chest X-ray ํ†ตํ•œ Pytorch ๊ตฌํ˜„

๋‹ค์–‘ํ•œ ๋ธ”๋กœ๊ทธ์™€ kaggle, github ๊ทธ๋ฆฌ๊ณ  ๋…ผ๋ฌธ์„ ์ฐธ๊ณ ํ•˜์—ฌ ์ž‘์„ฑํ•œ ๊ฒŒ์‹œ๋ฌผ์ž…๋‹ˆ๋‹ค. ์ฐธ๊ณ ๋ฌธํ—Œ์€ ๊ฒŒ์‹œ๋ฌผ ํ•˜๋‹จ์— ๊ธฐ๋กํ•˜์˜€์Šต๋‹ˆ๋‹ค. ์„ค๋ช… ๊ฐ€๋Šฅํ•œ AI ( eXplainable AI : XAI ) ๊ต๋‚ด ํ•™ํšŒ(KUBIG) ์˜๋ฃŒ์˜์ƒ ๋ถ„์„ ํ”„๋กœ์ ํŠธ์˜ ์ผํ™˜์œผ๋กœ ๋ฏธ๋‹ˆ ํ”„๋กœ์ ํŠธ๋ฅผ ๊ฐ์ž ์ง„ํ–‰ํ•˜๊ธฐ๋กœ ํ•˜์˜€๋‹ค. ์•ž์„  ๊ฒŒ์‹œ๋ฌผ์—์„œ ๋‹ค๋ค˜๋˜ Segmentation ๋ชจ๋ธ๋กœ ์œ ๋ช…ํ•œ U-net ๋…ผ๋ฌธ์„ ๋ฆฌ๋ทฐํ•˜๊ณ  ๊ตฌํ˜„ํ•˜๋ ค ํ–ˆ์—ˆ์œผ๋‚˜ ๋‹ค๋ฅธ ํ•™ํšŒ์›๋ถ„๊ณผ ์ฃผ์ œ๊ฐ€ ์™„์ „ํžˆ ๊ฒน์น˜๊ธฐ๋„ ํ–ˆ๊ณ , ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€๊ณตํ•˜๊ณ  ๋ชจ๋ธ์„ ๊ตฌ์ถ•ํ•˜์—ฌ ํ•™์Šต์„ ์ง„ํ–‰ํ•ด๋„ ๊ทธ ํ”„๋กœ์ ํŠธ์˜ ๊ฒฐ๊ณผ๋ฅผ '์ธ๊ฐ„์˜ ๊ด€์ '์—์„œ ํ•ด์„ํ•˜๋Š” ๊ฒƒ์ด ๋งค์šฐ ์ค‘์š”ํ•˜๋‹ค. ๋•Œ๋ฌธ์— ์ธ๊ณต์ง€๋Šฅ๊ณผ ๊ด€๋ จ๋œ ์ด์Šˆ๋“ค์— XAI๊ฐ€ ๋น ์ง€์ง€ ์•Š๋Š” ๊ฒƒ์ด ์•„๋‹๊นŒ? ๋˜, ์ด์ „์— ๊ตฌํ˜„์— ์‹คํŒจํ•œ ๊ฒฝํ—˜ ๆœ‰. ๊ทธ๋ž˜์„œ ์ด ์ฃผ์ œ๋ฅผ ๊ณจ๋ž๋‹ค. ๊ตฌ๊ธ€๋ง์„ ์—ด์‹ฌํžˆ..

728x90
๋ฐ˜์‘ํ˜•