์ด๋ฒ ์ฃผ๋…
- ํต๊ณํ ์์
2020. 11. 16. ~ 20. ์~๊ธ์์ผ
Advanced statistics & machine learning for data analysis (ASDA)
ํต๊ณํ ์์ . ์์ ๋ฐฉ์์ด ๋ํ์ ์์ ์ ์ ๋ง๋ ๊ฒ ๊ฐ๋ค.
ํ์๋ค์ ์ต์ํ์ง ์์ ํต๊ณ ๊ธฐ๋ฒ ํ ๊ฐ์ง์ฉ ๊ณจ๋ผ์ ๋ฐํํ๋ค. ํ์๋ค์ด ๊ณ ๋ฅธ ์ฃผ์ ๋ฅผ ๊ด๋ จ๋ ๊ฒ๋ผ๋ฆฌ ๊ฐ์ ๋ ์ ๋ชจ์ผ๊ณ , ๊ทธ ๋ ์์ ์์๋ก ๋ฐฐ๊ฒฝ์ง์์ด ๋ ๋งํ ๊ฐ์๋ฅผ ํด์ค๋ค. ์ค๊ฐ์ค๊ฐ ๊ทธ ๊ธฐ๋ฒ์ ์ฌ์ฉํ ๋ค๋ฅธ ์ฐ๊ตฌ์์ ์ฌ๋ก ๊ฐ์ฐ์ด ์๊ณ , ์ฝ๋๋ฅผ ๋๋ ค๋ณด๋ ์๊ฐ์ผ๋ก ๋๋๋ค.
์ด ๊ฐ์์ ์ฅ์ ์…
- ๋ด๊ฐ ๋งก์ ํํธ๋ ๊ธฐ์ต์ ์ ๋จ๋๋ค.
- ๋ฐํํ ๊ธฐํ๊ฐ ์ฃผ์ด์ง๋ค.
- ๋จ๋ค์ ๋ชจ๋ฅด๋ ๊ฒ์ ์ค๋ช ํ ๊ธฐํ๊ฐ ์ฃผ์ด์ง๋ค.
- ์ฝ๋๋ฅผ ๋๋ ค๋ณผ ์ ์๋ค.
- ๋จ์ ์ฝ๋๋ฅผ ๊ตฌ๊ฒฝํ ์ ์๋ค.
๋ฐ๋ฉด ๋จ์ ๋ ์๋๋ฐ…
- ๋จ์ ๋ฐํ๋ฅผ ์ดํดํ๊ธฐ ํ๋ค๋ค. ์ง์ค์ด ์ ๋ผ.
- ๊ทธ๋์ ๊ต๊ณผ์๋ฅผ ํ๋ ๊ฒ๋ณด๋ค ๋ฐฐ์ฐ๋ ๊ฒ ์์ ์ ์๋ค.
๋ด๊ฐ ๊ธฐ์ต์ ๋จ๋ ๊ฑด
์ผ๋จ ๋ด ๋ฐํ. Isolation forest. ํน์ด๊ฐ(outlier)์ ์ก์๋ด๋ ๋จธ์ ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ์ด๋ค. ๋ ผ๋ฌธ์ด ์งง๊ณ ํจํค์ง ๋ฐฐํฌ๋ ์ ๋ผ์์ด์ ์ค๋นํ๊ธฐ ์์ํ๋ค. ๋ค๋ฅธ ํ์๋ค ๋ฐ์๋ ์ข์๋ค. ๋ด ๋ฐํ๋ง ์ ์ผํ๊ฒ ์ค์ต ํํธ๋ฅผ ๊ตฌ์ฑํ๊ธฐ ๋๋ฌธ์ ๋ ์ฌ๋ฐ์์ ๊ฒ ๊ฐ๋ค.
๋ค๋ฅธ ๊ฑด…
- ์๊ณ์ด decomposition (Nature ๋ฑ ๋
ผ๋ฌธ์์ ๋ง์ด ๋ณด์ด๋ ๊ธฐ๋ฒ):
- trend
- seasonal cycle
- short-term oscillation
- long-term oscillation
- Mirco - PCA
- principal component์ ์๋ฏธ? PC1์ negative effect๋ผ๋ ๊ฑด… ๋ญ๊น. A๊ฐ GPP์ negative๋ฉด A๊ฐ ์ฆ๊ฐํ ๋ GPP๋ ๊ฐ์ํ๋ ๊ฑด๋ฐ, PC1์ GPP์ ๊ฐ์ด ์ดํดํ ์ ์๋ ๋์ด ์๋๋ค… ํ๋ญ์ค๋ ์๋๊ณ ํ๋ ์๋๊ณ ์ด๋ค diagnostic variable๋ ์๋๊ณ …
- PCA: another method for quantifying contributions
- Thomas - ppt slides using RStudio
- ์ด์ ์ ํ ๋ฒ ์จ๋ณธ ์ ์ด ์๋ค. ๋ค์ ๋ณด๋ ์๊ฐ๋ณด๋ค ๋์์ธ์ด ๊ด์ฐฎ์๋ค.
- fixed effects: predictor parameter
- random effects: other variables not accounted for that would describe the rest of the variance between “sites” or “groups”
- Excursion by Jake: ๋์ ๋๋ ๋ฐํ ํ๋ซํผ(๋ญ์ง๋ ๋ชจ๋ฅด๊ฒ ๋ค. ์นํ์ด์ง ๋ฐฉ์.) + ์ฌ๋ฐ๋ ์ง์ ๋ถ๋ฅ
- known known
- knwon unknown
- unknown unknown
2020. 11. 17. ํ์์ผ
Naixin์ S-talk. ์ง๋ ์ฃผ MDI ๋ฏธํ ์์ ํ ๋ฒ ๋ค์๊ธฐ ๋๋ฌธ์ ๋ด์ฉ์ ์๋ต.
์ฐ๊ตฌ ์ง๋ฌธ์ ์ ๋ ๊ฒ ํธ๋ฆฌ ๊ตฌ์กฐ๋ก ๋ง๋๋ ๊ฒ ๋ง์์ ๋ค์๋ค.
2020. 11. 20. ๊ธ์์ผ
๊ตฌ๊ธ ํ๋ ์ด ๊ธฐํํธ ์นด๋! ใ ใ
๊ทธ ์ธ…
์ค๋ฅธ์ชฝ–>์ผ์ชฝ์ผ๋ก ๊ฐ ์๋ก ์์์ง๋ค. | |
ํฌ๋ฆผ์ด ์ ์ ๋ณด์ด๋ ํฌ๋ฆผํ์คํ | ๋ถ์st ๋ก๋ณถ์ด |
- ๊ฐ์+๊ณ๋ ๋ณถ์. ์๋ง๊ฐ ๋ณด๋ด์ค ๋ ์ํผ! ์ด๋ฒ ๋ ์ํผ๋ ํด ๋ณผ ๋งํ๋ค. ๊ฐ์์ฑ ์จ๋ ๊ฒ ์ด๋ ค์ ๋ค. ๊ทธ ์์ค๋ง๋ ์ ํ๋๋ฐ…
- ํฌ๋ฆผํ์คํ. ์ํ๋ ์ธ์ค ์๊ณ ํํํฌ๋ฆผ์ ์ฌ๋ฒ๋ฆฐ ๊น์ ๋ง๋ค์ด๋ดค๋ค. ๋ง์นจ ์์ฐ๋ ์์๋ค. ํฌ๋ฆผ์ด ์ ์ง๋ง ๊ทธ๋์ ์คํ๋ ค ์ฑ๊ณต์ .
- ์ด๋ฒ์ ๊ตญ๋ฌผ ๋ก๋ณถ์ด ๋์ ๋ถ์st ๋ก๋ณถ์ด. ๋ค์์๋ ๊ณ ์ถง๊ฐ๋ฃจ๋ฅผ 1.5T –> 1.0T๋ก ์ค์ฌ์ผ ๊ฒ ๋ค. ๊ทธ๋๋ ๋๋ฆ ์ฑ๊ณต์ .
๊ฒ์คํธ ํ์ฐ์ค 1๊ฐ์ ์ฐ์ฅํ๋ค (~12์). ์ด์ ๋ ๊ฐ๊ธฐ์ง๋ ๋ชปํ ๊ฒ ๊ฐ๋ค.
๋ค์ ์ฃผ๋…
- TWS-NEE meeting with Martin & Sujan