In Jena: Week 12

· โ˜• 3 min read · โœ๏ธ Hoontaek Lee
๐Ÿท๏ธ
  • #2020
  • #Daily Life
  • #Jena
  • ์ด๋ฒˆ ์ฃผ๋Š”…

    • ํ†ต๊ณ„ํ•™ ์ˆ˜์—…

    2020. 11. 16. ~ 20. ์›”~๊ธˆ์š”์ผ

    Advanced statistics & machine learning for data analysis (ASDA)

    ํ†ต๊ณ„ํ•™ ์ˆ˜์—…. ์ˆ˜์—… ๋ฐฉ์‹์ด ๋Œ€ํ•™์› ์ˆ˜์—…์— ์ž˜ ๋งž๋˜ ๊ฒƒ ๊ฐ™๋‹ค.

    ํ•™์ƒ๋“ค์€ ์ต์ˆ™ํ•˜์ง€ ์•Š์€ ํ†ต๊ณ„ ๊ธฐ๋ฒ• ํ•œ ๊ฐ€์ง€์”ฉ ๊ณจ๋ผ์„œ ๋ฐœํ‘œํ•œ๋‹ค. ํ•™์ƒ๋“ค์ด ๊ณ ๋ฅธ ์ฃผ์ œ๋ฅผ ๊ด€๋ จ๋œ ๊ฒƒ๋ผ๋ฆฌ ๊ฐ™์€ ๋‚ ์— ๋ชจ์œผ๊ณ , ๊ทธ ๋‚  ์‹œ์ž‘ ์ˆœ์„œ๋กœ ๋ฐฐ๊ฒฝ์ง€์‹์ด ๋  ๋งŒํ•œ ๊ฐ•์˜๋ฅผ ํ•ด์ค€๋‹ค. ์ค‘๊ฐ„์ค‘๊ฐ„ ๊ทธ ๊ธฐ๋ฒ•์„ ์‚ฌ์šฉํ•œ ๋‹ค๋ฅธ ์—ฐ๊ตฌ์›์˜ ์‚ฌ๋ก€ ๊ฐ•์—ฐ์ด ์žˆ๊ณ , ์ฝ”๋“œ๋ฅผ ๋Œ๋ ค๋ณด๋Š” ์‹œ๊ฐ„์œผ๋กœ ๋๋‚œ๋‹ค.

    ์ด ๊ฐ•์˜์˜ ์žฅ์ ์€…

    • ๋‚ด๊ฐ€ ๋งก์€ ํŒŒํŠธ๋Š” ๊ธฐ์–ต์— ์ž˜ ๋‚จ๋Š”๋‹ค.
    • ๋ฐœํ‘œํ•  ๊ธฐํšŒ๊ฐ€ ์ฃผ์–ด์ง„๋‹ค.
    • ๋‚จ๋“ค์€ ๋ชจ๋ฅด๋Š” ๊ฒƒ์„ ์„ค๋ช…ํ•  ๊ธฐํšŒ๊ฐ€ ์ฃผ์–ด์ง„๋‹ค.
    • ์ฝ”๋“œ๋ฅผ ๋Œ๋ ค๋ณผ ์ˆ˜ ์žˆ๋‹ค.
    • ๋‚จ์˜ ์ฝ”๋“œ๋ฅผ ๊ตฌ๊ฒฝํ•  ์ˆ˜ ์žˆ๋‹ค.

    ๋ฐ˜๋ฉด ๋‹จ์ ๋„ ์žˆ๋Š”๋ฐ…

    • ๋‚จ์˜ ๋ฐœํ‘œ๋ฅผ ์ดํ•ดํ•˜๊ธฐ ํž˜๋“ค๋‹ค. ์ง‘์ค‘์ด ์•ˆ ๋ผ.
    • ๊ทธ๋ž˜์„œ ๊ต๊ณผ์„œ๋ฅผ ํ›‘๋Š” ๊ฒƒ๋ณด๋‹ค ๋ฐฐ์šฐ๋Š” ๊ฒŒ ์—†์„ ์ˆ˜ ์žˆ๋‹ค.

    ๋‚ด๊ฐ€ ๊ธฐ์–ต์— ๋‚จ๋Š” ๊ฑด

    ์ผ๋‹จ ๋‚ด ๋ฐœํ‘œ. Isolation forest. ํŠน์ด๊ฐ’(outlier)์„ ์žก์•„๋‚ด๋Š” ๋จธ์‹ ๋Ÿฌ๋‹ ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด๋‹ค. ๋…ผ๋ฌธ์ด ์งง๊ณ  ํŒจํ‚ค์ง€ ๋ฐฐํฌ๋„ ์ž˜ ๋ผ์žˆ์–ด์„œ ์ค€๋น„ํ•˜๊ธฐ ์ˆ˜์›”ํ–ˆ๋‹ค. ๋‹ค๋ฅธ ํ•™์ƒ๋“ค ๋ฐ˜์‘๋„ ์ข‹์•˜๋‹ค. ๋‚ด ๋ฐœํ‘œ๋งŒ ์œ ์ผํ•˜๊ฒŒ ์‹ค์Šต ํŒŒํŠธ๋ฅผ ๊ตฌ์„ฑํ–ˆ๊ธฐ ๋•Œ๋ฌธ์— ๋” ์žฌ๋ฐŒ์—ˆ์„ ๊ฒƒ ๊ฐ™๋‹ค.

    ๋‹ค๋ฅธ ๊ฑด…

    • ์‹œ๊ณ„์—ด decomposition (Nature ๋“ฑ ๋…ผ๋ฌธ์—์„œ ๋งŽ์ด ๋ณด์ด๋Š” ๊ธฐ๋ฒ•):
      • trend
      • seasonal cycle
      • short-term oscillation
      • long-term oscillation
    • Mirco - PCA
      • principal component์˜ ์˜๋ฏธ? PC1์— negative effect๋ผ๋Š” ๊ฑด… ๋ญ˜๊นŒ. A๊ฐ€ GPP์™€ negative๋ฉด A๊ฐ€ ์ฆ๊ฐ€ํ•  ๋•Œ GPP๋Š” ๊ฐ์†Œํ•˜๋Š” ๊ฑด๋ฐ, PC1์€ GPP์™€ ๊ฐ™์ด ์ดํ•ดํ•  ์ˆ˜ ์žˆ๋Š” ๋†ˆ์ด ์•„๋‹ˆ๋‹ค… ํ”Œ๋Ÿญ์Šค๋„ ์•„๋‹ˆ๊ณ  ํ’€๋„ ์•„๋‹ˆ๊ณ  ์–ด๋–ค diagnostic variable๋„ ์•„๋‹ˆ๊ณ  …
      • PCA: another method for quantifying contributions
    • Thomas - ppt slides using RStudio
      • ์ด์ „์— ํ•œ ๋ฒˆ ์จ๋ณธ ์ ์ด ์žˆ๋‹ค. ๋‹ค์‹œ ๋ณด๋‹ˆ ์ƒ๊ฐ๋ณด๋‹ค ๋””์ž์ธ์ด ๊ดœ์ฐฎ์•˜๋‹ค.
      • fixed effects: predictor parameter
      • random effects: other variables not accounted for that would describe the rest of the variance between “sites” or “groups”
    • Excursion by Jake: ๋ˆˆ์— ๋„๋Š” ๋ฐœํ‘œ ํ”Œ๋žซํผ(๋ญ”์ง€๋Š” ๋ชจ๋ฅด๊ฒ ๋‹ค. ์›นํŽ˜์ด์ง€ ๋ฐฉ์‹.) + ์žฌ๋ฐŒ๋Š” ์ง€์‹ ๋ถ„๋ฅ˜
      • known known
      • knwon unknown
      • unknown unknown

    2020. 11. 17. ํ™”์š”์ผ

    Naixin์˜ S-talk. ์ง€๋‚œ ์ฃผ MDI ๋ฏธํŒ…์—์„œ ํ•œ ๋ฒˆ ๋“ค์—ˆ๊ธฐ ๋•Œ๋ฌธ์— ๋‚ด์šฉ์€ ์ƒ๋žต.

    ์—ฐ๊ตฌ ์งˆ๋ฌธ์„ ์ €๋ ‡๊ฒŒ ํŠธ๋ฆฌ ๊ตฌ์กฐ๋กœ ๋งŒ๋“œ๋Š” ๊ฒŒ ๋งˆ์Œ์— ๋“ค์—ˆ๋‹ค.

    2020. 11. 20. ๊ธˆ์š”์ผ

    ๊ตฌ๊ธ€ ํ”Œ๋ ˆ์ด ๊ธฐํ”„ํŠธ ์นด๋“œ! ใ…œใ…œ

    ๊ทธ ์™ธ…

    ์˜ค๋ฅธ์ชฝ–>์™ผ์ชฝ์œผ๋กœ ๊ฐˆ ์ˆ˜๋ก ์–‡์•„์ง„๋‹ค.
    ํฌ๋ฆผ์ด ์ž˜ ์•ˆ ๋ณด์ด๋Š” ํฌ๋ฆผํŒŒ์Šคํƒ€ ๋ถ„์‹st ๋–ก๋ณถ์ด
    • ๊ฐ์ž+๊ณ„๋ž€ ๋ณถ์Œ. ์—„๋งˆ๊ฐ€ ๋ณด๋‚ด์ค€ ๋ ˆ์‹œํ”ผ! ์ด๋ฒˆ ๋ ˆ์‹œํ”ผ๋Š” ํ•ด ๋ณผ ๋งŒํ•˜๋‹ค. ๊ฐ์ž์ฑ„ ์จ๋Š” ๊ฒŒ ์–ด๋ ค์› ๋‹ค. ๊ทธ ์•„์คŒ๋งˆ๋Š” ์ž˜ ํ•˜๋˜๋ฐ…
    • ํฌ๋ฆผํŒŒ์Šคํƒ€. ์š”ํ”Œ๋ ˆ์ธ์ค„ ์•Œ๊ณ  ํœ˜ํ•‘ํฌ๋ฆผ์„ ์‚ฌ๋ฒ„๋ฆฐ ๊น€์— ๋งŒ๋“ค์–ด๋ดค๋‹ค. ๋งˆ์นจ ์ƒˆ์šฐ๋„ ์žˆ์—ˆ๋‹ค. ํฌ๋ฆผ์ด ์ ์ง€๋งŒ ๊ทธ๋ž˜์„œ ์˜คํžˆ๋ ค ์„ฑ๊ณต์ .
    • ์ด๋ฒˆ์—” ๊ตญ๋ฌผ ๋–ก๋ณถ์ด ๋Œ€์‹  ๋ถ„์‹st ๋–ก๋ณถ์ด. ๋‹ค์Œ์—๋Š” ๊ณ ์ถง๊ฐ€๋ฃจ๋ฅผ 1.5T –> 1.0T๋กœ ์ค„์—ฌ์•ผ ๊ฒ ๋‹ค. ๊ทธ๋ž˜๋„ ๋‚˜๋ฆ„ ์„ฑ๊ณต์ .

    ๊ฒŒ์ŠคํŠธ ํ•˜์šฐ์Šค 1๊ฐœ์›” ์—ฐ์žฅํ–ˆ๋‹ค (~12์›”). ์ด์ œ ๋” ๊ฐœ๊ธฐ์ง€๋Š” ๋ชปํ•  ๊ฒƒ ๊ฐ™๋‹ค.

    ๋‹ค์Œ ์ฃผ๋Š”…

    • TWS-NEE meeting with Martin & Sujan
    Share on

    Hoontaek Lee
    WRITTEN BY
    Hoontaek Lee
    Tree-Forest-Climate Researcher

    What's on this Page