๋ณธ๋ฌธ ๋ฐ”๋กœ๊ฐ€๊ธฐ

์ „์ฒด ๊ธ€73

Penalized logistic regression โ—๏ธ๋ธ”๋กœ๊ทธ ์˜ฎ๊น€: https://www.taemobang.com ๋ฐฉํƒœ๋ชจ ์•ˆ๋…•ํ•˜์„ธ์š”, ์ œ ๋ธ”๋กœ๊ทธ์— ์˜ค์‹  ๊ฒƒ์„ ํ™˜์˜ํ•ฉ๋‹ˆ๋‹ค. ํ†ต๊ณ„ํ•™์„ ์ „๊ณต์œผ๋กœ ํ•™๋ถ€, ์„์‚ฌ๋ฅผ ์กธ์—…ํ–ˆ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ๋Š” ๊ฐ€์ฒœ๋Œ€ ๊ธธ๋ณ‘์› G-ABC์—์„œ Data Science๋ฅผ ํ•˜๊ณ ์žˆ์Šต๋‹ˆ๋‹ค. ํ†ต๊ณ„ํ•™, ์‹œ๊ณ„์—ด, ํ†ต๊ณ„์ ํ•™์Šต๊ณผ ๊ธฐ๊ณ„ www.taemobang.com โ€ป prerequisite ๊ณ ์ฐจ์› ๋ฐ์ดํ„ฐ์—์„œ ๊ณ ์ „์ ์ธ ํšŒ๊ท€๋ถ„์„์ด ๊ฐ€์ง€๋Š” ๋ฌธ์ œ์  Ridge regression Lasso regression Bias reduction of Lasso estimator Variance reduction of Lasso estimator Logistic regression ๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€๋ชจํ˜•(Logistic regression model)์€ $y$๊ฐ€ ๋ฒ”์ฃผํ˜• ๋ณ€์ˆ˜(Categ.. 2020. 6. 2.
Variance reduction of Lasso estimator โ—๏ธ๋ธ”๋กœ๊ทธ ์˜ฎ๊น€: https://www.taemobang.com ๋ฐฉํƒœ๋ชจ ์•ˆ๋…•ํ•˜์„ธ์š”, ์ œ ๋ธ”๋กœ๊ทธ์— ์˜ค์‹  ๊ฒƒ์„ ํ™˜์˜ํ•ฉ๋‹ˆ๋‹ค. ํ†ต๊ณ„ํ•™์„ ์ „๊ณต์œผ๋กœ ํ•™๋ถ€, ์„์‚ฌ๋ฅผ ์กธ์—…ํ–ˆ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ๋Š” ๊ฐ€์ฒœ๋Œ€ ๊ธธ๋ณ‘์› G-ABC์—์„œ Data Science๋ฅผ ํ•˜๊ณ ์žˆ์Šต๋‹ˆ๋‹ค. ํ†ต๊ณ„ํ•™, ์‹œ๊ณ„์—ด, ํ†ต๊ณ„์ ํ•™์Šต๊ณผ ๊ธฐ๊ณ„ www.taemobang.com โ€ป prerequisite ๊ณ ์ฐจ์› ๋ฐ์ดํ„ฐ์—์„œ ๊ณ ์ „์ ์ธ ํšŒ๊ท€๋ถ„์„์ด ๊ฐ€์ง€๋Š” ๋ฌธ์ œ์  Ridge regression Lasso regression Bias reduction of Lasso estimator ์ด๋ฒˆ ๊ธ€์—์„œ๋Š” ๋ชฉ์ ํ•จ์ˆ˜์— Ridge์˜ penalty term์„ ์ถ”๊ฐ€ํ•˜์—ฌ Lasso ์ถ”์ •๋Ÿ‰์˜ Variance๋ฅผ ์ค„์ด๋Š” ๋ฐฉ๋ฒ•๋“ค์— ๋Œ€ํ•ด ์†Œ๊ฐœํ•œ๋‹ค. Variance๋ฅผ ์ค„์ด๋Š” ์ ‘๊ทผ ๋ฐฉ๋ฒ•์„ ์†Œ๊ฐœํ•˜๋Š” ์ด์œ ๋Š” ์ •ํ™•ํ•œ .. 2020. 5. 26.
Bias reduction of Lasso estimator โ—๏ธ๋ธ”๋กœ๊ทธ ์˜ฎ๊น€: https://www.taemobang.com ๋ฐฉํƒœ๋ชจ ์•ˆ๋…•ํ•˜์„ธ์š”, ์ œ ๋ธ”๋กœ๊ทธ์— ์˜ค์‹  ๊ฒƒ์„ ํ™˜์˜ํ•ฉ๋‹ˆ๋‹ค. ํ†ต๊ณ„ํ•™์„ ์ „๊ณต์œผ๋กœ ํ•™๋ถ€, ์„์‚ฌ๋ฅผ ์กธ์—…ํ–ˆ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ๋Š” ๊ฐ€์ฒœ๋Œ€ ๊ธธ๋ณ‘์› G-ABC์—์„œ Data Science๋ฅผ ํ•˜๊ณ ์žˆ์Šต๋‹ˆ๋‹ค. ํ†ต๊ณ„ํ•™, ์‹œ๊ณ„์—ด, ํ†ต๊ณ„์ ํ•™์Šต๊ณผ ๊ธฐ๊ณ„ www.taemobang.com โ€ป prerequisite ๊ณ ์ฐจ์› ๋ฐ์ดํ„ฐ์—์„œ ๊ณ ์ „์ ์ธ ํšŒ๊ท€๋ถ„์„์ด ๊ฐ€์ง€๋Š” ๋ฌธ์ œ์  Ridge regression Lasso regression Lasso regression์€ ํšŒ๊ท€๊ณ„์ˆ˜ ๋ฒกํ„ฐ์˜ $l_1$ norm์„ penalty term์œผ๋กœ ์‚ฌ์šฉํ•จ์œผ๋กœ์จ, ํšŒ๊ท€๊ณ„์ˆ˜์˜ ํฌ๊ธฐ ์ถ•์†Œ(Shrinkage)๋ฟ๋งŒ ์•„๋‹ˆ๋ผ ๋ณ€์ˆ˜ ์„ ํƒ(Variable selection)์˜ ๋ชฉ์ ๊นŒ์ง€ ๋‹ฌ์„ฑํ•  ์ˆ˜ ์žˆ๋‹ค. ๊ทธ๋Ÿฌ๋‚˜, ์ด๋ ‡๊ฒŒ ์ถ”์ •ํ•œ L.. 2020. 5. 26.
Logistic regression โ—๏ธ๋ธ”๋กœ๊ทธ ์˜ฎ๊น€: https://www.taemobang.com ๋ฐฉํƒœ๋ชจ ์•ˆ๋…•ํ•˜์„ธ์š”, ์ œ ๋ธ”๋กœ๊ทธ์— ์˜ค์‹  ๊ฒƒ์„ ํ™˜์˜ํ•ฉ๋‹ˆ๋‹ค. ํ†ต๊ณ„ํ•™์„ ์ „๊ณต์œผ๋กœ ํ•™๋ถ€, ์„์‚ฌ๋ฅผ ์กธ์—…ํ–ˆ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ๋Š” ๊ฐ€์ฒœ๋Œ€ ๊ธธ๋ณ‘์› G-ABC์—์„œ Data Science๋ฅผ ํ•˜๊ณ ์žˆ์Šต๋‹ˆ๋‹ค. ํ†ต๊ณ„ํ•™, ์‹œ๊ณ„์—ด, ํ†ต๊ณ„์ ํ•™์Šต๊ณผ ๊ธฐ๊ณ„ www.taemobang.com ๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€๋ชจํ˜•(Logistic regression model)์€ $x$์— ๊ด€ํ•œ ์„ ํ˜• ํ•จ์ˆ˜(linear function)๋ฅผ ํ†ตํ•ด ๊ด€์ธก์น˜๊ฐ€ class = $K$์— ์†ํ•  ์‚ฌํ›„ ํ™•๋ฅ (posterior probabilities)์„ ๋ชจ๋ธ๋งํ•œ๋‹ค. ๊ทธ๋ž˜์„œ ๋กœ์ง€์Šคํ‹ฑ ํšŒ๊ท€๋ชจํ˜•์€ ๋ถ„๋ฅ˜ ๋ฌธ์ œ์— ์ ์ ˆํ•˜๋ฉฐ, ๋ถ„๋ฅ˜๊ธฐ ์ค‘์—์„œ๋„ ์„ ํ˜• ๋ถ„๋ฅ˜๊ธฐ(linear classifier)์— ํ•ด๋‹นํ•œ๋‹ค. class๊ฐ€ $K$๊ฐœ์ธ ๋ฐ˜์‘ ๋ณ€์ˆ˜ $Y$.. 2020. 5. 23.
Lasso regression โ—๏ธ๋ธ”๋กœ๊ทธ ์˜ฎ๊น€: https://www.taemobang.com ๋ฐฉํƒœ๋ชจ ์•ˆ๋…•ํ•˜์„ธ์š”, ์ œ ๋ธ”๋กœ๊ทธ์— ์˜ค์‹  ๊ฒƒ์„ ํ™˜์˜ํ•ฉ๋‹ˆ๋‹ค. ํ†ต๊ณ„ํ•™์„ ์ „๊ณต์œผ๋กœ ํ•™๋ถ€, ์„์‚ฌ๋ฅผ ์กธ์—…ํ–ˆ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ๋Š” ๊ฐ€์ฒœ๋Œ€ ๊ธธ๋ณ‘์› G-ABC์—์„œ Data Science๋ฅผ ํ•˜๊ณ ์žˆ์Šต๋‹ˆ๋‹ค. ํ†ต๊ณ„ํ•™, ์‹œ๊ณ„์—ด, ํ†ต๊ณ„์ ํ•™์Šต๊ณผ ๊ธฐ๊ณ„ www.taemobang.com โ€ป prerequisite ๊ณ ์ฐจ์› ๋ฐ์ดํ„ฐ์—์„œ ๊ณ ์ „์ ์ธ ํšŒ๊ท€๋ถ„์„์ด ๊ฐ€์ง€๋Š” ๋ฌธ์ œ์  Ridge regression $l_1$ norm์„ penalty๋กœ ์‚ฌ์šฉํ•˜๋Š” Lasso regression์€ ํšŒ๊ท€๊ณ„์ˆ˜์˜ ํฌ๊ธฐ ์ถ•์†Œ๋ฟ๋งŒ์ด ์•„๋‹Œ ๋ณ€์ˆ˜ ์„ ํƒ๊นŒ์ง€ ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์žˆ๋‹ค. Ridge๋Š” ๋ณ€์ˆ˜ ์„ ํƒ(Selection)์˜ ์—ญํ• ๊นŒ์ง€๋Š” ์ˆ˜ํ–‰ํ•  ์ˆ˜ ์—†๋‹ค. ์ด๋Š” ๊ณ ์ฐจ์› ๋ฐ์ดํ„ฐ($n \rightarrow p$ ๋˜๋Š” $n \lambda\.. 2020. 4. 28.
#8 ํ‘œ์ค€ํŽธ์ฐจ์™€ ํ‘œ์ค€์˜ค์ฐจ โ—๏ธ๋ธ”๋กœ๊ทธ ์˜ฎ๊น€: https://www.taemobang.com ๋ฐฉํƒœ๋ชจ ์•ˆ๋…•ํ•˜์„ธ์š”, ์ œ ๋ธ”๋กœ๊ทธ์— ์˜ค์‹  ๊ฒƒ์„ ํ™˜์˜ํ•ฉ๋‹ˆ๋‹ค. ํ†ต๊ณ„ํ•™์„ ์ „๊ณต์œผ๋กœ ํ•™๋ถ€, ์„์‚ฌ๋ฅผ ์กธ์—…ํ–ˆ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ๋Š” ๊ฐ€์ฒœ๋Œ€ ๊ธธ๋ณ‘์› G-ABC์—์„œ Data Science๋ฅผ ํ•˜๊ณ ์žˆ์Šต๋‹ˆ๋‹ค. ํ†ต๊ณ„ํ•™, ์‹œ๊ณ„์—ด, ํ†ต๊ณ„์ ํ•™์Šต๊ณผ ๊ธฐ๊ณ„ www.taemobang.com ํ‘œ์ค€ํŽธ์ฐจ(standard deviation)์™€ ํ‘œ์ค€์˜ค์ฐจ(standard error)์— ๋Œ€ํ•ด ํ™•์‹คํ•˜๊ฒŒ ์ •๋ฆฌํ•ฉ์‹œ๋‹ค. ๋จผ์ € ์šฐ๋ฆฌ๊ฐ€ ์ž๋ฃŒ๋ฅผ ์–ป์—ˆ์„ ๋•Œ ์ฃผ๋กœ ๊ด€์‹ฌ์žˆ๋Š” ๊ฒƒ์€ ์ž๋ฃŒ์˜ ์ค‘์‹ฌ๊ณผ ํผ์ง์„ฑ์„ ์š”์•ฝํ•  ์ˆ˜ ์žˆ๋Š” ํŠน์„ฑ๊ฐ’๋“ค๋กœ, ์ผ๋ฐ˜์ ์œผ๋กœ ์ž๋ฃŒ์˜ ์ค‘์‹ฌ์€ ํ‰๊ท (mean), ์ž๋ฃŒ์˜ ํผ์ง์„ฑ์„ ์žด ๋•Œ๋Š” ๋ถ„์‚ฐ ๋˜๋Š” ํ‘œ์ค€ํŽธ์ฐจ๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ ๋ชจ์ง‘๋‹จ์—๋Š” ๋ชจํ‰๊ท  $\mu$, ๋ชจ๋ถ„์‚ฐ $\sigma^2$, ๋ชจํ‘œ์ค€ํŽธ์ฐจ $\sig.. 2020. 4. 16.