์ ์ฒด ๊ธ73 Penalized logistic regression โ๏ธ๋ธ๋ก๊ทธ ์ฎ๊น: https://www.taemobang.com ๋ฐฉํ๋ชจ ์๋ ํ์ธ์, ์ ๋ธ๋ก๊ทธ์ ์ค์ ๊ฒ์ ํ์ํฉ๋๋ค. ํต๊ณํ์ ์ ๊ณต์ผ๋ก ํ๋ถ, ์์ฌ๋ฅผ ์กธ์ ํ์ต๋๋ค. ํ์ฌ๋ ๊ฐ์ฒ๋ ๊ธธ๋ณ์ G-ABC์์ Data Science๋ฅผ ํ๊ณ ์์ต๋๋ค. ํต๊ณํ, ์๊ณ์ด, ํต๊ณ์ ํ์ต๊ณผ ๊ธฐ๊ณ www.taemobang.com โป prerequisite ๊ณ ์ฐจ์ ๋ฐ์ดํฐ์์ ๊ณ ์ ์ ์ธ ํ๊ท๋ถ์์ด ๊ฐ์ง๋ ๋ฌธ์ ์ Ridge regression Lasso regression Bias reduction of Lasso estimator Variance reduction of Lasso estimator Logistic regression ๋ก์ง์คํฑ ํ๊ท๋ชจํ(Logistic regression model)์ $y$๊ฐ ๋ฒ์ฃผํ ๋ณ์(Categ.. 2020. 6. 2. Variance reduction of Lasso estimator โ๏ธ๋ธ๋ก๊ทธ ์ฎ๊น: https://www.taemobang.com ๋ฐฉํ๋ชจ ์๋ ํ์ธ์, ์ ๋ธ๋ก๊ทธ์ ์ค์ ๊ฒ์ ํ์ํฉ๋๋ค. ํต๊ณํ์ ์ ๊ณต์ผ๋ก ํ๋ถ, ์์ฌ๋ฅผ ์กธ์ ํ์ต๋๋ค. ํ์ฌ๋ ๊ฐ์ฒ๋ ๊ธธ๋ณ์ G-ABC์์ Data Science๋ฅผ ํ๊ณ ์์ต๋๋ค. ํต๊ณํ, ์๊ณ์ด, ํต๊ณ์ ํ์ต๊ณผ ๊ธฐ๊ณ www.taemobang.com โป prerequisite ๊ณ ์ฐจ์ ๋ฐ์ดํฐ์์ ๊ณ ์ ์ ์ธ ํ๊ท๋ถ์์ด ๊ฐ์ง๋ ๋ฌธ์ ์ Ridge regression Lasso regression Bias reduction of Lasso estimator ์ด๋ฒ ๊ธ์์๋ ๋ชฉ์ ํจ์์ Ridge์ penalty term์ ์ถ๊ฐํ์ฌ Lasso ์ถ์ ๋์ Variance๋ฅผ ์ค์ด๋ ๋ฐฉ๋ฒ๋ค์ ๋ํด ์๊ฐํ๋ค. Variance๋ฅผ ์ค์ด๋ ์ ๊ทผ ๋ฐฉ๋ฒ์ ์๊ฐํ๋ ์ด์ ๋ ์ ํํ .. 2020. 5. 26. Bias reduction of Lasso estimator โ๏ธ๋ธ๋ก๊ทธ ์ฎ๊น: https://www.taemobang.com ๋ฐฉํ๋ชจ ์๋ ํ์ธ์, ์ ๋ธ๋ก๊ทธ์ ์ค์ ๊ฒ์ ํ์ํฉ๋๋ค. ํต๊ณํ์ ์ ๊ณต์ผ๋ก ํ๋ถ, ์์ฌ๋ฅผ ์กธ์ ํ์ต๋๋ค. ํ์ฌ๋ ๊ฐ์ฒ๋ ๊ธธ๋ณ์ G-ABC์์ Data Science๋ฅผ ํ๊ณ ์์ต๋๋ค. ํต๊ณํ, ์๊ณ์ด, ํต๊ณ์ ํ์ต๊ณผ ๊ธฐ๊ณ www.taemobang.com โป prerequisite ๊ณ ์ฐจ์ ๋ฐ์ดํฐ์์ ๊ณ ์ ์ ์ธ ํ๊ท๋ถ์์ด ๊ฐ์ง๋ ๋ฌธ์ ์ Ridge regression Lasso regression Lasso regression์ ํ๊ท๊ณ์ ๋ฒกํฐ์ $l_1$ norm์ penalty term์ผ๋ก ์ฌ์ฉํจ์ผ๋ก์จ, ํ๊ท๊ณ์์ ํฌ๊ธฐ ์ถ์(Shrinkage)๋ฟ๋ง ์๋๋ผ ๋ณ์ ์ ํ(Variable selection)์ ๋ชฉ์ ๊น์ง ๋ฌ์ฑํ ์ ์๋ค. ๊ทธ๋ฌ๋, ์ด๋ ๊ฒ ์ถ์ ํ L.. 2020. 5. 26. Logistic regression โ๏ธ๋ธ๋ก๊ทธ ์ฎ๊น: https://www.taemobang.com ๋ฐฉํ๋ชจ ์๋ ํ์ธ์, ์ ๋ธ๋ก๊ทธ์ ์ค์ ๊ฒ์ ํ์ํฉ๋๋ค. ํต๊ณํ์ ์ ๊ณต์ผ๋ก ํ๋ถ, ์์ฌ๋ฅผ ์กธ์ ํ์ต๋๋ค. ํ์ฌ๋ ๊ฐ์ฒ๋ ๊ธธ๋ณ์ G-ABC์์ Data Science๋ฅผ ํ๊ณ ์์ต๋๋ค. ํต๊ณํ, ์๊ณ์ด, ํต๊ณ์ ํ์ต๊ณผ ๊ธฐ๊ณ www.taemobang.com ๋ก์ง์คํฑ ํ๊ท๋ชจํ(Logistic regression model)์ $x$์ ๊ดํ ์ ํ ํจ์(linear function)๋ฅผ ํตํด ๊ด์ธก์น๊ฐ class = $K$์ ์ํ ์ฌํ ํ๋ฅ (posterior probabilities)์ ๋ชจ๋ธ๋งํ๋ค. ๊ทธ๋์ ๋ก์ง์คํฑ ํ๊ท๋ชจํ์ ๋ถ๋ฅ ๋ฌธ์ ์ ์ ์ ํ๋ฉฐ, ๋ถ๋ฅ๊ธฐ ์ค์์๋ ์ ํ ๋ถ๋ฅ๊ธฐ(linear classifier)์ ํด๋นํ๋ค. class๊ฐ $K$๊ฐ์ธ ๋ฐ์ ๋ณ์ $Y$.. 2020. 5. 23. Lasso regression โ๏ธ๋ธ๋ก๊ทธ ์ฎ๊น: https://www.taemobang.com ๋ฐฉํ๋ชจ ์๋ ํ์ธ์, ์ ๋ธ๋ก๊ทธ์ ์ค์ ๊ฒ์ ํ์ํฉ๋๋ค. ํต๊ณํ์ ์ ๊ณต์ผ๋ก ํ๋ถ, ์์ฌ๋ฅผ ์กธ์ ํ์ต๋๋ค. ํ์ฌ๋ ๊ฐ์ฒ๋ ๊ธธ๋ณ์ G-ABC์์ Data Science๋ฅผ ํ๊ณ ์์ต๋๋ค. ํต๊ณํ, ์๊ณ์ด, ํต๊ณ์ ํ์ต๊ณผ ๊ธฐ๊ณ www.taemobang.com โป prerequisite ๊ณ ์ฐจ์ ๋ฐ์ดํฐ์์ ๊ณ ์ ์ ์ธ ํ๊ท๋ถ์์ด ๊ฐ์ง๋ ๋ฌธ์ ์ Ridge regression $l_1$ norm์ penalty๋ก ์ฌ์ฉํ๋ Lasso regression์ ํ๊ท๊ณ์์ ํฌ๊ธฐ ์ถ์๋ฟ๋ง์ด ์๋ ๋ณ์ ์ ํ๊น์ง ์ํํ ์ ์๋ค. Ridge๋ ๋ณ์ ์ ํ(Selection)์ ์ญํ ๊น์ง๋ ์ํํ ์ ์๋ค. ์ด๋ ๊ณ ์ฐจ์ ๋ฐ์ดํฐ($n \rightarrow p$ ๋๋ $n \lambda\.. 2020. 4. 28. #8 ํ์คํธ์ฐจ์ ํ์ค์ค์ฐจ โ๏ธ๋ธ๋ก๊ทธ ์ฎ๊น: https://www.taemobang.com ๋ฐฉํ๋ชจ ์๋ ํ์ธ์, ์ ๋ธ๋ก๊ทธ์ ์ค์ ๊ฒ์ ํ์ํฉ๋๋ค. ํต๊ณํ์ ์ ๊ณต์ผ๋ก ํ๋ถ, ์์ฌ๋ฅผ ์กธ์ ํ์ต๋๋ค. ํ์ฌ๋ ๊ฐ์ฒ๋ ๊ธธ๋ณ์ G-ABC์์ Data Science๋ฅผ ํ๊ณ ์์ต๋๋ค. ํต๊ณํ, ์๊ณ์ด, ํต๊ณ์ ํ์ต๊ณผ ๊ธฐ๊ณ www.taemobang.com ํ์คํธ์ฐจ(standard deviation)์ ํ์ค์ค์ฐจ(standard error)์ ๋ํด ํ์คํ๊ฒ ์ ๋ฆฌํฉ์๋ค. ๋จผ์ ์ฐ๋ฆฌ๊ฐ ์๋ฃ๋ฅผ ์ป์์ ๋ ์ฃผ๋ก ๊ด์ฌ์๋ ๊ฒ์ ์๋ฃ์ ์ค์ฌ๊ณผ ํผ์ง์ฑ์ ์์ฝํ ์ ์๋ ํน์ฑ๊ฐ๋ค๋ก, ์ผ๋ฐ์ ์ผ๋ก ์๋ฃ์ ์ค์ฌ์ ํ๊ท (mean), ์๋ฃ์ ํผ์ง์ฑ์ ์ด ๋๋ ๋ถ์ฐ ๋๋ ํ์คํธ์ฐจ๋ฅผ ์ฌ์ฉํฉ๋๋ค. ๋ฐ๋ผ์ ๋ชจ์ง๋จ์๋ ๋ชจํ๊ท $\mu$, ๋ชจ๋ถ์ฐ $\sigma^2$, ๋ชจํ์คํธ์ฐจ $\sig.. 2020. 4. 16. ์ด์ 1 ยทยทยท 3 4 5 6 7 8 9 ยทยทยท 13 ๋ค์