데싸(Data Science) 노트

안녕하세요 :) 이번 포스팅에서는 이미지의 의미적 분할(Semantic Segmentation) 문제를 해결하기 위해 개발된 Fully Convolutional Networks (이하 FCN)에 대하여 알아보도록 하겠습니다. 아래 그림은 이번에 다룰 FCN의 개념을 보여주는 대표적인 그림이라 할 수 있겠습니다. 개, 고양이 영역을 잘 분할된 것을 볼 수 있습니다. 그림에 표현되지 못한 FCN의 중요한 개념이 있으니 끝까지 봐주세요. 이 신경망은 2015년에 『Fully Convolutional Networks for Semantic Segmentation (Long et al.)』 논문을 통해 공개되었습니다. 다른 의미적 분할 모델과 비교해 오래 전에 개발되긴 했지만 FCN에 적용되었던 개념들이 일부 계..

안녕하세요 :) 이미지의 의미적 분할에 활용되는 Fully Convolutional Network (FCN), U-Net과 같은 딥러닝 모델들을 다루기에 앞서 이들을 구성하고 있는 합성곱 신경망(Convolutional Neural Network; CNN)의 개념을 짚고 넘어가려고 합니다. 아래의 내용들은 《밑바닥부터 시작하는 딥러닝》 책을 참고해서 작성했습니다. Semantic Segmentation (의미적 분할) 이미지 분할(Image Segmentation)이란? 컴퓨터 비전(Computer vision)의 한 분야 이미지를 몇 개의 영역으로 구분하는 작업 이미지의 공간 영역, 객체들을 픽셀 수준에서 구분하여 라벨을 지정하는 작업 위 data-science-note.tistory.com 목차 합성..

안녕하세요 :) 지난 포스팅에서 OpenCV 패키지를 사용해 이미지 파일을 읽어 오는 방법과 이미지 처리 중 더하기(cv2.add, cv2.addWeighted)에 대해 알아봤습니다. 이번 포스팅에서는 이미지 처리 중 필터링 기법 중 하나인 블러링에 대해서 다뤄보겠습니다. OpenCV를 사용한 이미지 처리 지난 포스팅은 프로젝트의 전반적인 주제인 이미지의 의미적 분할에 대해서 알아봤습니다. 이번 포스팅은 의미적 분할을 하기 위해 필요한 이미지를 어떻게 읽어오고, 그리고 적절하게 전처리 data-science-note.tistory.com 필터링 이미지를 구성하고 있는 픽셀(pixel)들의 조합으로 이미지를 변형하는 방법 이미지를 부드럽게(흐리게) 변형하는 블러링(blurring)과 선명하게(뚜렷하게) 변..

12.3.8. 자동 미분을 사용하여 그래디언트 계산하기¶ 자동 미분이란?¶ 신경망처럼 수만 개의 파라미터를 가진 복잡한 함수의 도함수(미분, 그래디언트)를 쉽게 계산할 수 있도록 해주는 도구 tensorflow.GradientTape() 을 활용 예시: $w_1 = 5, w_2 = 3$ 일 때 도함수는 각각 36과 10임을 미분을 통해 구함 $$f(w_1, w_2) = 3w_1^2 + 2w_1w_2$$$${df \over {dw_1}} = 6w_1 + 2w_2$$$${df \over {dw_2}} = 2w_1$$ In [1]: import tensorflow as tf w1, w2 = tf.Variable(5.), tf.Variable(3.) # 두 변수 w1과 w2를 정의 def f(w1, w2): #..

표본평균의 분포란? 서로 독립이고 동일한 확률분포를 따르는 확률변수 $X_1, X_2, ..., X_n$의 표본평균 $\bar{X}$이 따르는 분포. 이 분포는 모평균의 구간추정이나 모평균의 검정에서 사용. 표본평균의 기댓값과 분산 확률변수 $X_1, X_2, ..., X_n$이 기댓값이 $\mu$, 분산이 ${\sigma}^2$인 확률 분포를 따를 때, $$E(\bar{X})=\mu$$ $$V(\bar{X})=\frac{{\sigma}^2}{n}$$ 표본평균의 분포 원래 분포가 뭐였든 간에(정규 분포, 포아송 분포), 표본평균의 분포는 표본 크기가 커짐에 따라 정규 분포에 가까워짐. 중심극한정리(Central limit theorem) 확률변수 $X_1, X_2, ..., X_n$이 서로 독립이고, 동..

소개¶ 이 장에서 살펴볼 확률변수는 서로 독립인 다차원 확률변수. 독립: 확률변수가 다른 확률변수에 영향을 끼치지 않음. 독립동일분포(i.i.d.; independently and identically distributed): 서로 독립이고 각각 동일한 확률분포를 따르는 다차원 확률변수. 동일한 조건 아래에서 수행되는 실험이나 관측을 여러 번 반복하여 데이터를 얻는 것. 예: 우연히 만난 20명의 학생에게 시험 점수를 물어본 경우, 학생 한 명의 점수 각각은 전교생의 점수 분포를 따르는 1차원 확률변수, 어떤 학생을 만나기 직전에 만났던 학생과 전혀 관계없이 만난 학생이므로, 우연히 만난 20명의 점수는 서로 독립인 20차원의 확률변수 (독립동일분포). 확률분포 $F$: $X_1, X_2, ..., X_..

6단원. 이산형 확률분포¶ 추측 통계의 목표: 한정된 표본으로부터 모집단의 평균, 분산을 추정 모수적 기법: 이 때 모집단이 어떠한 성질일 것이므로 이러한 형태를 지닌 확률분포일 것이다라는 가정을 하고, 확률분포의 기댓값과 분산을 결정하는 파라미터를 추측 비모수적 기법: 모집단의 확률분포에 어떠한 가정도 하지 않음 파라미터만 추측하면 되니까 추정이 간단하고 분석이 쉬운 모형을 만들 수 있다! 다양한 확률분포, 특히 이산형 확률분포에 대해 소개 각각의 확률분포를 어떠한 상황에서 사용하는지 설명 6.1. 베르누이 분포(Bernoulli distribution)¶ 확률변수가 취할 수 있는 값이 0과 1밖에 없는 분포 1이 나오는 확률을 $p$, 0이 나오는 확률을 $1-p$ 파라미터: $p$ $$ f(x)= ..

논문 명: LightGBM: A Highly Efficient Gradient Boosting Decision Tree 저자 명: Guolin Ke, Qi Meng, Thomas Finley, Taifeng Wang, Wei Chen, Weidong Ma, Qiwei Ye, Tie-Yan Liu 게재 저널: NIPS 2017 (31st Conference on Neural Information Processing Systems) 게재 날짜: 2017년 URL: http://papers.nips.cc/paper/6907-lightgbm-a-highly-efficient-gradient-boosting-decision LightGBM: A Highly Efficient Gradient Boosting Dec..

2020.08.05. https://github.com/Kwan-Gu/DATA_SCIENCE_STUDY/blob/master/TRANSCRIPT/20200805/%EB%B0%B1%EA%B4%80%EA%B5%AC_tmdb.ipynb Kwan-Gu/DATA_SCIENCE_STUDY 데이터 사이언스 스터디 (개인공간). Contribute to Kwan-Gu/DATA_SCIENCE_STUDY development by creating an account on GitHub. github.com 2020.07.29. https://github.com/Kwan-Gu/DATA_SCIENCE_STUDY/blob/master/TRANSCRIPT/20200729/%EB%B0%B1%EA%B4%80%EA%B5%AC_tmdb...

1.1. 데이터의 크기 데이터의 수 (샘플 수) 변수의 수 (차원): 어떤 데이터에 변수가 5개 있으면 5차원 1.2. 변수의 종류 1.2.1. 질적 변수와 양적 변수 질적 변수 예: 만족도 설문조사, 혈액형 이진 변수: 값이 2개뿐인 변수 (예: 성별, 흡연 여부) 명의 척도 단순 분류를 위한 변수 (예: 전화번호, 성별) 변수의 동일성 여부에만 의미가 있음: 대소 관계, 사칙연산 의미 X 순서 척도 순서 관계나 대소 관계에 의미가 있는 변수 (예: 성적 순위, 만족도) 대소 관계에 의미는 있으나, 사칙연산 의미 X 양적 변수 양을 표현 (예: 시험 점수, 키) 간격 척도 대소 관계와 함께 차이도 의미를 갖는 변수 (예: 연도, 온도) 섭씨 60도와 섭씨 30도의 대소 관계, 차이는 의미가 있으나, 섭..