오늘 할 일

2주차가 어려웠다는 반응이 많았습니다. 오늘은 통째로 리마인드와 퀴즈로 채웁니다.

1. 11부 — 1차원 데이터 정리 리마인드: 대표값·산포도·범위와 사분위수·표준화·도수분포표를 개념 → 코드 → 퀴즈 순서로 되짚습니다 (퀴즈 5문항)
2. 22부 — LaTeX 입문: 수식을 코드로 쓰는 법. 오늘부터 배운 지표를 직접 타이핑해 봅니다
3. 33부 — LaTeX 퀴즈: 2주차 수식을 보고 코드를 쓰거나, 코드를 보고 수식을 맞힙니다 (퀴즈 6문항)

1부는 새 개념이 없습니다. 2주차에서 이미 본 것을 다른 각도로 확인하는 시간입니다.

대표값 세 가지 — 언제 갈라 쓰나

평균은 데이터 전부를 더해 나눕니다. 그래서 극단값 하나에도 확 끌려갑니다.

1. 1중앙값 — 정렬해서 가운데 값. 극단값이 있어도 순서만 밀릴 뿐 값 자체는 안 끌려갑니다
2. 2최빈값 — 가장 많이 나온 값. 양적 데이터보다 질적 데이터에서 주로 씁니다

최빈값(mode)은 가장 많이 나온 값이라 수식보다 세어 보는 것으로 정합니다. 2주차에서 평균·중앙값은 10명의 영어 점수 scores 로 구했지만, 최빈값만은 [1, 1, 1, 2, 2, 3] 같은 별도 예로 구했습니다 — 점수 10개는 값이 다 달라 최빈값이 잡히지 않기 때문입니다.

평균·중앙값·최빈값 — 코드

np.mean(scores)                        # 평균
np.median(scores)                      # 중앙값
pd.Series([1, 1, 1, 2, 2, 3]).mode()   # 최빈값

scores_df.mean() 처럼 pandas 도 같은 이름의 함수를 제공합니다. 교재는 둘을 나란히 보여 주는데, 분산에서는 나누는 수가 달라 값이 갈립니다 — 9번 장에서 다시 짚습니다.

정리 — 대표값에서 산포도로

평균·중앙값·최빈값은 데이터를 한 점으로 요약합니다. 그 점 주변에 얼마나 퍼져 있는지는 아직 안 나옵니다.

1. 1평균이 같은 두 데이터라도 흩어진 정도는 다를 수 있습니다
2. 2흩어진 정도를 재는 지표를 산포도(measure of dispersion)라 합니다

다음 묶음은 편차 → 분산 → 표준편차 순서로 짚습니다.

분산은 왜 제곱인가

편차를 그냥 더하면 늘 0 입니다. 흩어진 정도를 재려면 부호를 없애야 합니다.

2주차에서 편차의 평균이 0 이 되는 것을 직접 확인했습니다. -14점과 +14점을 같은 크기로 취급하려고 제곱합니다.

편차에서 표준편차까지 — 무엇이 리스트이고 무엇이 숫자 하나인가

2주차의 10명 점수로 단계마다 실제 값을 따라갑니다. 리스트로 가다가 평균을 내는 순간 숫자 하나가 됩니다.

편차의 평균은 늘 0 이라 그 자리에서는 평균을 낼 수 없습니다. 제곱해 부호를 없앤 뒤에 냅니다.

분산과 표준편차 — 코드

np.var(scores)              # 분산
np.std(scores)              # 표준편차
np.sqrt(np.var(scores))     # 같은 값

ddof=1 로 주면 n-1 로 나눕니다 — 표본에서 모분산을 추정할 때 씁니다.

정리 — 산포도에서 범위로

분산·표준편차는 모든 데이터를 하나하나 제곱해 더합니다. 값이 많으면 계산이 무겁고, 극단값 하나에도 여전히 영향을 받습니다.

1. 1값을 딱 두 개만 보고 흩어진 정도를 대충 재는 방법도 있습니다 — 범위(range)
2. 2이상값에 강하게 만들려면 최댓값·최솟값 대신 사분위수를 씁니다 — IQR

다음 묶음에서 범위와 사분위수 범위를 짚습니다.

최댓값-최솟값은 이상값에 약하다

범위는 값을 딱 두 개만 봅니다. 그중 하나가 극단값이면 범위가 그 값 하나에 좌우됩니다.

1. 1Q1 — 하위 25% 지점, Q2 — 중앙값(하위 50%), Q3 — 하위 75% 지점
2. 2가장 크고 작은 값 대신, 이상값이 없을 법한 중간 50% 구간의 폭을 봅니다

범위가 이상값에 흔들리는 문제를 IQR 이 완화합니다.

범위와 사분위수 범위 — 코드

np.max(scores) - np.min(scores)        # 범위
scores_Q1 = np.percentile(scores, 25)
scores_Q3 = np.percentile(scores, 75)
scores_IQR = scores_Q3 - scores_Q1     # 사분위수 범위

np.percentile(scores, 50) 은 np.median(scores) 와 같은 값입니다.

정리 — 범위에서 표준화로

지금까지는 흩어진 정도를 숫자 하나로 요약했습니다. 이번엔 '이 값 하나'가 전체에서 어디쯤 있는지를 잽니다.

1. 1같은 60점도 어려운 시험과 쉬운 시험에서 의미가 다릅니다
2. 2평균·표준편차에 안 흔들리는 상대적 위치가 필요합니다 — 표준화

다음 묶음에서 표준화와 편차값을 짚습니다.

다른 시험 점수를 견주는 법

점수 자체는 시험마다 평균·분산이 달라 그대로 비교할 수 없습니다. 평균 0, 표준편차 1 인 척도로 바꾸면 비교가 가능해집니다.

표준화한 데이터는 평균이 0, 표준편차가 1 이 됩니다. 편차값은 그 z 를 평균 50, 표준편차 10 짜리 척도로 옮긴 값이라 서로 다른 값입니다 — 그래서 여기서는 좌변을 T 로 구분해 적었습니다. 다만 교재와 노트북은 둘 다 z 로 적으니, 노트북을 채울 때는 교재 표기를 그대로 따르십시오.

표준화·편차값 — 코드

z = (scores - np.mean(scores)) / np.std(scores)               # 표준화
z = 50 + 10 * (scores - np.mean(scores)) / np.std(scores)     # 편차값

표준화한 z 는 평균 0, 표준편차 1 입니다. 편차값은 그 z 를 10배 하고 50 을 더한 것이라 평균 50, 표준편차 10 이 됩니다. 위 코드는 같은 이름 z 에 덮어쓰므로, 두 번째 줄을 실행한 뒤 np.mean(z) 를 찍으면 50 이 나옵니다.

정리 — 지표에서 그림으로

숫자 지표는 정확하지만 여러 개를 한꺼번에 보면 눈에 잘 안 들어옵니다. 표와 그림으로 분포 모양 전체를 보는 방법이 남았습니다.

1. 1값을 구간으로 잘라 세면 도수분포표가 됩니다
2. 2그 표를 막대로 그리면 히스토그램, 산포를 상자로 그리면 상자 그림입니다

마지막 묶음에서 도수분포표와 그림을 짚습니다.

계급·도수·계급값·상대도수

값을 그대로 늘어놓으면 흩어진 모양이 안 보입니다. 구간으로 잘라 세면 분포 모양이 드러납니다.

1. 1계급(class) — 나눈 구간. 예: 0~10, 10~20, ...
2. 2도수(frequency) — 그 계급에 속한 데이터 개수
3. 3계급값 — 그 계급을 대표하는 값. 구간의 한가운데(아래 끝과 위 끝의 평균)를 씁니다
4. 4상대도수 — 전체에서 그 계급이 차지하는 비율(도수 / 도수의 합)
5. 5누적상대도수 — 그 계급까지 상대도수를 누적해 더한 값

도수분포표가 있으면 최빈값도 '도수가 가장 큰 계급의 계급값'으로 구할 수 있습니다 — 값이 다 달라 최빈값이 안 잡히는 양적 데이터에서 특히 쓸모 있습니다.

도수분포표·히스토그램·상자 그림 — 코드

freq, _ = np.histogram(english_scores, bins=10, range=(0,100))

ax.hist(english_scores, bins=10, range=(0,100))
ax.boxplot(english_scores, tick_labels=['english'])

freq_dist_df.loc[freq_dist_df['frequency'].idxmax(), 'class value'] 로 도수가 가장 큰 계급의 계급값(최빈값)을 찾습니다.

2부 · LaTeX 이란

문서 조판 프로그래밍 언어입니다. 수식이 많은 논문·과제·주피터 마크다운에서 널리 씁니다.

1. 1논문·리포트에서 수식을 깔끔하게 조판합니다
2. 2Jupyter 마크다운 셀에서 $…$ 로 바로 렌더링됩니다
3. 3오늘부터 2주차에서 배운 지표를 LaTeX 코드로 직접 쳐 봅니다

발음은 '라텍'이 보편적으로 권장됩니다. 1984년 레슬리 램포트가 발표했습니다.

노트북에서 수식 쓰는 세 가지 방법

감싸는 방식만 다르고, 안에 쓰는 LaTeX 본체는 셋 다 같습니다.

\bar{x} = \frac{1}{n}\sum_{i=1}^{n} x_i

왜 r'' 을 붙이나 — 이걸 빼면 수식이 깨진다

파이썬이 따옴표 안의 백슬래시를 특수문자로 먼저 해석합니다.

\frac{1}{n}

위첨자 ^ 아래첨자 _

x^2
x_i
x_{ij}

x_ij 처럼 중괄호를 빼면 i만 아래첨자가 되고 j는 그냥 옆에 붙어 버립니다.

분수 — \frac{위}{아래}

\frac{1}{n}
\frac{x_i - \bar{x}}{S}

중괄호 두 쌍이 각각 분자와 분모입니다. 한 글자면 중괄호를 생략해도 되지만 늘 쓰는 편이 안전합니다.

루트 — \sqrt{}

\sqrt{S^2}
\sqrt[3]{x}

\sqrt[n]{} 의 n 을 비우면 그냥 \sqrt{} 와 같은 제곱근이 됩니다.

합 \sum 과 적분 \int

\sum_{i=1}^{n} x_i
\int_{a}^{b} f(x)\,dx

\, 는 좁은 빈 칸입니다. 적분 기호와 dx 사이에 붙여 가독성을 줍니다.

그리스 문자

\mu
\sigma
\alpha
\beta
\lambda

첫 글자를 대문자로 쓰면 대문자 그리스 문자가 됩니다 — \sigma 는 표준편차, \Sigma 는 대문자 시그마입니다. 합 기호는 모양이 비슷해도 명령이 달라 \sum 으로 씁니다(위아래 첨자가 기호 위아래에 붙습니다).

괄호 크기 \left( \right) 와 \bar{} \hat{}

\left( \frac{x_i - \bar{x}}{S} \right)
\bar{x}
\hat{p}

괄호를 그냥 ( ) 로 쓰면 안의 분수가 커도 괄호 크기가 그대로라 답답해 보입니다. \left \right 를 붙이면 자동으로 늘어납니다.

2주차 수식을 통째로 써 보기 — 분산

S^2 = \frac{1}{n}\sum_{i=1}^{n}(x_i-\bar{x})^2

괄호 (x_i-\bar{x}) 다음에 바로 ^2 를 붙이면 괄호 전체가 제곱됩니다 — 이 순서를 안 지키면 x_i 만 제곱되어 버립니다.

3부 · LaTeX 퀴즈

여기서 묻는 것은 LaTeX 문법이지 통계 개념이 아닙니다.

1. 1앞의 4문항은 코드를 보고 무슨 수식인지 맞힙니다
2. 2뒤의 2문항은 수식을 보고 코드를 씁니다
3. 3오늘 다루는 것은 2주차에서 배운 1차원 데이터 수식까지입니다

공분산·상관계수처럼 아직 안 배운 수식은 그 단원을 배우는 주에 함께 씁니다. 배운 것을 손으로 쓰는 것이 순서입니다.

이제 노트북에서 직접 채운다

LaTeX.ipynb 의 빈칸을 오늘 배운 문법으로 채웁니다.

1. 1맨 위 '수식을 쓰는 세 가지 방법' 셀 — 더블클릭해 $$ 원본을 보고, 다시 실행해 렌더를 봅니다
2. 2display(Math(r'…')) 의 따옴표 안에 LaTeX 코드를 넣습니다
3. 302장 — 평균부터 편차값까지, 오늘 3부에서 다룬 것과 같은 순서입니다
4. 403장 이후는 오늘 비워 둡니다. 그 단원을 배우는 주에 채웁니다

노트북에는 03~08장 수식도 들어 있습니다. 단원을 배울 때 그 칸을 채우면 학기 끝에는 전체가 완성됩니다.

다음 주 — 2차원 데이터 정리

2차원 데이터 정리 — 두 변수의 관계를 재는 지표를 배웁니다.

1. 1공분산 — 두 변수가 같은 방향으로 움직이는지
2. 2상관계수 — 그 관계의 세기를 -1~1 로 표준화한 값

이 식을 LaTeX 으로 쓰는 것도 다음 주에 함께 합니다. 오늘 익힌 \frac 과 아래첨자 문법이 그대로 쓰입니다.