희소 교차집단 보정: 유연한 모형도 동일한 평가 가중치로 비교해야 한다

10월 17일 arXiv에 개정판이 올라온 Seonghun Lee(컬럼비아대)의 논문은, 표본이 몇 명뿐이거나 아예 없는 칸까지 닮은 칸의 정보를 빌려 메우는 계층적 가우시안 과정(HGP) 가중치를 제안한다. Reble의 1만 명 합성패널도 시도·연령대·학력으로 쪼개면 사람이 있는 칸의 절반 가까이가 10명이 안 되니 같은 문제를 안고 있고, Reble은 그 1만 명을 뽑아 온 79만 4,000명 대한민국 합성패널(794k) 로 이 문제를 풀려 한다. 읽고 나면 얇은 칸을 메우는 방법들이 어떻게 다른지, 어느 방법이 낫다고 말하려면 왜 같은 잣대(평가 가중치)로 채점해야 하는지, 그리고 794k가 칸과 잣대를 어떻게 함께 주는지 알게 된다.

항목	내용
논문	Model-based Survey Weighting Using Hierarchical Gaussian Processes for Structured Populations · PDF 원문
저자	Seonghun Lee — 컬럼비아대
공개	arXiv 프리프린트(동료심사 전). v1 10월 14일 → v2 10월 17일 개정 → v3 10월 21일1
한 줄	닮은 칸끼리 정보를 나누는 모형은 비선형 구조에서 유리했다. 다만 모형끼리 비교할 때는 같은 평가 가중치를 써야 한다

1. 1만 명을 476칸으로 나누면

여론조사 표본을 모자이크라고 생각해 보자. 전체 그림, 곧 전국 지지율은 타일 1,000장이면 충분히 선명하다. 그런데 「세종에 사는 20대 대학 학력」처럼 한 조각만 확대하면 그 조각에는 타일이 몇 장 없거나 아예 비어 있다.

Reble의 1만 명 합성패널(10,249명)을 시도 17 × 연령대 7 × 학력 4단계로 나눠 직접 세어 보면 이렇다.

항목	값
나눈 칸	476칸
비어 있는 칸	62칸 (「10대 · 대학원」처럼 원래 드문 칸 포함)
사람이 있는 칸	414칸
그중 10명 미만	199칸 (48%)
그중 단 1명	33칸
예: 세종 · 20대 · 대학	6명
예: 경기 · 40대 · 대학	259명

학력 4단계는 중졸 이하 · 고졸 · 대학(전문대·재학 포함) · 대학원이다. 패널 원장의 학력 10단계 그대로 나누면 1,190칸 중 518칸이 비고, 사람이 있는 칸의 59%가 10명 미만이다. 이 1만 명은 Reble이 가진 79만 4,000명 원천에서 뽑은 표본이다. 원천에서는 같은 칸이 어떻게 보이는지 5장에서 본다.

이런 얇은 칸을 다루는 방법은 크게 셋이다.

방법	무엇을 맞추나	얇은 칸에서는
레이킹	성별 합계, 연령 합계, 지역 합계처럼 변수별 합계를 차례로 맞춘다	칸 하나하나는 따로 맞추지 않는다. 칸의 값은 그 칸에 든 사람들의 답에만 기댄다
MRP (다층 회귀 + 사후층화)	칸마다 값을 회귀식으로 예측하고, 인구 비중으로 다시 더한다	같은 집단끼리 정보를 나눠 얇은 칸을 메운다. 관계는 미리 정한 식(로지스틱)을 따른다
HGP (이 논문)	MRP처럼 칸을 예측하되, 닮은 칸끼리 값이 매끄럽게 이어지게 한다	집단 정보에 더해 닮은 칸의 정보를 빌린다. 식으로 적기 어려운 굴곡도 받아들인다

레이킹이 얇은 칸에서 막히는 일은 현장에서도 흔하다. 이 논문의 저자가 참여한 미국 가족조사 가중 작업에서도 도시별 표본이 작아 인구 합계에 맞추는 레이킹이 어려워지자, 인구 범주 일부를 합쳐야 했다(Lee & Gelman, 2024).

2. 닮은 칸에게 묻는 모형, 계층적 가우시안 과정

HGP는 칸 하나의 값을 두 부분의 합으로 본다.

칸의 값  f = μ(집단) + η(칸)

μ(집단)  거친 집단의 평균
         (인구 정보가 있는 수준)
η(칸)    닮은 칸끼리 이어지는 굴곡
         (가우시안 과정)

μ는 「도시 × 연령 × 인종」처럼 거친 집단의 몫이다. 이 수준에는 믿을 만한 인구 정보가 있으니 출발점으로 삼는다. η는 칸마다의 굴곡인데, 두 칸의 조건이 가까울수록(30대와 40대, 대졸과 대학원졸) 값도 비슷하다고 본다. 그래서 표본이 없는 칸도 가까운 칸들의 값으로 예측된다. 얼마나 닮았다고 볼지는 커널이 정한다.

이렇게 예측한 칸 값을 인구 비중으로 더한 것이 모집단 추정치다. 저자는 여기서 한 걸음 더 나간다. 응답자 한 명의 답을 아주 조금 바꿨을 때 추정치가 얼마나 움직이는지, 그 민감도를 그 사람의 가중치로 읽는다. 이것이 국소 등가 가중치다. 저자가 앞선 연구에서 로지스틱 회귀로 만든 방식을 HGP로 넓힌 것이 이 논문의 핵심 기여다. 「국소」라는 말 그대로, 적합한 값 근처의 1차 근사(기울기)다.

계산도 다뤘다. 가우시안 과정은 보통 표본 수의 세제곱에 비례하는 계산이 든다. 저자는 집단 수와 실제로 관측된 칸 수만큼의 구조로 계산을 줄였고(그 합이 표본 수보다 훨씬 작을 때), 정해 둔 조건 아래에서 예측이 참값으로 고르게 수렴한다는 정리를 가중치의 이론적 바탕으로 깔았다.

시험장은 가상의 인구 10만 명이다. 도시 10 × 연령 6 × 인종 4 × 학력 5 × 혼인 2 = 2,400칸. 여기서 2,000명을 무작위로 뽑으면 사람이 있는 칸은 657칸(27%)뿐이다. 정답 세계는 두 가지다. 하나는 진짜 관계가 로지스틱 식 그대로인 세계, 다른 하나는 칸마다 굴곡이 있는 비선형 세계다. 비교 대상은 HGP, 일반 로지스틱, 그리고 집단별 정규 사전분포를 둔 정규화 로지스틱(MRP의 회귀 단계에 가깝다)이다.

3. 구조가 맞는 모형이 이긴다

먼저 모든 모형을 같은 잣대, 곧 실제 인구 칸 비중으로 채점한 결과다. 칸마다 예측과 정답의 차이를 제곱해 인구 비중으로 평균한 값(MSE)이고, 작을수록 정확하다.

정답 세계	HGP	일반 로지스틱	정규화 로지스틱
로지스틱 세계	0.0030	0.0022	0.0084
비선형 세계	0.035	0.049	0.050

로지스틱 세계에서는 일반 로지스틱이 가장 정확했다. 정답의 식을 그대로 쓰니 당연하다. HGP가 바짝 뒤따랐고, 정규화 로지스틱은 정규화가 오히려 손해였다. 비선형 세계에서는 HGP가 이겼다. 로지스틱 두 가지보다 오차가 약 30% 작다. 유연한 모형이 늘 이기는 것이 아니라, 진짜 구조에 맞는 모형이 이긴다.

표본을 100·300·500명으로 줄여 열 번씩 되풀이해도, 비선형 세계에서는 HGP의 오차 중앙값이 가장 낮았다. 표본이 늘면 셋 다 좋아졌지만, 대상 칸을 넓히는 것만으로는 오차가 꾸준히 줄지 않았다. 칸이 늘어도 그 칸을 들여다보는 관측은 늘지 않기 때문이다.

실제 자료에도 적용했다. 1998~2000년 미국 대도시에서 태어난 아이들을 따라가는 가족조사(FFCWS)다. 어머니의 혼인 상태·인종·연령·학력과 출생 도시를 교차하면 3,840칸이고, 인구 정보가 있는 칸은 3,339칸, 분석 표본 3,424명이 차지한 칸은 1,059칸이다. 결과 변수는 아버지 면접 참여 여부다. 무엇을 답했는지가 아니라 누가 참여했는지를 모형화해 가중치를 만드는 용도다. 모형이 함축한 전체 평균과 기준값 0.793의 차이는 HGP와 정규화 로지스틱이 2.2%, 일반 로지스틱이 4.9%였다.

4. 자기 가중치로 채점하면 순위가 바뀐다

이 논문에서 가장 쓸모 있는 대목은 같은 오차를 두 가지로 채점해 나란히 보여 준 부분이다. 하나는 앞의 표처럼 모든 모형을 같은 인구 칸 비중으로 재는 것이고, 다른 하나는 각 모형이 스스로 만든 가중치로 재는 것이다.

같은 잣대로 재면 일반 로지스틱(0.049)과 정규화 로지스틱(0.050)은 사실상 같다. 그런데 각자의 가중치로 재면 정규화 로지스틱이 0.033으로, 일반 로지스틱(0.044)보다 25% 좋아 보인다. HGP의 우위도 같은 잣대에서는 29%인데 자기 가중치로는 36%로 커 보인다.

까닭은 간단하다. 자기 가중치로 채점하면, 자기가 틀리는 칸에 가중치를 적게 준 모형이 점수를 덜 깎인다. 답안지를 낸 학생이 문항별 배점까지 정하는 셈이다. 저자도 이 채점은 모형별 진단일 뿐, 모집단 전체의 정확도를 비교하는 지표가 아니라고 분명히 적었다.

전체 평균 하나를 볼 때도 같은 일이 생긴다. 비선형 세계에서 각 모형의 자기 가중치로 전체 평균을 내면 일반 로지스틱이 정답(0.323)에서 1.2%로 가장 가깝고, 칸 오차가 가장 작았던 HGP는 3.0% 벗어났다. 그런데 예측한 칸 값을 실제 인구 칸 수로 더해 보면, 표본을 100·300·500명으로 따로 돌린 시험 모두에서 HGP의 오차가 가장 작았다. 같은 「전체 평균」이라도 무엇으로 더하느냐에 따라 1등이 바뀐다.

논문이 스스로 밝힌 한계도 함께 적어 둔다.

한계	무슨 뜻인가
자기 가중치 채점은 공정한 비교가 아니다	모형마다 잣대가 다르다. 모형 비교는 같은 인구 칸 비중으로 해야 한다
가중치는 국소 근사다	적합한 값 근처의 1차 근사다. 가중치가 안정적이라는 보장은 추가 가정에 달려 있다
비응답 편향을 자동으로 고치지 않는다	저자의 말로는 전통적 가중을 보완하는 방법이지, 모든 비응답·결측 편향을 해결한다는 주장이 아니다
시험장이 좁다	모의실험의 정답 구조 두 가지, 실제 자료 하나(참여 여부 지표 하나)다
합성패널 검증이 아니다	사람 표본의 가중치 이야기다. AI가 답하는 합성패널에서도 같은 결과가 나온다는 근거는 아니다

5. Reble의 답 — 794k 대한민국 합성패널

Reble은 현실 세계를 반영하는 동적 사회 시뮬레이션 엔진이다. 이 문제에 대한 Reble의 답은 모형을 고르기 전에 모집단부터 갖추는 것이다.

지금의 1만 명 패널과 레이킹

1장의 1만 명은 출발점이 아니라 표본이다. Reble은 먼저 대한민국 인구 구조를 닮은 통계적 시민 79만 4,000명을 만들고, 거기서 지역·성별·연령을 대표하도록 10,249명을 뽑았다. 설문 결과를 낼 때 이 1만 명은 레이킹으로 가중한다. 10월 21일부터는 정당·이념·인구(성별·연령대·지역·학력·소득)의 합계를 한꺼번에 맞추고, 가중치가 지나치게 커지지 않도록 안전장치를 둔다.

안전장치	기준	10월 21일 시험값
한 사람의 가중 배수	센서스 가중의 1/5배~5배	0.37배~4.05배
합계 오차	목표와 0.5%p 이내	통과
설계효과	2 이하	1.28

하나라도 못 지키면 예전 방식으로 돌아간다. 그러나 레이킹은 합계를 맞출 뿐 칸을 보지 않는다. 「세종 · 20대 · 대학」 6명이 그 칸의 전부이고, 1만 명 안에서는 그 칸을 두껍게 만들 방법이 없다.

794k — 얇은 칸을 원천에서 채운다

그래서 Reble은 얇은 칸을 모형으로 메우기 전에, 1만 명을 뽑아 온 원천으로 돌아간다. 794k 대한민국 합성패널이다. 통계청 2020년 인구총조사 2% 표본 마이크로데이터 85만 8,614건을 바탕으로 다시 뽑은 통계적 시민 79만 4,000명이다. 시군구·성별·연령·학력·직업·혼인 같은 인구 속성은 마이크로데이터에 실제로 있는 조합을 그대로 따른다. 정치 성향은 사회조사(KOSSDA)와 선거 결과로 학습한 모형이 붙인 뒤 최신 여론조사에 맞춰 시점마다 다시 보정하고, 가중치는 행정안전부 주민등록(2026년 3월)의 시도 × 성별 × 연령대 238칸 비율에 맞춘다. 이 원천에서 같은 476칸을 세면 이렇다.

같은 476칸	1만 명 패널	794k 원천
사람 수	10,249명	794,000명
빈 칸 (「10대 · 대학원」 제외)	45칸	0칸
10명 미만인 칸	199칸	3칸
사람이 있는 칸의 인원 중앙값	10명	527명
세종 · 20대 · 대학	6명	460명
시군구 249곳	—	모두 412명 이상

1만 명에서 10명이 안 되던 199칸은 원천에서 중앙값 245명이고, 1만 명에서 비어 있던 45칸에도 중앙값 47명이 있다. 794k가 이 문제를 푸는 길은 세 가지다.

• 칸이 원래 차 있다. 레이킹은 합계만 맞추지만, 794k는 지역·성별·연령·학력·직업·혼인의 조합을 마이크로데이터에서 그대로 옮겨 왔다. 가중치도 평균 1에 0.52~2.09배 안이라, 구성을 맞추려고 몇몇 사람의 무게를 크게 늘릴 일이 없다.
• 얇은 칸은 크게 뽑는다. 조사할 때 1만 명이 아니라 794k에서 직접 뽑으면 얇던 칸에도 필요한 만큼 사람을 채울 수 있다. 1만 명은 큰 표본을 뽑을수록 드문 집단이 바닥난다. 10월 19일 시험에서 1만 명 중 5,000명을 뽑자 무당층이 목표 14.2%에서 10.4%로 줄었다. 79만 명 원천에서는 그럴 걱정이 거의 없고, 10월부터는 794k에서 직접 표본을 뽑아 묻는 조사도 돌릴 수 있다.
• 같은 잣대가 생긴다. 이 논문이 공정한 비교에 쓴 것은 실제 인구 칸 수였다. 한국에서는 794k의 칸별 인원이 그 잣대가 된다. MRP와 HGP도 칸 예측을 인구 비중으로 다시 더해야 하는데, 그 인구표를 시군구 수준까지 794k가 준다. 레이킹이든 MRP든 HGP든 모두 같은 794k 칸 비중으로 채점하면, 4장에서 본 자기 가중치 채점의 함정을 피할 수 있다.

794k가 풀지 못하는 것도 분명히 해 둔다. 칸이 꽉 찼다고 칸 안의 답이 맞는 것은 아니다. 인구 구조는 마이크로데이터에서 오지만, 정치 성향은 모형이 붙인 값이고 설문의 답은 AI가 만든다. 가중치와 표본은 「누가 몇 명인가」를 고칠 뿐 「각자가 무엇이라고 답하는가」는 고치지 못한다. 460명이 있어도 그 460명의 답이 틀리면 칸은 틀린다. 또 마이크로데이터 자체도 표본이라 정말 드문 칸(세종 · 70세 이상 · 대학원 4명)은 원천에서도 얇고, 학력 같은 구성은 2020년 인구총조사 기준이라 그 뒤의 변화는 담지 못한다.

그래서 이렇게 검증한다

그래서 이 논문에서 Reble이 가져가는 가설을 이렇게 고쳐 쓴다. 희소한 지역 × 연령 × 학력 칸에서 ① 1만 명 + 레이킹 ② 794k 원천에서 직접 ③ 794k를 인구표로 쓴 MRP · HGP를 같은 사람 검증 표본으로, 같은 794k 칸 비중을 평가 가중치로 비교하면, 전체 정확도를 지키면서 얇은 칸의 오차를 가장 많이 줄이는 길을 확인할 수 있다. 이 논문이 보여 준 함정을 피하려면 비교 설계부터 정해 둔다.

정할 것	원칙
비교 대상	1만 명 + 레이킹 · 794k 원천 직접 · 794k를 인구표로 쓴 MRP · HGP
정답	사람이 실제로 답한 조사 원자료. 합성패널끼리 견주지 않는다
평가 가중치	모든 방법에 같은 794k 칸 비중. 자기 가중치로 채점하지 않는다
채점표 1 · 전체	전체 값의 오차. 지금보다 나빠지면 탈락
채점표 2 · 얇은 칸	1만 명에서 10명 미만이던 199칸과 취약 집단의 오차. 줄어야 통과
채점표 3 · 안정성	설계효과와 최대 가중 배수

정답이 사람이 답한 표본이어야 하는 까닭은 앞에서 말한 그대로다. 794k는 칸과 잣대를 주지만, 칸 안의 답이 맞는지는 사람의 답과 견줘야만 알 수 있다.

---

한 줄 결론. 얇은 칸은 닮은 칸에게 물어 메울 수도 있고, 원천에서 채울 수도 있다. 어느 길이 더 맞는지는 같은 잣대로 재야 알 수 있다. Reble은 79만 4,000명 대한민국 합성패널로 칸을 원천에서 채우고, 그 794k의 칸 비중을 잣대 삼아 레이킹 · MRP · HGP와 함께 사람 표본으로 채점하려 한다.

더 읽기 → 합성패널은 어떻게 만들어지는가 (기술 버전) · 논문 원문 (arXiv) · 저자 공개 코드 (R)