고차원 합성 인구 구성: MaxEnt가 레이킹보다 유리한 조건 (연구중)

10월 23일 Frontiers in Artificial Intelligence에 실린 François Pachet · Jean-Daniel Zucker의 논문은, 개인 자료 없이 집계표만 있을 때 여러 교차집단의 목표 비율을 한꺼번에 만족하는 합성 인구를 최대엔트로피(MaxEnt) 로 만드는 방법을 내놓고, 오래 표준으로 쓰여 온 레이킹과 나란히 시험했다. Reble도 79만 4,000명 대한민국 합성패널(794k)과 거기서 뽑은 1만 명 패널을 여러 겹의 보정으로 현실에 맞추고 있어서, 보정할 변수와 교차 목표가 늘어날 때 어느 방법이 버티는지는 곧 마주할 질문이다. 읽고 나면 두 방법이 어떻게 다른지, MaxEnt가 언제 앞서고 언제 차이가 없는지, 그리고 Reble이 지금 레이킹을 유지하면서 무엇부터 검증하려 하는지 알게 된다.

항목	내용
논문	Maximum entropy relaxation of multi-way cardinality constraints for synthetic population generation · PDF 원문
저자	François Pachet — ImagineAllThePeople · Jean-Daniel Zucker — ImagineAllThePeople, IRD · 소르본대
게재	Frontiers in Artificial Intelligence 9권, 동료심사를 거친 원저 논문. 3월 27일 접수 → 9월 11일 수정 → 9월 30일 채택 → 10월 23일 게재1
한 줄	변수가 많고 3변수 교차 목표가 겹칠수록 MaxEnt가 레이킹보다 정확했다. 변수가 적거나 비율만 주면 차이가 없었다

1. 통계표 여러 장으로 주민 명부를 짓는 일

어느 도시의 통계표만 여러 장 받았다고 하자. 「여성 52%」 같은 1변수 표, 「여성이면서 35~44세 18%」 같은 2변수 표, 「여성 · 35~44세 · 일드프랑스 거주 4%」 같은 3변수 표다(논문이 든 예). 이 표들을 모두 만족하는 가상의 주민 명부를 지어내는 것이 합성 인구 생성이다. 개인 자료가 없거나, 법으로 막혀 있거나, 모으기에 너무 비쌀 때 정책 모의실험, 행위자 기반 모형, 개인정보를 지키는 자료 공개에 쓴다.

어려움은 표가 서로 겹친다는 데 있다. 「여성」은 1변수 표에도, 「여성 × 연령」 표에도, 「여성 × 연령 × 지역」 표에도 들어 있다. 한 표를 맞추려고 명부를 고치면 다른 표가 어긋난다. 명부의 칸 수를 정확히 맞추는 문제로 풀면(정수 제약 풀이기 CP-SAT), 변수 12개 · 목표 칸 315개에서는 30명짜리 명부까지 최적임을 증명했지만, 변수 24개 · 목표 칸 3,621개에서는 10명짜리도 증명하지 못했고 200명 이상은 120초 안에 조건을 만족하는 명부조차 찾지 못했다. 저자는 이것이 시험한 풀이 방식과 시간 예산의 한계일 뿐, 수학적으로 불가능하다는 뜻은 아니라고 적었다.

모든 칸을 다 담은 표 전체에 고전적인 반복 비례 맞춤(IPF)을 돌리면, 원리상으로는 겹치는 목표를 모두 맞출 수 있다. 실제로 변수 4개(81칸)와 12개(35만 4,294칸)에서는 잘 맞았다. 문제는 크기다. 변수가 20개면 표가 230억 칸, 28개면 9,100조 칸, 40개면 2×10²⁶칸이 된다. 저자의 말대로 무너지는 것은 원리가 아니라 표현이다.

2. 정확히 대신 평균적으로 — MaxEnt와 레이킹

MaxEnt는 목표를 「정확히 몇 명」이 아니라 「평균적으로 그 비율」로 맞춘다. 그 조건을 만족하는 분포 가운데 엔트로피가 가장 큰 것, 곧 목표가 말해 준 것 말고는 아무것도 덧붙이지 않는 가장 덜 단정적인 분포를 고른다. 그러면 답이 정해진 꼴을 갖는다.

목표   만든 명부에서 칸 j에 드는 비율 ≈ α_j
         (j = 1 … m, 목표 칸)

분포   p(x) ∝ exp( λ₁·f₁(x) + … + λₘ·fₘ(x) )
         f_j(x) = 사람 x가 칸 j에 들면 1, 아니면 0
         λ_j    = 칸 j의 계수 — m개를 한꺼번에 고친다

계수 λ를 찾는 일은 볼록 최적화라 답이 하나다. 다만 한 사람이 가질 수 있는 속성 조합을 모두 펼쳐 놓을 수 없으니 실제 계산은 근사다. 무작위 명부에서 출발해, 사람마다 속성을 하나씩 바꿔 보고 받아들일지 정하는 표집(MCMC)을 열 바퀴 돌린 뒤, 목표와 어긋난 만큼 모든 계수를 한꺼번에 고친다. 이것을 문제에 따라 120~926번 되풀이하고, 50바퀴를 더 돌려 명부를 낸다. 논문의 모든 결과는 이렇게 정해진 계산 예산 안에서 얻은 근사치다.

레이킹은 사람마다 가중치를 붙이고, 처음에는 모두 같게 둔다. 목표 칸을 하나씩 차례로 보며 그 칸에 든 사람들의 가중치를 곱해 목표에 맞춘다. 가중치 변화가 100만분의 1 아래로 떨어지거나 500바퀴가 될 때까지 되풀이한다.

	MaxEnt	레이킹
받는 목표	1 · 2 · 3변수 교차 목표	같은 목표
맞추는 방식	모든 목표의 계수를 한 번에 고친다	목표 하나씩 차례로 가중치를 곱한다
목표가 겹치면	하나의 목적식 안에서 한꺼번에 타협한다	뒤의 보정이 앞의 보정을 일부 되돌린다(저자의 해석)

비교는 공정하게 짰다. MaxEnt에만 교차 목표를 주고 레이킹에는 비율만 준 비교가 아니다. 두 방법은 같은 목표를 받고, 다른 것은 맞추는 방식뿐이다.

시험장은 Pew 리서치센터의 2024년 전국 여론 기준조사(NPORS) 응답자 5,626명이다. 수백 개 변수 가운데 4 · 12 · 20 · 28 · 40개를 골라 문제 다섯 개를 만들고, 원천 응답에서 목표를 뽑았다. 1변수 목표는 전부 넣고, 2변수는 서로 정보를 많이 나누는 쌍부터, 3변수는 2변수 표만으로는 설명되지 않는 정도가 큰 묶음부터 넣었다. 변수 20개 이상에서는 2변수 · 3변수 묶음을 각각 50개까지로 잘랐다. 목표 칸은 원천에 실제로 나온 조합만 센다. 예컨대 「거듭난 기독교인인가 × 휴대전화가 있나 × 인터넷을 쓰나」는 칸이 27개지만 응답에 나온 22개만 목표가 된다. 이렇게 세면 변수 40개 문제의 목표 칸은 1변수 197 · 2변수 1,329 · 3변수 1만 7,883, 모두 1만 9,409칸이다.

3. 변수가 많아질수록 레이킹만 흔들린다

먼저 맞춘 목표 자체의 오차다. 목표 교차표마다 만든 명부의 분포와 목표 분포의 차이(L1 거리)를 구해 평균한 값으로, 작을수록 정확하다. 분포 사이의 거리라서 선거 예측 오차나 %p와는 다른 단위다. 3변수 교차 목표까지 준 문제에서 대표 조건을 고르면 이렇다(논문 표 8).

변수	명부 크기	MaxEnt	레이킹	앞선 쪽
12개	5,626명	0.026	0.026	같다
12개	10만 명	0.017	0.009	레이킹
20개	1만 명	0.027	0.028	비슷하다
28개	1만 명	0.037	0.092	MaxEnt
40개	5,626명	0.095	0.352	MaxEnt
40개	10만 명	0.061	0.214	MaxEnt

변수 40개 · 5,626명에서 MaxEnt의 오차는 레이킹의 약 4분의 1이다(73% 작다). 다섯 번 되풀이해도 0.0956 ± 0.0017 대 0.3573 ± 0.0106으로 같았다. 거꾸로 변수 12개에서는 레이킹이 같거나 나았다. 한 번 돌렸을 때 MaxEnt가 앞서 보였던 100명짜리 작은 문제(0.129 대 0.176)도 다섯 번 되풀이하자 두 값이 같아져(0.150 대 0.150), 저자가 「믿을 만한 차이 없음」으로 고쳐 적었다.

더 중요한 것은 맞출 때 쓰지 않은 교차표다. 목표를 맞춘 명부가 목표에 없던 관계까지 닮았는지를 본다. 2변수 50개 · 3변수 100개 교차표에서 원천과의 차이를 재면, 변수 12개에서는 두 방법이 같고(0.028 대 0.030) 40개에서는 레이킹의 오차가 MaxEnt의 2.2배다(0.138 대 0.301). 분포 차이를 다른 잣대(젠슨-섀넌 발산)로 재도 결론은 같았다. 변수 12개에서는 비슷하고, 변수가 늘수록 MaxEnt가 앞섰다.

NPORS와 상관없는 시험도 했다. 저자가 정답 구조를 알고 만든 가상 인구 세 종류에 변수 12 · 28 · 40개를 두고, 1만 명 표본에서 목표를 뽑아 20만 명 정답과 견줬다. 같은 크기의 진짜 새 표본이 내는 오차도 기준선으로 함께 쟀다(넘을 수 없는 하한이 아니라 비교점이다). 변수 40개에서 맞출 때 쓰지 않은 표의 오차는 이랬다(논문 표 9).

가상 인구 · 변수 40개	MaxEnt	레이킹	진짜 새 표본
변수끼리 독립	0.044	0.074	0.040
네 개씩 묶여 함께 움직임	0.046	0.176	0.040
드문 3변수 규칙과 금지된 조합	0.047	0.137	0.041

MaxEnt의 오차는 세 세계 · 변수 세 가지, 아홉 조건 모두에서 진짜 새 표본의 1.1~1.5배 안에 들었다. 레이킹은 변수끼리 관계가 있는 두 세계에서 변수가 늘수록 크게 나빠졌다. 변수끼리 아무 관계가 없는 세계에서는 격차가 크게 줄었지만 사라지지는 않았다. 겹쳐서 타협할 구조가 많을수록 MaxEnt가 앞선다는 해석과 맞는다.

계산 시간은 한쪽으로 기울지 않는다. 5,626명 기준 변수 28개에서는 MaxEnt가 544초, 레이킹이 55초로 MaxEnt가 열 배 느렸다. 변수 40개에서는 MaxEnt가 줄인 계산 예산으로 86초, 레이킹이 252초였다. 다만 레이킹은 두 번째 바퀴부터 오차가 그대로라 계산을 더 줘도 0.35 아래로 내려가지 않았고, MaxEnt는 계수를 50번 고친 시점(51초)에 이미 0.127이었다.

저자가 정리한 경험칙은 이렇다(논문 표 13). 저자도 보편적인 보장이 아니라 관찰한 경향이라고 못 박았다.

상황	저자의 권고
변수 12개 이하 · 2변수 교차	레이킹이 강한 기준선이다. 속도가 중요하면 레이킹
변수 12개 이하 · 3변수 교차 · 작거나 중간 크기	믿을 만한 차이가 없다. 속도 면에서 레이킹
변수 20개 안팎	상황에 따라 다르다. 3변수 상호작용이 중요하면 MaxEnt가 안전하다
변수 28개 이상	시험한 모든 조건에서 MaxEnt가 나았다

4. 함정과 한계 — 비율만 주면 누구도 관계를 모른다

첫 번째 함정은 MaxEnt도 없는 정보를 만들어 내지는 못한다는 점이다. 저자는 변수 20개 문제에서 목표를 세 단계로 늘려 가며, 맞출 때 쓰지 않은 3변수 교차표 120개와 4변수 교차표 120개로 채점했다(논문 표 4).

맞춘 목표	3변수 표 · MaxEnt	3변수 표 · 레이킹	4변수 표 · MaxEnt	4변수 표 · 레이킹
1변수(비율)만	0.120	0.123	0.202	0.205
+ 2변수 교차	0.069	0.092	0.127	0.176
+ 3변수 교차	0.059	0.075	0.091	0.143

성별 · 연령처럼 변수마다 비율만 주면 두 방법은 사실상 같고, 둘 다 변수 사이의 관계를 되살리지 못한다. 비율만으로 고른 최대엔트로피 분포는 변수들을 서로 독립으로 두기 때문이다. MaxEnt의 이득은 겹치는 교차 목표가 들어올 때 생긴다(도표 1 오른쪽). 저자의 표현으로는, 낮은 차수의 비율에서 높은 차수의 정보를 캐내는 것이 아니라 겹치는 높은 차수의 목표 여럿을 하나의 전체 적합으로 화해시키는 데서 이득이 나온다.

두 번째 함정은 있을 수 없는 조합이다. 변수 40개 명부에서, 원천에 한 번도 나오지 않은 2변수 조합을 가진 사람의 비율은 이랬다(논문 표 5). 한 사람에게 2변수 쌍이 780개라, 하나라도 걸릴 비율은 빠르게 커진다.

원천에 없던 조합을 가진 사람	MaxEnt	레이킹
어느 2변수 쌍에서든	44.6%	90.5%
목표를 주지 않은 2변수 쌍에서만	13.3%	2.9%
맞출 때 쓰지 않은 4변수 표에서	2.3%	2.4%

레이킹은 이 규모에서 목표를 잘 못 맞춰 엉뚱한 칸에 무게를 흩뿌렸다. 그런데 목표를 주지 않은 쌍만 보면 거꾸로 MaxEnt가 더 많다. 엔트로피를 키우려는 성질이 아무도 막지 않은 칸까지 채우기 때문이다. 원천에 없던 조합이 꼭 불가능한 조합은 아니어서(표본에 안 잡혔을 수도 있다), 저자는 금지된 조합을 알고 만든 가상 인구로 다시 쟀다. 금지된 조합을 가진 사람은 변수 12개에서 MaxEnt 2.5% · 레이킹 0.6%, 28개에서 3.3% · 11.6%, 40개에서 5.2% · 34.9%였다. 처방은 하나다. 알려진 불가능한 조합은 두 방법 모두 처음부터 확률 0으로 막아야 한다.

세 번째는 틀린 목표다. 목표 칸마다 잡음을 넣어 서로 어긋나게 만들어도 두 방법 모두 무너지지 않았고, 오히려 잡음 낀 목표보다 참값에 더 가까운 명부를 냈다(잡음 10%에서 MaxEnt 명부와 참값의 차이 0.060, 잡음 낀 목표와의 차이 0.100. 레이킹도 0.060 · 0.103). 그러나 한 변수의 비율을 일부러 틀리게 넣었을 때는(가장 큰 범주의 20%를 가장 작은 범주로 옮겼다) 레이킹이 더 잘 버텼다(0.026 대 0.037). 차례로 맞추는 레이킹에서는 맞는 교차 목표 여럿이 틀린 비율 하나를 눌렀고, 전체를 한꺼번에 타협하는 MaxEnt는 틀린 목표에도 제 몫을 주었다.

논문이 스스로 밝힌 한계는 이렇다.

한계	무슨 뜻인가
유한한 계산의 근사다	모든 결과는 정해진 MCMC 예산의 근사치다. 이론상의 MaxEnt 최적해가 아니다
없는 정보는 만들지 못한다	비율만 주면 MaxEnt도 관계를 만들지 않는다. 드문 고차 조합은 목표나 외부 사전정보에 들어 있어야 나온다
불가능한 조합은 따로 막아야 한다	엔트로피를 키우는 성질이 막지 않은 칸을 채운다
시험장이 좁다	NPORS에서 만든 문제 다섯 개와 가상 인구 세 종류다. 저자도 현실 전반으로의 일반화는 입증하지 않았다고 적었다
주장 밖의 것	만든 명부를 실제 분석에 썼을 때의 쓸모, 개인 재식별 위험은 다루지 않았다
정수 합계	칸 수를 정확히 맞춰야 하면 뒤에 수선 단계를 더해야 한다(향후 과제)

Reble에 가져올 때의 한계도 따로 적어 둔다.

한계	무슨 뜻인가
사람의 답이 아니다	NPORS 변수의 분포를 다시 만든 시험이다. 정치 응답이나 의견 변화를 맞힌다는 근거는 아니다
상황이 다르다	논문은 개인 자료 없이 집계표만 있는 상황을 푼다. Reble은 인구총조사 마이크로데이터에서 출발한다(5장)
독립 재현이 없다	다른 연구진의 재현은 이번에 확인하지 못했다. 논문은 코드 저장소(커밋 4a0ef6d)를 언급하지만 주소는 본문에 없다
이해관계	두 저자는 이 연구가 시작된 회사 ImagineAllThePeople에 고용(Pachet) · 자문(Zucker)으로 얽혀 있다고 밝혔다. 첫 판의 방법 설명과 구현이 어긋난 것을 외부 연구자가 지적해 고쳤다(감사의 글)

5. Reble — 지금은 레이킹, 다음은 답의 조합을 채점한다

Reble은 현실 세계를 반영하는 동적 사회 시뮬레이션 엔진이다. 이 논문이 Reble에 던지는 질문은 둘이다. 지금의 보정 방법을 MaxEnt로 바꿔야 하는가. 그리고 비율이 맞으면 사람도 맞는다고 할 수 있는가. 이 장의 내용은 연구 중이다. 아래의 비교와 실험은 설계이고, 아직 돌리지 않았다.

집계표가 아니라 원자료에서 출발한다

논문이 푸는 것은 개인 자료 없이 집계표만 있는 상황이다. 저자도 개인 자료가 있으면 두 길을 합치는 것이 자연스럽다고 적었다. 개인 자료로 만든 모형이 출발점과 그럴듯한 조합의 범위를 주고, MaxEnt 층은 집계 목표를 맞추는 식이다.

Reble은 개인 자료가 있는 쪽이다. 794k는 통계청 2020년 인구총조사 2% 표본 마이크로데이터 85만 8,614건에서 다시 뽑은 통계적 시민 79만 4,000명이고, 지역 · 성별 · 연령 · 학력 · 직업 · 혼인의 조합은 집계표에서 지어낸 것이 아니라 실제 응답에 있던 그대로다. 인구총조사에 없는 정치 성향은 KOSSDA 학술조사 1만 1,476명의 응답으로 학습한 모형이 붙인다. 이 원천 위에서 Reble이 보정하는 곳은 세 군데다.

보정	무엇을 맞추나	논문의 구분으로 보면
794k 가중치	주민등록(2026년 3월)의 시도 × 성별 × 연령대 238칸 비율을 칸마다	표 전체가 238칸뿐이라 통째로 맞춘다. 1장의 「표 전체 IPF」가 되는 크기다
1만 명 설문 가중	정당 · 이념 · 성별 · 연령대 · 지역 · 학력 · 소득, 7개 축 각각의 비율(레이킹, 10월 21일부터)	변수 7개 · 1변수 목표 — 두 방법이 같은 정보를 맞추는 범위
층별 앵커	여론조사의 연령별 · 정당별 같은 교차표에 맞춰, 사람마다의 응답 확률을 차례로 조금씩 끌어당긴다	변수 6개 이하 · 2변수 교차 — 레이킹이 강한 기준선인 범위

셋 다 논문의 경험칙으로는 레이킹을 그대로 써도 되는 범위 안에 있다. 그래서 지금은 레이킹을 유지한다. 1만 명 가중에서 사람마다의 조합(누가 어떤 학력 · 직업 · 지역을 함께 가졌나)은 목표가 아니라 794k 원자료에서 온다. 레이킹은 사람을 새로 짓지 않고 가중치만 바꾸므로, 원천에 없던 조합이 생기지도 않는다.

MaxEnt를 견줘 볼 때

MaxEnt가 필요해지는 때는 보정 변수가 늘 때가 아니라, 겹치는 교차 목표가 늘 때다. 4장의 표처럼 비율만 더 얹어서는 관계가 새로 생기지 않는다. 보정할 변수를 늘릴 때 먼저 확보할 것은 비율의 개수가 아니라 믿을 만한 교차집단 자료다. 그런 자료로 794k에 주민등록 · 정치 성향 · 여론조사 층별 결과 같은 교차 목표를 한꺼번에 얹어 변수가 20개 안팎, 3변수 교차까지 가면 논문의 「상황에 따라 다르다」 범위에 들어간다. 그때 레이킹과 MaxEnt를 견준다. 견주는 방식은 이 논문에서 가져온다.

정할 것	원칙
채점	맞출 때 쓰지 않은 교차표로 잰다. 맞춘 목표의 오차만 보지 않는다
기준선	같은 크기의 진짜 사람 표본이 내는 차이. 이보다 크게 나쁘면 방법의 문제다
금지 목록	있을 수 없는 조합은 처음부터 0으로 막는다. 예: 794k를 시도 × 연령대 × 학력 476칸으로 나눴을 때 빈 칸 17개는 모두 「10대 · 대학원」이다
새 조합	사람을 새로 짓는 방법이면, 원천에 없던 조합이 몇 %인지도 함께 잰다

먼저 할 실험 — 평균은 같은데 사람이 다른가

이 논문은 명부의 인구 속성을 채점했다. 합성패널의 답에도 같은 함정이 있다. 문항마다의 찬반 비율이 사람과 같아도, 한 사람이 여러 문항에 답한 조합은 다를 수 있다. 비율을 맞추는 보정은 문항별 합계를 맞출 뿐, 조합까지 맞춘다는 보장이 없다. 그래서 MaxEnt 비교보다 이것을 먼저 잰다.

정할 것	설계
자료	한 사람이 여러 문항에 답한 사람 설문을 학습용과 검증용 응답자로 나눈다. 검증용 답은 생성에도 보정에도 쓰지 않는다
누설 막기	검증 응답자는 Reble 패널을 만들 때도 쓰이지 않은 사람이어야 한다. 정치 성향 모형을 학습한 KOSSDA 응답에서 고른다면, 처음부터 떼어 두고 모형을 다시 학습한다
비교 대상(같은 인원)	① 지금의 Reble 패널 ② 문항별 비율을 학습용 응답에 맞춰 보정한 Reble 패널 ③ 학습용 응답으로 맞춘 가우시안 코풀라 — 문항별 비율은 그대로 두고 문항 사이의 상관만 사람 응답에서 배워 가상 응답자를 뽑는 단순한 통계 모형
채점 1 · 비율	문항별 비율의 오차
채점 2 · 조합	주요 문항 쌍의 결합분포 오차. 이 논문이 맞출 때 쓰지 않은 교차표로 채점한 것과 같은 방식이다
기준선	서로 다른 사람 표본 둘 사이의 거리. 합성패널이 이보다 크게 벗어나면 표본의 우연이 아니라 패널의 문제다

확인할 질문은 하나다. 비율 보정이 사람의 의견 조합까지 좋게 하는가, 아니면 겉의 평균만 좋게 하는가. ②가 ①보다 채점 1은 좋아지는데 채점 2가 그대로라면 뒤의 경우다. ③과 견주면, 문항 사이의 상관만 아는 단순한 모형보다 Reble의 답이 나은지도 드러난다.

이 검사를 먼저 하는 까닭은 순서에 있다. 패널의 답 조합이 사람과 얼마나 다른지를 먼저 재 두어야, 다음 사건 반응 실험에서 틀린 것이 패널 자체의 왜곡인지 사건 반응 모형의 오류인지 나눠 볼 수 있다.

---

한 줄 결론. 겹치는 교차 목표가 많을수록 모든 목표를 한 번에 맞추는 MaxEnt가 레이킹보다 정확했지만, 변수가 적거나 비율만 줄 때는 차이가 없었다. 원자료에서 출발하는 Reble의 보정은 아직 레이킹으로 충분한 범위에 있고, Reble은 그보다 먼저 「비율이 맞으면 답의 조합도 맞는가」를 사람 응답으로 채점하려 한다. Reble 쪽 내용은 연구 중인 설계다.

더 읽기 → 희소 교차집단 보정: 유연한 모형도 동일한 평가 가중치로 비교해야 한다 · 뉴스로 합성 유권자의 의견을 움직여도, 변화량은 과대 추정될 수 있다 · 논문 원문 (Frontiers)