뉴스로 합성 유권자의 의견을 움직여도, 변화량은 과대 추정될 수 있다

10월 15일, 암스테르담대·옥스퍼드대 연구진이 AI로 만든 가상 유권자 4,000명에게 사건 기억과 그 주의 뉴스를 넣어 미국 하원 선거 여론조사를 재현한 논문을 공개했다. Reble도 지금 뉴스 한 건이 합성 시민의 답을 누구에게서, 어느 쪽으로, 얼마나 움직이는지 재는 뉴스 반응함수를 연구하고 있어서, 이 논문은 같은 길에서 먼저 부딪힌 함정을 숫자로 보여 주는 기록이다. 읽고 나면 「방향이 맞았다」만으로는 왜 부족한지, 그리고 반응함수를 무엇으로 채점해야 하는지 알게 된다.

항목	내용
논문	Polling Without People: Can Silicon Samples of CASM-Inspired LLM Personae Mimic Human Respondents in Pre-Election Polling? · PDF 원문
저자	Danielius Jonaitis 외 7명 — 암스테르담대, 옥스퍼드대 너필드 칼리지
게재	PS: Political Science & Politics — 동료심사를 거쳐 채택된 원고, 2026년 10월 15일 온라인 공개1
한 줄	방향은 맞았다(민주당 우세). 크기는 부풀었다(+18.7%p 대 여론조사 평균 +8.7%p)

1. 기억이 멈춘 AI에게 신문을 쥐여 주었다

사람 대신 AI에게 설문을 묻는 연구를 실리콘 샘플링이라고 부른다. 전화를 거는 대신 AI에게 「당신은 어느 선거구에 사는 몇 살의 누구이고, 2024년에는 누구를 찍었다」는 역할을 주고 질문을 던진다. 싸고 빠르고, 원하는 인구 구성대로 표본을 뽑을 수 있다.

걸림돌은 기억이다. AI의 지식은 학습을 마친 날에 멈춰 있다. 이 연구가 쓴 공개 모델(gpt-oss-120B)의 기억은 2024년 6월에서 끝난다. 2026년 9월의 민심을 물으면 2년 전 세상의 답을 한다.

연구진은 이 공백을 메우려고 사람이 설문에 답하는 과정을 흉내 냈다. 설문방법론의 인지 이론(CASM)에 따르면 사람은 질문을 받으면 ① 질문의 뜻을 해석하고 ② 판단을 만들고 ③ 그 판단을 보기 중 하나로 옮긴다. 판단을 만드는 길은 둘이다. 이미 가진 생각을 꺼내거나(인출), 그 자리에서 떠오른 정보로 새로 짓거나(구성). 그래서 가상 유권자 한 명에게 네 가지 재료가 들어갔다.

재료	무엇인가	어디서 왔나
인구 조건	하원 선거구 · 성별 · 연령 · 인종 · 학력 · 2024년 투표	미국 유권자 인구표에서 무작위 추출
개인 전기	같은 조건이라도 서로 다른 삶의 이력	AI가 한 사람씩 생성
사건 기억	2024년 6월 이후 이 사람에게 의미 있을 전국·주 단위 사건	위키백과 사건 기록을 검색해 넣음
뉴스 식단	이 사람이 볼 법한 언론사와, 무작위로 정한 한 주 읽기 분량	미국선거연구(ANES) 2024 매체 목록 → 세계 뉴스 데이터베이스(GDELT)에서 기사 표집 → 이 사람에 맞춰 요약

그리고 동전을 던졌다. 한 명마다 무작위로 「뉴스를 읽고 판단을 새로 짓는 사람(구성)」과 「뉴스 없이 가진 생각을 꺼내는 사람(인출)」으로 나눴다. 사건 기억은 둘 다 갖고, 뉴스를 읽는지만 다르다. 이 무작위 배정 덕분에 뉴스 한 단계가 답을 얼마나 바꾸는지를 따로 떼어 볼 수 있다.

만드는 과정에서 나온 발견도 하나 있다. 투표 여부와 후보 선택을 한 흐름에서 물으면, 가상 유권자들은 두 정당의 장단점을 길게 따진 끝에 거의 모두 「투표하겠다」고 답했다. 정당 이야기가 참여 의사까지 끌어올린 것이다. 연구진은 두 질문을 같은 사람·같은 뉴스로, 그러나 서로의 생각이 섞이지 않게 처음부터 따로 묻는 것으로 이 문제를 피했다.

규모는 4,000명, 시점은 2026년 8월 31일~9월 6일 한 주다. 4,000명의 답에서 「어떤 조건의 사람이 어떻게 답하는가」를 배운 뒤, 미국 유권자 전체를 152만 8,896개 칸으로 나눈 인구표에 그 규칙을 입혀 다시 더한다. 이 방법이 MRP(다층 회귀와 사후층화)다. 칸마다 150번씩 모의 추첨해 불확실성 구간도 낸다.

2. 방향은 맞았고, 크기는 두 배였다

결과는 민주당 우세였다. 2024년 이후 공화당에 불리해진 분위기를 가상 유권자들이 읽어 낸 것이다. 문제는 크기다.

항목	가상 유권자 (95% 구간)	여론조사 평균	차이
민주당	58.4% (56.4~60.1)	50.7%	+7.7
공화당	39.8% (38.2~41.6)	42.0%	−2.2
기타·미정	1.7% (1.2~2.6)	7.3%	−5.6
민주 우세 폭	+18.7%p (15.0~21.8)	+8.7%p	+10.0
투표율	62.8% (59.9~66.5)	64.3% (2024년 실제)	−1.5

우세 폭은 여론조사 평균의 두 배를 넘었다. 하원 의석으로 옮기면 민주당 292석(266~307), 공화당 143석(128~169)으로, 여론조사 평균이 그리는 그림보다 훨씬 일방적이다. 투표율은 비교 기준인 2024년 실제 투표율과 1.5%p 차이였다.

더 많은 것을 말해 주는 것은 출발점과의 비교다. 연구진은 같은 표본을 네 가지 조건으로 나눠 견줬다.

• 인구 조건만 준 AI는 우세 폭을 거의 0으로 그렸다. 학습이 끝난 2024년 6월 무렵의 팽팽한 세계 그대로다.
• 여기에 전기·사건 기억·뉴스·단계별 판단을 넣자 바늘이 민주당 쪽으로 움직였다. 방향은 맞다.
• 그런데 바늘은 여론조사 평균 +8.7에서 멈추지 않고 +18.7까지 갔다. 과녁을 10%p 지나쳤다. 이 글의 제목이 말하는 「변화량의 과대 추정」이 이것이다.

뉴스는 얼마나 밀었을까. 무작위로 나뉜 두 집단을 견주면, 뉴스를 읽고 판단을 지은 집단(1,936명)이 가진 생각을 꺼낸 집단(2,008명)보다 민주당 쪽으로 약 4.5%p 더 갔다. 그 주의 뉴스가 공화당에 불리했으니 이론이 예상한 방향이다. 다만 구간이 매우 넓어서 통계적으로 확실하다고 말할 수는 없다고 연구진은 적었다.

놓치기 쉬운 점이 하나 있다. 뉴스를 읽지 않은 집단도 이미 +16 안팎으로 과녁을 넘었다. 과대 추정은 뉴스 한 단계만의 문제가 아니라 전기·사건 기억·단계별 판단을 거친 파이프라인 전체에서 이미 시작된다. 뉴스는 이미 지나친 바늘을 조금 더 민 셈이다.

435개 지역구로 내려가도 같은 모양이다. 2024년 지역구 결과에 같은 주 여론조사가 가리키는 변동(민주당 쪽 11.3%p)을 똑같이 더한 「균일 변동」 예측과 견주면, 지역구 순서는 거의 같고(순위 상관 0.98) 승자도 93.6% 일치한다. 하지만 지역구 우세 폭은 평균 7.3%p 민주당 쪽으로 쏠렸고, 95% 구간이 비교값을 품은 지역구는 8.3%뿐이었다. 구간이 지나치게 좁다는 뜻이다. 강세 지역은 더 강해지고 경합 지역은 덜 움직이는 버릇도 보였다.

3. 왜 부풀었나 — 연구진이 스스로 적은 한계

이 논문의 미덕은 한계를 숨기지 않는다는 점이다. 숫자를 읽기 전에 알아야 할 다섯 가지를 연구진 스스로 적었다.

한계	무슨 뜻인가	숫자에 미치는 영향
① 「미정」 보기가 없다	투표하겠다고 한 가상 유권자는 반드시 후보를 골라야 했다. 여론조사 평균의 「기타」 7.3%에는 미정층이 들어 있다	망설이던 사람까지 한쪽에 배정돼 우세 폭이 부풀 수 있다
② 질문이 다르다	가상 유권자에게는 지역구 실제 후보 이름으로, 비교 기준은 정당만 묻는 투표 의향으로 물었다	엄밀히는 같은 숫자의 비교가 아니다
③ 사람 실험과 대조하지 않았다	뉴스 효과 4.5%p는 가상 유권자끼리의 비교다. 같은 뉴스를 사람에게 보여 준 실험과 견준 적이 없다	뉴스 효과의 크기가 사람과 같은지 알 수 없다
④ 지역 비교는 독립 검증이 아니다	2024년 결과가 가상 유권자 프로필·인구표 보정·MRP 예측 변수에 들어가고, 비교 기준도 2024년 결과를 다시 쓴다	상관 0.98은 설계상 어느 정도 예정된 값이다. 연구진도 「타당성 점검」이라고만 부른다
⑤ 한 장면만 찍었다	한 주, 한 차수다. 같은 사람이 시간에 따라 어떻게 바뀌는지는 검증하지 않았다	누가 어디서 어디로 옮겼는지, 개인 단위의 변화를 말할 수 없다

①은 표의 흐름에서도 보인다. 2024년에 투표하지 않은 가상 유권자들은 2026년에 민주당으로 크게 쏠렸다. 「미정」 보기가 있었다면 그 자리에 머물렀을 법한 사람들이다. 반대로 2024년에 투표했다가 이번에는 안 하겠다는 사람은 양당에 고르게 나뉘어 이 쏠림을 상쇄하지 못했다. 연구진은 일부 응답자에게만 무작위로 「미정」 보기를 주는 후속 실험을 제안했다.

두 가지가 더 있다. 연구진은 구간이 지나치게 좁다는 점을 인정하며 「단기적으로 쉬운 해법이 보이지 않는다」고 적었다. AI 응답이 실제 사람보다 덜 퍼지는 현상은 이전 연구들에서도 반복해서 보고됐다. 또 이 시험장 자체가 AI에게 유리한 편이라고 덧붙였다. 영어로 된, 자료가 넘치는 미국 선거라서다. 한국어로 한국 정치를 다루는 일은 그보다 불리한 조건에서 시작한다. 연구진은 같은 방식으로 선거 직전까지 매주 추정을 내고 있다고 밝혔고, 11월 3일 하원 선거가 이 방법의 실전 채점이 된다.

4. Reble도 같은 질문을 풀고 있다 — 뉴스 반응함수

Reble은 현실 세계를 반영하는 동적 사회 시뮬레이션 엔진이다. 엔진을 한 줄로 쓰면 결과 = f(패널 × 실체 × 맥락 | 관계)이고, 여기서 맥락이 시점·분위기·뉴스 흐름이다. 지금 Reble의 합성 시민은 실제 여론조사로 보정된 확률로 답한다. 다음 단계는 그 확률이 사건에 반응해 움직이게 하는 것이다. 뉴스 한 건이 들어왔을 때 누구의 답이, 어느 쪽으로, 얼마나, 얼마 동안 움직이는가. 이것을 함수 하나로 적은 것이 Reble이 연구하고 있는 뉴스 반응함수다.

이 논문과 Reble은 뼈대가 닮았다. 개인 단위의 응답자가 있고, 날마다 자극(뉴스)이 들어오고, 그 답을 모아 전체 여론을 낸다. 다른 점은 움직임의 크기를 누가 정하느냐다. Reble은 이 일을 두 층으로 나눠 연구하고 있다.

개인 층 — AI는 확률만 매기고, 주사위는 고정한다

9월 초부터 Reble 합성패널의 설문 응답은 「반응함수 v2」로 만든다. AI가 답을 직접 고르지 않는다. 이 사람이 각 보기를 고를 확률표만 매기고, 실제 답은 주사위로 뽑는다. 주사위의 씨앗은 사람과 문항마다 고정돼 있다.

답    p^(1/T) 에 비례하는 주사위로 추첨
      p = AI가 매긴 확률표
      T = 온도(기본 1.0)
씨앗  해시(실험 씨앗 : 패널 ID : 문항 번호)
      같은 사람·같은 확률표 → 언제나 같은 답

이 고정이 중요한 이유는 하나다. 자극 하나만 바꿔 다시 물었을 때 달라진 답은 주사위 탓이 아니라 자극 탓이 된다. 주사위를 매번 새로 던지면 확률표가 같아도 답이 바뀌어 효과와 우연이 섞인다. 보정할 자료가 있는 주제에서는 AI가 매긴 확률표를 그 사람이 속한 칸의 실측 자료 쪽으로 한 번 더 당긴다.

호르무즈 파병 문안 실험이 이 구조 위에서 돌았다. 같은 1,000명에게 세 문안으로 물었고, 같은 사람을 추적했기에 누가 어디서 어디로 갔는지를 셀 수 있었다. 결과는 「움직인 것은 유보층뿐」이었다. 「잘 모르겠다」 230명 중 48%가 답을 바꿨고, 바꾼 사람은 약 6 대 1로 반대 쪽으로 갔다. 이 논문이 재지 못한 두 가지, 미정층의 움직임과 개인 전환행렬이 바로 이것이다.

다만 같은 잣대를 Reble에도 대야 한다. 호르무즈 실험의 −12.2%p도 이 논문의 4.5%p와 같은 한계를 갖는다. 합성패널 안의 차이일 뿐, 같은 문안을 사람에게 보여 준 실험과 대조한 적은 아직 없다. 방향과 구조는 보여 주지만 크기는 아직 검증되지 않은 숫자다.

집단 층 — 크기는 실제 여론이 움직인 만큼만

개인 층이 반응의 모양(누가, 어느 쪽으로)을 준다면, 공개 숫자에 들어갈 크기는 실제 여론조사가 정해야 한다. Reble의 여론 추적은 쏟아지는 여론조사를 칼만 필터로 묶어 매일의 여론 상태 θ를 추정한다. 지금은 하루하루의 변화를 설명되지 않는 잡음으로 둔다. 연구 중인 반응함수는 그 잡음 가운데 뉴스로 설명되는 몫을 떼어 내는 일이다.

θ(t) = θ(t−1) + f(자극(t); β) + η′(t)

θ(t−1)      어제의 여론
f(자극; β)  뉴스가 민 몫 (β = 반응 계수)
η′(t)       여전히 설명되지 않는 잡음

자극으로 쓸 자료는 이미 있다. 이슈메이커가 유튜브 정치·시사 채널의 영상과 발언을 발언자 성향·논조와 함께 날마다 모은다.

처음 세운 설계는 이념 3 × 연령대 7 = 21개 집단마다 반응 계수를 따로 두는 것이었다. 이 설계는 버렸다. 이유는 산수다. 반응 계수를 배우는 재료는 여론조사 건수가 아니라 서로 독립인 시점의 수다. 같은 주에 나온 여론조사 열 건은 하나의 여론 흐름을 열 번 잰 것이지 열 개의 관측이 아니다. 7월 말 점검 때 쓸 수 있는 독립 시점은 약 12주였다. 계수 21개를 점 12개로 풀면 답이 하나로 정해지지 않는다. 계수 하나에 관측 10개라는 어림을 쓰면 200주, 4년 치가 필요하다.

그래서 연구 설계는 전체에 공통인 계수 3~5개로 시작하고, 데이터가 쌓일 때까지 이 계수는 사후 진단에만 쓰고 공개 예측에는 넣지 않는다. 이 논문의 가상 유권자는 뉴스를 읽고 스스로 정한 크기를 그대로 결과에 실었고, 그 크기가 과녁을 지나쳤다. Reble은 공개 숫자에 들어갈 크기를 AI에게 맡기지 않는다. 실제 여론이 움직인 폭에서 배우고, 검증을 통과하기 전에는 싣지 않는다.

5. 그래서 반응함수는 이렇게 채점한다

이 논문에서 Reble이 가져가는 가설은 하나다. 사건 입력의 쓸모는 방향이 맞았는지만으로 판단하지 말고, 변화량 오차·미정층 처리·개인 전환행렬까지 재야 한다. 반응함수의 채점표로 옮기면 이렇다.

채점 항목	묻는 것	이 논문에서는	Reble 반응함수가 볼 것
방향	움직인 쪽이 맞나	맞음 (민주당 쪽)	출발 조건일 뿐, 합격선이 아니다
변화량 오차	움직인 크기가 실제와 얼마나 다른가	우세 폭 +18.7 대 +8.7, 10%p 초과	사건 전후 실제 조사의 변화폭과 %p 단위로 대조
미정층 처리	「모르겠다」를 어떻게 다루나	보기 없음, 전원 배정	유보를 확률로 남기고, 투표지로 옮기는 규칙을 따로 검증
개인 전환행렬	누가 어디서 어디로 갔나	재지 않음 (한 차수)	같은 사람을 추적해 칸마다 센다 (유보→반대, 찬성→반대)
구간	불확실성이 정직한가	비교값을 품은 지역구 8.3%	95% 구간이 실제 값을 95% 품는지 채점

Reble의 합성 시민은 이미 유보를 하나의 답으로 남긴다. 합성패널 해설에서 본 대구·경북 보수층의 당대표 질문 「유보 47%」가 그 예다. 투표지에는 유보 칸이 없어서 지금은 유보 확률을 나머지 후보에게 비례로 나눈다. 그런데 이 논문의 가상 유권자에서는 미정이었을 법한 사람들이 한쪽으로 크게 쏠렸다. 비례 배분도 하나의 가정이고, 채점 대상이다.

마지막 관문은 사람이다. 합성패널끼리의 비교로는 크기가 맞는지 알 수 없다. 이 논문의 4.5%p도, 호르무즈의 12.2%p도 그렇다. 반응함수가 공개 숫자에 들어가려면 같은 사건 앞뒤의 실제 조사와 견줘 크기가 맞는다는 것을 먼저 보여야 한다.

---

한 줄 결론. 뉴스로 합성 유권자를 움직이는 일은 방향까지는 된다. 크기는 아직 사람에게 채점받지 않았다. 그래서 Reble은 반응함수를 방향이 아니라 크기·미정층·개인 전환으로 채점한다.

더 읽기 → 같은 정책, 다른 질문 — 호르무즈 파병 문안 실험 · 논문 원문 · 연구진 공개 자료 (Harvard Dataverse)