문항별 신뢰도: 오차는 작아도 결정은 틀릴 수 있다 (연구중)

사람과 집단의 행동을 시뮬레이션하는 회사 Simile는 8월 25일 기술 블로그 글에서, 답을 낼 때마다 그 답이 얼마나 틀렸을지를 함께 예측하는 모델을 만들어 약 8,600문항으로 채점한 결과를 공개했다. Reble도 합성패널에 새 문항을 자유롭게 물을 수 있게 되면서, 「이 답을 얼마나 믿어도 되는가」를 문항마다 말해야 할 때가 왔다. 읽고 나면 오차를 미리 맞히는 방법이 어디까지 되는지, 같은 잣대를 Reble의 선거 · 여론 자료에 대면 무슨 일이 생기는지, Reble이 무엇부터 재려 하는지 알게 된다.

항목	내용
글	Building confidence in Simile
저자	Andrew Wesel · Sarah Chen · Percy Liang — Simile
성격	회사 기술 블로그 글. 동료심사를 거친 논문이 아니고, 평가 문항과 코드는 글에 공개되지 않았다1
한 줄	시뮬레이션 모델을 더 학습시켜 자기 오차를 예측하게 하자 실제 오차와의 상관이 0.565까지 올랐다. 신뢰도 High 등급은 95%, Low 등급은 38%가 결정 기준을 충족했다

1. 평균 점수로는 어느 문항이 틀렸는지 모른다

평균 90점인 학생의 답안지에도 틀린 문항은 있다. 채점표가 오기 전에 학생이 문항마다 「확실함」 「찍음」을 표시해 둘 수 있다면 답안지의 쓸모가 달라진다. 시뮬레이션도 같다. 평균 성적이 좋아도 눈앞의 문항이 그 평균 안에 드는지는 알 수 없다.

Simile의 모델은 집단 · 상황 · 고를 수 있는 행동을 글로 받아 행동별 확률분포를 낸다. 식료품점과 배달 앱의 거래 자료, 음성 인터뷰, 설문으로 학습했다. 글의 예는 「플로리다 주민이 배달 앱에서 주문한 뒤 팁을 남길까」다. 모델은 93.4%라고 답했고, 같은 집단의 거래 자료에서는 87.3%였다. 두 분포의 차이는 총변동거리(TVD)로 잰다.

TVD(P, Q) = ½ × Σ | P_i − Q_i |          i = 답지

모델   남긴다 93.4   안 남긴다  6.6
실제   남긴다 87.3   안 남긴다 12.7
TVD  ≈ ½ × (6.1 + 6.1) ÷ 100 ≈ 0.06

0이면 두 분포가 같고 1이면 전혀 겹치지 않는다. 두 분포를 같게 만들려면 응답자의 몇 %가 다른 답으로 옮겨야 하는가로 읽어도 된다. TVD 0.06이면 6%다.

TVD를 계산하려면 정답이 있어야 하는데, 답을 내는 시점에는 정답이 없다. 그래서 Simile는 문항마다 오차를 예측하는 둘째 모델, 신뢰도 모델을 따로 학습시켰다.

2. 오차를 맞히는 방법 다섯 가지

시험장은 시뮬레이션 모델과 신뢰도 모델 학습에 모두 쓰지 않은 약 8,600문항이다. 저자는 실제 쓰이는 질문과 대체로 비슷하다고 적었다. 5겹 교차검증으로 모든 문항을 그 문항을 본 적 없는 모델이 채점했고, 같은 문항과 같은 실험의 표본은 늘 같은 겹에 묶었다. 실험은 주제별로 묶이는 경향이 있어 꽤 엄격한 분할이다.

잣대는 셋이다. AUROC는 TVD 0.16 미만인 문항과 이상인 문항을 하나씩 줬을 때 어느 쪽이 나은지 맞히는 능력이다(동전 던지기 0.5). RMSE는 오차 예측이 평균적으로 빗나간 크기, 상관은 예측 오차와 실제 오차가 함께 움직이는 정도다.

방법	무엇으로 오차를 맞히나	AUROC	RMSE	상관
1. 기본 특성	답지 수, 예측 분포의 엔트로피 · 최댓값 · 첨도, 문항 길이, 1 · 2위 차를 회귀	0.566	0.0992	0.122
2. 범용 임베딩	문항 글의 임베딩을 회귀	0.686	0.0843	0.446
3. 프로빙	답을 낼 때 시뮬레이션 모델 안에 생긴 은닉 상태를 회귀	0.730	0.0792	0.538
4. 계속 미세조정(CFT)	시뮬레이션 모델의 마지막 층을 오차 예측으로 바꿔 더 학습	0.736	0.0776	0.565
5. 범용 모델 미세조정	시뮬레이션 학습을 거치지 않은 Qwen3.5-27B를 같은 일에 학습	0.720	0.0790	0.538

세 가지가 읽힌다. 첫째, 답의 겉모양에는 신호가 거의 없다. 답이 얼마나 쏠렸는지, 1 · 2위가 얼마나 벌어졌는지를 모두 넣어도 상관이 0.12다. 또렷한 답이 맞는 답은 아니다. 둘째, 주제가 큰 몫을 한다. 문항 글만 봐도 AUROC가 0.69까지 오른다. 저자는 학습 자료가 주제마다 많고 적어서일 수 있다고 짐작했다. 셋째, 모델 안쪽이 조금 더 안다. 프로빙은 답을 낼 때 이미 계산한 값을 쓰므로 호출이 늘지 않는다. CFT는 RMSE와 상관에서 프로빙을 앞섰지만 AUROC 차이는 통계적으로 유의하지 않았다. 저자는 방법 5가 CFT보다 낮은 것을, 시뮬레이션 학습이 불확실성에 쓸모 있는 표현을 만든다는 가설과 맞는다고 해석했다.

3. 오차 예측을 등급으로 바꾸다

오차 예측값 하나로는 쓰는 사람이 판단하기 어렵다. Simile는 먼저 「결정에 쓸 만한 시뮬레이션」을 정했다. 팀원 14명이 두 분포가 같은 결론으로 이끄는지 약 2,750건을 평가했고, 좋음과 나쁨을 가장 잘 가르는(F1 0.856) TVD 0.16을 문턱으로 잡았다. 여러 명이 함께 평가한 410문항의 평가자 일치도(Fleiss κ)는 0.75다. 그다음 예측 오차를 네 등급으로 나눴다.

등급	TVD 0.16 안에 든 비율
High	95%
Moderately High	81%
Medium	63%
Low	38%

플로리다 문항은 예측 오차 0.054로 High였고 실제 오차는 0.062였다. 예측 오차로 문항을 10등분하면 가장 낮은 구간의 평균 실제 오차는 0.101, 가장 높은 구간은 0.278이다. 구간마다 평균 예측값과 평균 실제값도 가깝다(0.093 · 0.101, 0.289 · 0.278. 등급 비율과 10등분 값은 글의 그림에서 옮겼다).

4. 함정과 한계 — 등급은 보장이 아니다

상관 0.565는 실제 오차 변동의 약 3분의 1(0.565² = 0.32)을 설명한다. 가장 좋은 방법의 RMSE 0.0776은 문턱 0.16의 절반 크기다. 글은 문항별 신뢰도로 결정에 쓸 만함을 보장할 수 있다고 맺지만(guarantee), 실측이 말하는 것은 등급별 확률이다. 열 구간의 평균 실제 오차를 다시 평균하면 약 0.16으로 문턱과 비슷하다. 보통 문항이 문턱 근처에 있다는 뜻이다.

한계	무슨 뜻인가
문턱이 잠정이다	회사 내부 평가자 14명의 판단에서 나왔다. 저자도 외부 평가자와 더 다양한 평가 세트로 바뀔 수 있다고 적었다
등급 경계를 평가 세트에 맞췄다	95% · 38%를 별도 자료로 다시 쟀는지는 글에 없다
등급별 문항 수가 없다	그림의 오차 막대는 High만 −5 · +3%p로 다른 등급(±1.5~2%p)보다 넓다. High에 드는 문항이 적다는 신호일 수 있지만 글만으로는 알 수 없다
사람 자료가 있는 문항만 시험했다	정답 자료를 구하기 어려운 문항에서도 같은 성적이 나온다는 근거는 아니다(Reble의 해석)
독립 재현이 없다	평가 문항과 코드가 글에 없고, 다른 연구진의 재현은 이번에 확인하지 못했다

Reble에 가져올 때의 한계도 따로 적어 둔다.

한계	무슨 뜻인가
정답의 성격이 다르다	글의 예시 문항은 거래 자료를 정답으로 썼다. Reble의 정답은 대개 여론조사이고, 조사끼리도 벌어진다(5-2)
모델 안쪽을 쓸 수 없다	방법 3~5는 모델 내부에 손을 대야 한다. Reble의 합성패널 응답은 상용 LLM API로 받으므로 지금 구조에서는 쓸 수 없다
문턱이 다른 세계의 값이다	0.16은 Simile 제품 질문에서 정한 값이다. 접전 승부에는 맞지 않는다(5-1)

5. Reble — 오차를 결정의 여유와 견주다

Reble은 현실 세계를 반영하는 동적 사회 시뮬레이션 엔진이다. 이 글이 Reble에 던지는 질문은 둘이다. Simile의 잣대를 그대로 써도 되는가. 그리고 Reble이 지금 내는 불확실성 값은 실제 오차를 얼마나 미리 아는가. 5-1~5-4의 숫자는 2026년 11월 2일 공표 조사와 Reble 원장에서 직접 셌고, 5-5는 아직 돌리지 않은 설계다. 문항별 신뢰도 모델은 아직 Reble에 없다.

5-1. 같은 오차도 승부에 따라 크기가 다르다

TVD와 결정을 잇는 식은 간단하다.

뒤집힘 여유 = (1위 − 2위) ÷ 2
            = 1위가 바뀌는 데 필요한 가장 작은 TVD

팁 문항   87.3 대 12.7  →  여유 0.37
접전 승부 52   대 48    →  여유 0.02

팁 문항에서 오차 0.06은 결론을 바꾸지 못한다. 52 대 48 승부에서는 0.02를 넘는 오차가 결론을 바꿀 수 있다. 양자 구도에서 TVD 0.16은 득표율 16%p, 격차 32%p가 빗나가도 통과한다는 뜻이다. 저자도 신뢰도 틀은 다른 오차 지표로 일반화할 수 있고 품질 기준은 쓰는 사람마다 다를 수 있다고 적었다. Reble이 다루는 결정에는 다른 기준이 필요하다.

Reble이 실제로 하는 일부터 대 보자. 9월 5일 아침, 합성패널 1만 명 판에서 뽑은 1,000명에게 호르무즈 해협 파병을 세 문안으로 물었다. 9월 7~9일에는 NBS 전국지표조사가 사람 1,002명에게 같은 쟁점을 물었다². 패널의 답은 사람 조사가 시작되기 전에 기록돼 있었다.

	NBS 사람	패널 맨 질문	패널 논거만	패널 논거 + 숫자
찬성	36	35.1	33.1	34.6
반대	45	38.6	48.5	46.5
모름	19	26.3	18.4	18.9
TVD	—	0.073	0.035	0.015
뒤집힘 여유	0.045	0.018	0.077	0.060

세 문안 모두 TVD가 0.16의 절반에도 못 미쳤고 1위도 NBS와 같은 반대였다. Simile의 잣대로는 모두 통과다. 그런데 맨 질문에서 패널이 낸 찬반 격차는 3.5%p, 여유는 0.018로 오차 0.073보다 작았다. 1위가 맞은 것은 운이었다고 봐야 한다. 논거를 넣은 두 문안은 여유가 오차보다 컸다. 다만 NBS 문항은 「해상초계기, 군수지원함 등을 파병하는 방안을 검토」라는 전제를 깔고 물어서 세 문안 어느 것과도 같지 않다. 결과를 본 뒤 가장 가까운 문안을 골라 「맞혔다」고 할 수는 없어 셋을 모두 적었다. 문안만 바꿔도 사람 조사와의 거리가 약 다섯 배 달라진다는 점은 5-4에서 다시 쓴다.

운이 늘 따르지는 않는다. 6 · 3 채점표에서는 TVD를 계산할 수 있는 11곳이 모두 0.16 아래였고(평택을은 실제 당선자의 시뮬레이션 값이 표에 없어 뺐다), 그 가운데 세 곳은 당선자가 틀렸다. 정답이 개표 결과라 조사 오차도 섞이지 않는다. 이때의 시뮬레이션은 여론조사 통합 모형으로 Simile의 모델과 구조가 다르다. 여기서 보는 것은 모형이 아니라 잣대다.

선거구	시뮬레이션	실제	TVD	뒤집힘 여유	당선자
경남지사	김경수 50.2 · 박완수 49.8	박완수 51.4 · 김경수 48.6	0.016	0.002	틀림
서울시장	정원오 53.1 · 오세훈 46.9	오세훈 48.9 · 정원오 48.3	0.048	0.031	틀림
전북지사	김관영 47.3 · 이원택 41.6	이원택 약 50.9 · 김관영 약 44.6	0.093	0.029	틀림
부산 북구갑	한동훈 36.2 · 하정우 36.0	한동훈 약 44.7 · 하정우 약 43.0	약 0.155	0.001	맞음

1 · 2위 밖의 후보는 「기타」 한 칸으로 묶어 셌다. 11곳 가운데 오차가 가장 작은 경남은 틀렸고, 오차가 가장 큰 북구갑은 맞았다. 북구갑은 지난 채점에서 사실상 운이었다고 적은 곳이다. 틀린 세 곳은 모두 오차가 여유를 넘었다(넘고도 맞은 곳은 북구갑 · 대구 · 울산이다).

여유만으로도 할 수 있는 말이 있다. 다음 절에서 재는 같은 방식 사람 조사 쌍의 거리 0.037보다 여유가 작은 곳에 「판단 불가」를 붙인다고 하자. 평택을까지 12곳 가운데 6곳(서울 · 대구 · 경남 · 전북 · 북구갑 · 평택을)이 판단 불가가 되고 여기서 적중은 2곳이다. 나머지 6곳(부산 · 울산 · 경기 · 인천 · 충남 · 세종)은 모두 맞았다. 결과를 안 뒤의 계산이고 0.037은 전국 국정 평가에서 잰 값이어서 입증은 아니다. 정당 지지의 0.078로 잡으면 판단 가능은 경기 · 세종 두 곳뿐이다. 그래도 「8곳 적중」 한 줄보다 「6곳은 판단 가능, 6곳은 판단 불가」가 결정에 더 쓸모 있다.

5-2. 사람 조사끼리도 이만큼 벌어진다

Reble의 정답은 대개 다른 여론조사다. 정답 쪽에도 흔들림이 있다. Reble이 추적하는 공표 조사 193건 · 20개 기관(5월 29일~10월 29일)에서, 조사 종료일이 3일 이내인 서로 다른 기관의 쌍을 모두 골라 TVD를 쟀다.

문항	조사 방식	쌍	TVD 중앙값	10~90% 범위	0.16 넘는 쌍	1위가 갈린 쌍
대통령 국정 평가	ARS끼리	299	0.037	0.013~0.075	0%	17%
대통령 국정 평가	ARS ↔ 전화면접	225	0.112	0.074~0.165	13%	33%
정당 지지	ARS끼리	408	0.078	0.038~0.137	3%	32%
정당 지지	ARS ↔ 전화면접	274	0.147	0.062~0.229	45%	37%

정당 지지를 같은 주에 ARS와 전화면접으로 물으면 TVD 중앙값이 0.147로 Simile의 문턱에 거의 닿고, 쌍의 45%는 문턱을 넘는다. 「지지 정당 없음」의 차이가 큰 몫이다(10월 3주 NBS 29%, 리얼미터 11.2%). 시뮬레이션과 조사의 거리가 이 범위 안이면 그 차이를 시뮬레이션의 오차라고 부르기 어렵다. 오차 모델이 배울 정답값에도 그만큼 잡음이 들어 있다. 당대표 채점에서 본 것처럼 조사 자체가 실측과 어긋나기도 한다.

5-3. 이미 내는 불확실성 값은 얼마나 아는가

T+7 여론 추적은 주제별로 7일 뒤의 값과 그 분산을 낸다. 이 분산을 오차 예측값으로 읽으면 Simile와 같은 시험을 해 볼 수 있다. 공개 페이지의 백테스트 코드를 그대로 돌려 네 주제의 MAE가 공개 채점표와 일치하는 것을 확인한 뒤, 371개 시점에서 두 값을 견줬다(10월 27일 빌드, 기관 · 방식 보정 끔, 실제 값은 대상일 ±1일 조사의 표본 가중 평균).

기대 TVD = ½ × Σ √(2 · V_c / π)     V_c = 답지 c의 7일 뒤 예측 분산
실제 TVD = ½ × Σ | μ_c − 실제_c |

주제	시점	실제 TVD 중앙값	10~90% 범위	기대 TVD 평균	상관	1위 적중
대통령 국정 평가	130	0.034	0.013~0.072	0.030	0.27	81%
정당 지지	134	0.048	0.025~0.074	0.032	0.27	78%
민주당 당대표	33	0.084	0.032~0.178	0.044	0.51	73%
차기 대선주자	74	0.105	0.075~0.223	0.063	0.52	60%

네 주제를 묶으면 상관은 0.73이다. 그런데 어느 주제인지만 알아도 0.67이 나온다. 주제 차이를 뺀 안쪽 상관은 0.42(95% 범위 0.28~0.57, 주 단위 재표집)다. 실제 TVD 0.05 미만인 시점을 가려내는 AUROC는 모델 분산 0.79, 주제만 아는 기준선 0.80으로 이 문턱에서는 분산의 몫이 없었고, 0.10 미만에서는 0.91 대 0.88이었다. 어떤 주제가 어려운지는 잘 알고, 같은 주제에서 이번 주가 어려운지는 일부만 안다. Simile의 방법 2에서 본 모양과 같다.

T+7의 1위 확률은 오차와 여유를 견주는 값이다. 그래서 말한 확률과 실제 적중을 나란히 놓았다.

모델이 말한 1위 확률	보정 없음: 시점 · 말한 값 · 적중	기관 · 방식 보정 + 구간 배율: 시점 · 말한 값 · 적중
60% 미만	72 · 52% · 61%	102 · 42% · 56%
60~80%	79 · 71% · 65%	87 · 70% · 56%
80~99%	81 · 91% · 58%	44 · 93% · 86%
99% 이상	139 · 99.9% · 97%	138 · 99.9% · 98%

보정 없이는 80~99% 구간이 크게 과신한다. 지방선거 채점에서 적은 승률 과신과 같은 방향이다. 보정을 얹으면 이 구간은 86%까지 오르고, 대신 60~80% 구간이 70%를 말하고 56%를 맞힌다. 다만 오른쪽 열의 보정값은 같은 기간 자료로 맞췄고 실제 값에서도 기관 · 방식 효과를 뺐으므로, 사전 예측의 성적으로 읽으면 안 된다. 시점 371개는 매일 겹치는 표본이라 독립된 371건이 아니고(20주 남짓), 주제도 넷뿐이라 다양한 문항으로 잰 Simile의 숫자와 나란히 놓을 수 없다.

5-4. 새 문항에는 아직 그 값이 없다

합성패널에 처음 묻는 문항에는 위의 시계열이 없다. 10월 19일, NBS 전국지표조사 10월 3주 보도³에 실린 네 문항의 취지를 옮겨 1만 명 패널에서 뽑은 5,000명에게 물었다(응답은 경량 LLM. 패널 가중은 10월 21일에 바뀌었으므로 지금 값은 다를 수 있다).

문항	합성패널	NBS	TVD	뒤집힘 여유	1위
국정 평가(긍정 · 부정 · 모름)	39.2 · 48.0 · 12.8	44 · 49 · 7	0.058	0.044	같음
정당 지지(민주 · 국힘 · 없음과 모름, 7칸 중)	33.7 · 33.0 · 18.7	33 · 28 · 29	0.103	0.004	같음
초과 세수(빚 상환 · 미래 투자 · 모름)	44.2 · 42.0 · 13.8	52 · 46 · 2	0.118	0.011	같음
DMZ 지뢰 대응(단호 · 긴장 완화 · 모름)	38.2 · 49.4 · 12.4	65 · 32 · 3	0.268	0.056	반대

같은 엔진 · 같은 패널인데 문항에 따라 오차가 4.6배 벌어진다. 국정 평가의 0.058은 같은 주 NBS와 갤럽 사이의 거리(0.050)와 비슷하지만, DMZ의 0.268은 사람 조사끼리의 범위 밖이다. 18~29세로 좁히면 단호한 대응이 NBS 78%, 합성패널 29.5%다. 79만 4,000명 원천 패널에서 뽑아도 네 값은 0.055 · 0.107 · 0.111 · 0.265로 거의 같았다.

여유 잣대만으로는 이 문항을 걸러내지 못한다. DMZ는 패널이 1 · 2위를 가장 크게 벌린 문항(여유 0.056)이었는데 1위가 뒤집혔다. 네 문항으로 무엇을 입증할 수는 없지만 Simile의 방법 1이 보여 준 모양과 같다. 그래서 여유 옆에 오차 예측이 따로 있어야 한다. 모델 안쪽을 쓸 수 없는 Reble의 후보는 바깥에서 잴 수 있는 신호다.

신호	재는 법	고른 까닭
문항 주제	문항 글 임베딩과 주제별 과거 오차	Simile 방법 2, T+7의 주제 차이
응답 모델끼리의 불일치	같은 문항 · 같은 패널을 다른 모델로 돌린 TVD	10월 8일 소규모 시험에서 국정 긍정이 모델에 따라 41%와 51%로 갈렸다
문구 민감도	뜻이 같은 문구로 바꿔 돌린 TVD	호르무즈 세 문안은 NBS와의 TVD가 0.015에서 0.073까지 갈렸다(5-1)
사람 근거와의 거리	가까운 시기에 같은 주제의 사람 조사가 있는가	새 쟁점 문항은 맞출 여론조사가 없어 응답 모델의 답에 더 기댄다
층의 표본	응답 집단의 패널 칸 크기	희소 교차집단 보정
무응답 쏠림	무응답 비율과 사람 조사의 차이	위 비교에서 패널 12~14%, NBS 2~7%

5-5. 먼저 할 실험 — 사람 정답 장부

Simile의 8,600문항에 견줄 장부가 Reble에는 아직 없다. 그래서 신뢰도 모델보다 장부를 먼저 만든다. Reble은 이미 공표 조사의 결과표를 받고 있지만 국정 평가 · 정당 지지 등 네 주제만 정기적으로 읽는다. 전기요금, 초과 세수 같은 쟁점 문항까지 읽으면 새 문항의 사람 정답이 된다.

단계	할 일	재는 것	통과 기준	화면
1. 장부	결과표에서 문항 · 답지 · 사람 분포 · 조사 방식을 모은다	문항 수, 주제 수, 사람 쌍 거리	주제 50개 · 문항 300개 이상	없음
2. 동결 채점	조사 공표 전 자료만으로 패널 답을 받아 잠근 뒤 공표되면 채점한다	문항별 TVD, 1위 일치, 사람 쌍 거리 대비 배수	동결 기록이 있는 문항만 센다	없음
3. 신호 시험	5겹 교차검증. 같은 조사 · 같은 주제는 한 겹에 묶는다	상관, AUROC, RMSE	주제만 아는 기준선을 95% 범위 밖으로 이긴다	없음
4. 표시	통과할 때만 문항 옆에 신뢰도를 표시하고 채점표를 함께 연다	등급별 실제 충족률	등급마다 새 문항 50개 이상에서 말한 확률이 실제의 95% 범위 안	등급 · 채점표

판정은 TVD 하나로 끝내지 않고 결정마다 따로 둔다.

쓰임	볼 값	「판단 불가」로 두는 때
누가 앞서나	예측 오차와 뒤집힘 여유	여유가 예측 오차나 사람 조사 쌍의 거리보다 작을 때
여론의 크기	TVD와 사람 쌍 거리의 배수	같은 주제의 사람 조사가 방식에 따라 크게 갈릴 때
층별 차이	층별 TVD와 칸 크기	칸 표본이 작을 때
사건 전후 변화	변화량의 방향과 크기	사람의 변화 자료와 맞대 본 적이 없을 때

통과 기준의 숫자는 문항을 고르기 전에 잠근다. 통과하지 못하면 화면에 올리지 않고 못 했다고 쓴다. 신뢰도가 낮게 나온 문항은 어디에 사람 조사를 먼저 쓸지 고르는 데도 쓸 수 있다(Simile도 실험 우선순위를 쓰임으로 들었다).

---

한 줄 결론. Simile의 실험은 시뮬레이션이 자기 오차를 어느 정도 미리 알 수 있음을 보여 줬다. 그러나 Reble 자료에서 오차의 크기와 결정의 옳고 그름은 따로 움직였고, 사람 조사끼리의 거리도 문턱에 닿았다. Reble은 예측 오차를 고정 문턱 대신 결정의 뒤집힘 여유와 견주고, 그 등급까지 채점표에 올리려 한다. Reble 쪽 내용은 연구 중인 설계다.

더 읽기 → T+7 여론 추적 · 지방선거 시뮬레이션과 결과 비교분석 · 호르무즈 파병 문안 실험 · 고차원 합성 인구 구성 · Simile 원문