AI 조사표가 결론을 바꿀 때, 날짜가 다른 근거를 소스맵으로 고치는 법
AI 조사표가 자꾸 결론을 바꾼다면, 답을 다시 다듬기보다 날짜가 다른 근거부터 분리하는 편이 낫습니다. 저는 이전 답과 새 답을 주장·기준일·원출처 단위로 나눈 소스맵을 먼저 봅니다. 공식 변경 기록이 확인되면 정보가 바뀐 것이고, 같은 근거에서 결론만 달라졌다면 답변의 흔들림으로 남깁니다.
먼저 고정한 검토 범위
| 항목 | 기록 |
|---|---|
| 검토일 | 2026-09-04 |
| 대상 | 같은 질문에서 결론이 달라진 AI 조사표 |
| 비교 범위 | 이전 답과 새 답의 주장·날짜·원출처 |
| 우선 근거 | 공개된 공식 원출처와 공식 변경 기록 |
| 제외 범위 | 내부 도구, 제작 방식, 확인되지 않은 비용·성과 |
| 판정 목표 | 정보 변경, 근거 충돌, 답변 흔들림 구분 |
이 글에는 실제 조사 결과의 수치가 제공되지 않았습니다. 그래서 특정 기능이 바뀌었다거나 재실행 결과가 개선됐다고 말할 수는 없습니다. 대신 결론이 바뀌었을 때 무엇을 기록해야 판정 가능한가에 범위를 맞췄습니다.
세 줄 요약
- 날짜가 다른 자료는 같은 근거처럼 합치지 않습니다.
- 새 답은 이전 답과 같은 질문·범위에서 비교할 때 의미가 생깁니다.
- 최종 기록은 결론보다 주장별 차이를 보여주는 소스맵이 맡습니다.
결론의 차이는 현상이고, 출처와 날짜의 차이가 원인 후보입니다.
조사표보다 먼저 흔들린 것은 기준일이었다
AI 조사표의 셀에는 대개 짧은 결론만 남습니다. “지원함”, “지원하지 않음”, “적합함”처럼 단정적인 문장이 들어갑니다. 문제는 그 문장 뒤의 시간이 지워진다는 데 있습니다.
이전 답이 오래된 공식 문서를 참고하고 새 답이 갱신된 문서를 참고했다면, 서로 다른 결론이 모두 각 시점에는 맞을 수 있습니다. 반대로 두 답이 같은 문서를 근거로 삼았는데 판정만 달라졌다면, 정보 변경으로 설명하기 어렵습니다.
저는 이 둘을 한꺼번에 “AI가 틀렸다”로 묶지 않게 됐어요. 먼저 각 주장을 독립된 행으로 떼고, 문서의 게시일·수정일·확인일을 나눠 적는 편이 덜 헷갈리더라고요. 날짜가 없는 페이지는 최신 근거로 승격하지 않고, 날짜 미확인 상태로 남깁니다.
[이미지 캡션: 이전 답과 새 답의 주장을 행별로 맞춘 소스맵 화면. 주장, 기준일, 원출처, 변경 기록, 판정 열이 보인다.]
같은 질문을 다시 묻기 전에 고정한 것
재실행은 새 답을 얻는 일이 아니라 비교 조건을 맞추는 일에 가깝습니다. 질문의 대상, 판단 기준, 지역, 시점이 달라지면 답이 달라져도 이상하지 않습니다. 그래서 비교문에는 다음 요소가 함께 남아야 합니다.
- 원래 질문의 문장
- 조사 대상과 제외 대상
- 결론을 가르는 판단 기준
- 답변이 기준으로 삼아야 할 날짜
- 공식 원출처를 우선한다는 근거 조건
- 확인할 수 없을 때 “미확인”으로 남기는 규칙
여기서 중요한 점은 이전 답을 새 답에 정답처럼 주입하지 않는 것입니다. 이전 답은 비교 대상이지 사실의 기준이 아닙니다. 새 답도 마찬가지입니다. 두 답 위에 공식 원출처를 놓아야 비로소 비교가 시작됩니다.
같은 질문을 반복했다는 사실보다, 같은 판단 조건을 유지했는지가 더 중요했습니다.
결론 대신 소스맵을 비교했다
제가 남기는 소스맵은 복잡한 데이터베이스보다 검토표에 가깝습니다. 복사해 쓸 수 있는 기본 형태는 아래와 같습니다.
| 주장 ID | 이전 주장 | 새 주장 | 이전 근거 날짜 | 새 근거 날짜 | 원출처 | 공식 변경 기록 | 판정 |
|---|---|---|---|---|---|---|---|
| A | |||||||
| B | |||||||
| C |
판정값은 네 종류면 충분했습니다.
- 정보 변경: 공식 원출처에서 정책·기능·조건의 변경이 확인됨
- 근거 교체: 새 답이 더 직접적이거나 더 최근인 공식 자료를 사용함
- 근거 충돌: 공식 자료끼리 표현이나 적용 범위가 맞지 않음
- 답변 흔들림: 근거는 같은데 해석이나 결론만 달라짐
이 구조의 장점은 전체 답을 승패로 나누지 않는 데 있습니다. 새 답의 일부는 더 나을 수 있고, 다른 일부는 근거가 약해질 수 있습니다. 주장별 판정이 있어야 “결론이 바뀌었다”와 “사실이 바뀌었다”를 구별할 수 있습니다.
공식 원출처도 날짜 하나로 끝나지 않았다
공식 페이지라고 해서 자동으로 최신 상태가 증명되지는 않습니다. 게시일은 오래됐지만 본문이 수정됐을 수 있고, 변경 기록은 따로 존재할 수 있습니다. 반대로 페이지 제목은 최신처럼 보여도 해당 주장과 직접 연결되지 않을 수 있습니다.
제가 확인할 항목은 다음처럼 정리됐습니다.
- 이전 답의 핵심 주장이 각각 분리돼 있음
- 새 답의 대응 주장이 같은 행에 놓여 있음
- 게시일·수정일·확인일이 섞이지 않음
- 링크가 검색 결과가 아니라 원문을 가리킴
- 공식 변경 기록이 실제 주장과 연결됨
- 지역·대상·요금제 같은 적용 조건이 기록됨
- 날짜가 없는 근거는 미확인으로 표시됨
- 근거가 같은데 결론만 바뀐 행이 따로 표시됨
- 확인되지 않은 내용이 단정문으로 바뀌지 않음
- 최종 결론에 남은 불확실성이 적혀 있음
출처가 있다는 것과 그 출처가 해당 날짜의 결론을 지지한다는 것은 다른 문제였습니다.
실패는 빈칸을 억지로 채울 때 생겼다
가장 흔한 실패는 날짜를 찾지 못했는데 “최신”이라고 쓰는 경우입니다. 공식 문서라는 이유만으로 변경 시점을 추정하거나, 검색 화면의 날짜를 원문 수정일처럼 취급하는 경우도 같은 문제를 만듭니다.
또 하나는 새 답이 더 자연스럽다는 이유로 더 정확하다고 판단하는 것입니다. 문장이 매끄러워도 원출처가 약하면 소스맵에서는 개선으로 판정할 수 없습니다. 반대로 표현이 투박해도 주장과 공식 근거가 정확히 연결되면 검토 가능한 답입니다.
이 방식에도 한계가 있습니다. 공개 변경 기록이 없으면 실제 변경 시점을 확정하기 어렵습니다. 원출처끼리 충돌하면 외부에서 결론을 단정할 수도 없습니다. 이번 글에는 재실행 결과나 검증된 성과 자료가 없으므로, 특정 방식이 정확도를 높였다는 주장도 보류합니다.
최종 판단은 답이 아니라 변경 이유에 붙였다
AI 조사표가 결론을 바꿨다는 사실만으로 이전 답이나 새 답을 폐기할 필요는 없습니다. 공식 원출처의 날짜와 변경 기록이 달라졌다면 정보 변경으로, 근거가 그대로인데 해석만 달라졌다면 답변 흔들림으로 기록하는 것이 제 최종 판단입니다.
소스맵이 완성되지 않았다면 결론은 “미확인”에 머뭅니다. 조금 답답하지만, 빈칸을 상상으로 채운 조사표보다 다음 검토자가 이어받을 수 있는 미확인 기록이 더 쓸모 있더라고요.
이어지는 기록
AI 조사표의 결론이 달라졌을 때는 주장·날짜·원출처를 소스맵으로 맞춘 뒤 변경 이유를 판정합니다.
재사용 체크리스트.
- 입력과 기대 결과를 적어요.
- 출처·불확실성·사람 검토 항목을 표시해요.
- 수동 대안과 중단 기준을 남겨요.