ChatGPT 답변 검증 방법: 사실과 출처 확인 질문 5가지

AI 답변은 처음부터 완성본처럼 읽힐 때가 많다.

문장도 자연스럽고, 표도 그럴듯하고, 근거가 있는 말처럼 정리되어 나온다. 그래서 바쁠 때는 그대로 가져다 쓰고 싶어진다.

보기 좋은 답변이 항상 맞는 답변은 아니다. 그대로 쓰기 전에는 날짜, 숫자, 법, 정책, 출처, 인용문처럼 틀리면 바로 문제가 되는 문장을 골라내야 한다.

AI에게 다시 물어볼 질문을 정해두면, 어떤 문장을 직접 확인해야 하는지 빨리 나눌 수 있다.

AI 답변 확인 기준

확인할 것	왜 필요한가	바로 물어볼 질문
사실	틀린 날짜나 숫자가 섞일 수 있다	"이 답변에서 사실 확인이 필요한 부분만 골라줘"
출처	없는 자료를 그럴듯하게 말할 수 있다	"각 주장에 확인 가능한 출처가 있는지 나눠줘"
조건	내 상황과 맞지 않을 수 있다	"이 답변이 성립하려면 어떤 조건이 필요해?"
예외	중요한 단서가 빠질 수 있다	"예외나 반대 사례가 있다면 알려줘"
표현	너무 단정적으로 보일 수 있다	"확실한 내용과 추정인 내용을 구분해줘"

AI에게 다시 질문하는 이유는 AI를 의심하기 위해서만은 아니다. 내가 직접 확인해야 할 문장을 줄이기 위해서다.

ChatGPT 답변은 "확실한 것"과 "확인할 것"으로 나눈다

AI 답변을 받으면 바로 고치기보다 확실한 내용과 확인이 필요한 내용을 나누게 한다.

예를 들어 이렇게 물어볼 수 있다.

위 답변을 확실한 내용, 확인이 필요한 내용, 추정인 내용으로 나눠줘.

이 질문을 던지면 답변을 그대로 믿을 부분과 직접 찾아봐야 할 부분이 나뉜다. 긴 답변을 처음부터 다시 읽는 것보다 확인할 문장을 빨리 찾을 수 있다.

특히 AI가 자신 있게 말한 문장일수록 한 번 더 확인한다. 자신 있는 말투와 정확성은 같은 뜻이 아니다.

AI 답변을 검토할 때는 좋은 문장보다 확인할 문장을 먼저 찾는 편이 안전하다.

AI 출처 확인은 "진짜 확인 가능한지"를 묻는다

AI에게 "출처도 알려줘"라고만 하면 보기 좋은 목록이 나올 수 있다. 하지만 그 링크나 문서가 실제로 존재하는지, 그 내용이 답변을 뒷받침하는지는 따로 확인해야 한다.

조금 더 나은 질문은 이렇다.

각 주장 옆에 확인 가능한 공식 출처나 원문 링크가 있는지 표시해줘.
출처가 없으면 "출처 확인 필요"라고 써줘.

이렇게 물으면 없는 근거를 억지로 채우는 답변을 줄일 수 있다. 그래도 마지막에는 링크를 직접 열어 원문과 날짜를 확인해야 한다.

정책, 가격, 신청 기간, 제품 사양, 법률처럼 바뀔 수 있는 내용은 검색이나 공식 페이지 확인이 필요하다. AI 답변 안에서 끝내려고 하면 놓치는 부분이 생긴다.

AI 답변은 날짜, 출처, 조건처럼 틀리면 문제가 되는 부분부터 따로 확인하는 편이 좋다.

AI 답변이 내 상황에 맞는지 다시 물어본다

AI 답변은 보통 평균적인 상황을 기준으로 나온다.

하지만 실제로 필요한 답은 평균적인 답이 아닐 때가 많다. 회사 메일인지, 블로그 글인지, 가족에게 보내는 메시지인지에 따라 같은 문장도 달라진다.

이럴 때는 이렇게 물어볼 수 있다.

이 답변이 맞지 않을 수 있는 상황을 알려줘.

내 상황이 아래와 같다면 어떤 부분을 바꿔야 해?

좋은 확인 질문은 답변을 더 길게 만들기 위한 질문이 아니다. 내 상황에서 빼야 할 것과 조심해야 할 것을 찾기 위한 질문이다.

AI 답변 검증에 바로 쓸 수 있는 질문

아래 질문은 복잡한 프롬프트보다 자주 쓰기 쉽다.

상황	확인 질문
내용이 너무 그럴듯할 때	"이 답변에서 틀리기 쉬운 부분을 먼저 짚어줘"
출처가 필요할 때	"공식 출처로 확인해야 할 문장을 따로 표시해줘"
말이 너무 단정적일 때	"확정적으로 말할 수 있는 부분과 조심해야 할 부분을 나눠줘"
내 상황에 맞는지 볼 때	"이 조언이 맞지 않는 경우는 뭐야?"
그대로 써도 되는지 볼 때	"사실 확인 없이 그대로 쓰면 위험한 문장을 골라줘"

질문을 잘 던지면 AI를 더 복잡하게 쓰지 않아도 된다. 대신 내가 직접 확인해야 할 문장이 줄어든다.

함께 보면 좋은 글

• AI 결과물 검토 체크리스트: 복사하기 전 확인할 7가지
• ChatGPT 프롬프트 작성법: 질문 전에 정할 6가지
• ChatGPT 답변 수정 프롬프트: 원하는 답으로 다시 받는 문장 예시

마무리

AI 답변을 잘 쓰는 사람은 답변을 그대로 믿는 사람이 아니다.

어디까지 바로 써도 되는지, 어디부터 확인해야 하는지 빨리 나누는 사람이다. 처음부터 모든 문장을 의심할 필요는 없지만, 숫자와 출처가 들어간 문장은 한 번 더 확인해야 한다.

오늘 바로 써볼 질문은 하나면 충분하다.

이 답변에서 사실 확인이 필요한 부분만 골라줘.

이 질문 하나만 던져도, 그대로 가져다 쓰면 위험한 문장이 먼저 드러난다.

출처

• OpenAI Help Center, Does ChatGPT tell the truth?
• OpenAI Academy, Prompting fundamentals