[AI입문]AI가 못 하는 것 — 믿으면 안 되는 다섯 가지

이 글은 AI 입문 연재 1단계의 마지막 글이다. 앞선 세 글이 무엇인지, 어떻게 굴러가는지, 어떻게 시작하는지를 다뤘다면 이번에는 반대쪽을 본다. AI가 잘 못하는 일, 그래서 답을 그대로 받아 적으면 곤란해지는 다섯 가지다. 겁을 주려는 글은 아니다. 못하는 일을 정확히 알아야 잘하는 일에 마음 놓고 쓸 수 있다. 각 항목마다 왜 그런지와 어떻게 대응하는지를 함께 적는다.

첫째, 최신 정보

AI의 학습은 어느 시점에 끝난다. 그 뒤에 벌어진 일은 자료에 없으니 알지 못한다. 게다가 학습이 끝나고 서비스가 나오기까지 시간이 더 걸려서, 가장 최신 모델도 오늘 기준으로는 몇 달 뒤처져 있는 것이 보통이다.

더 곤란한 건 AI가 "그건 제 학습 이후의 일입니다"라고 정직하게 말하지 않을 때가 있다는 점이다. 옛날 정보를 현재형으로 답해 버린다.

대응. 최신 정보가 필요한 질문에서는 웹 검색 기능이 켜져 있는지 확인한다. 검색 결과를 근거로 답했다면 링크가 함께 나오므로 그 링크를 열어 본다. 요금, 법령, 제품 사양처럼 자주 바뀌는 항목은 반드시 공식 페이지를 직접 확인한다.

둘째, 정확한 계산과 숫자

AI는 계산기가 아니다. 2편에서 본 대로 계산을 하는 게 아니라 그 자리에 올 법한 숫자를 고른다. 그래서 자릿수와 끝자리는 그럴듯한데 값만 틀린 답이 나온다. 통계, 인구, 매출 같은 수치도 마찬가지다.

대응. 계산이 필요하면 AI에게 계산식이나 절차를 설명하게 하고 실제 계산은 스프레드시트나 계산기로 한다. 표를 받았다면 합계를 직접 다시 더해 본다. 수치가 나오면 그 출처를 되물어 확인한다.

셋째, 확인되지 않은 인용과 출처

가장 함정이 많은 항목이다. AI에게 근거를 요구하면 논문 제목, 저자, 발행 연도, 심지어 주소까지 붙여서 답한다. 그런데 그중 일부는 존재하지 않는다. 논문 제목이 대체로 어떤 모양인지를 익혔기 때문에 진짜처럼 생긴 가짜를 만들 수 있는 것이다.

실존하는 자료를 인용하면서 내용만 살짝 비트는 경우도 있다. 이쪽이 더 알아채기 어렵다.

대응. 출처는 받는 즉시 열어 본다. 열리지 않으면 없는 자료다. 열린다면 해당 내용이 실제로 그 문서 안에 있는지까지 확인한다. 남에게 보여 줄 글에는 내가 원문을 직접 확인한 인용만 넣는다.

넷째, 개인적·법적·의료적 판단

AI는 일반적인 설명은 잘한다. 하지만 판단은 다르다. 판단에는 개인의 사정과 최신 규정이 필요한데 AI에게는 둘 다 없다. 내 계약서의 특약 조항도, 내 병력도, 이번 달에 바뀐 시행령도 모른다. 그러면서 답은 자신 있게 한다.

대응. AI는 이해를 돕는 단계까지만 쓴다. 용어 설명, 절차 흐름 파악, 전문가에게 물어볼 질문 목록 만들기에는 훌륭하다. 최종 판단은 변호사, 의사, 세무사 같은 사람에게 맡긴다. AI가 정리해 준 내용을 들고 가면 상담이 오히려 짧고 알차진다.

다섯째, 자신의 한계 인식

앞의 넷을 모두 위험하게 만드는 항목이다. AI는 모를 때도 모른다고 말하지 않는 경향이 있다. 아는 답과 지어낸 답을 똑같은 어조와 똑같은 완성도로 내놓는다. 사람이라면 자신 없을 때 말끝이 흐려지지만 AI에게는 그런 신호가 없다.

대응. 어조를 신뢰의 근거로 삼지 않는다. 대신 확신도를 직접 물어본다. "이 답에서 확실한 부분과 불확실한 부분을 나눠 줘"라고 하면 스스로 경계를 표시해 주는 경우가 많다.

검증 습관 세 가지

습관	구체적으로 할 일	걸리는 시간
근거 묻기	어디서 나온 정보인지 되묻기	10초
원문 열기	알려준 링크를 직접 열어 확인	1분
다시 묻기	새 대화에서 같은 질문 반복	30초

세 번째가 특히 쓸모 있다. AI는 매번 조금씩 다르게 답하므로, 두 답이 크게 어긋난다면 그 내용은 근거가 약하다는 신호다. 반대로 표현만 다르고 뼈대가 같다면 상대적으로 믿을 만하다.

정리

다섯 가지를 한 문장으로 줄이면 이렇다. AI는 초안을 만드는 데 강하고, 사실을 보증하는 데 약하다. 그러니 초안은 맡기고 확인은 가져오면 된다. 이 경계만 지키면 AI는 매우 유용한 도구다.

여기까지가 1단계다. 무엇인지, 어떻게 굴러가는지, 어떻게 시작하는지, 어디까지 믿을지를 정리했다. 다음 2단계에서는 프롬프트 작성법을 다룬다. 같은 AI에게서 훨씬 나은 답을 끌어내는 방법, 즉 요청을 어떻게 쓰느냐의 문제다.

· · · 연재 순서 · · ·

(이전) 무료로 AI 시작하기 — 계정 만들기부터 첫 대화까지

(다음) 프롬프트 작성 기본 — 같은 질문도 이렇게 물으면 답이 달라진다

※ 이 글의 설명은 2026년 8월 기준이며 서비스 정책과 요금은 자주 변경됩니다.