AI 쓰다가 사고 났을 때

AI가 지어낸 문장이 결재까지 올라간 뒤에야 발견되는 것처럼, 사고는 대부분 일이 다 끝난 다음에 눈에 띕니다. 이 글은 사고가 이미 났을 때 처음 한 시간에 무엇을 하고, 무엇을 기록하고, 누구에게 보고할지를 시나리오별로 정리합니다. 끝까지 읽으면 내 상황이 다섯 시나리오 중 어디에 가까운지 찾아 바로 움직일 수 있습니다.

확인 기준일은 2026년 9월 20일입니다. 개인정보 유출의 법정 통지·신고 기준은 개인정보보호위원회의 개인정보 유출 신고 안내와 개인정보 보호법 제34조 현행 본문을 대조했습니다. AI에 이용자 정보 넣어도 될까가 넣기 전 판단 기준이라면, 이 글은 실수가 벌어진 뒤에 무엇을 해야 하는지를 다룹니다.

---

사고를 인지했을 때 공통으로 할 일

시나리오마다 세부 대응은 다르지만, 처음 움직이는 순서는 같습니다. 사고 종류를 따지기 전에 아래 세 가지부터 합니다.

---

시나리오별 1차 대응

아래 다섯 가지는 실제로 자주 벌어지는 상황입니다. 내 상황과 가장 가까운 항목을 찾아 그대로 따라 하세요.

① AI가 지어낸 내용이 기록에 남아 결재까지 올라갔다

AI가 존재하지 않는 사실이나 틀린 수치를 그럴듯하게 만들어냈고, 그 내용이 검토 없이 문서에 들어가 결재선을 탄 경우입니다.

• 처음 한 시간에 할 일 — 결재가 진행 중이면 결재권자에게 바로 알리고 보류를 요청합니다. 이미 결재가 끝났다면 문서를 다시 열 수 있는지, 정정 절차가 있는지부터 확인합니다.
• 기록으로 남길 것 — 어떤 문장이 사실과 다른지, 원래 근거 자료(방문 메모, 상담 기록 등)는 무엇이었는지 나란히 적어둡니다. AI가 무엇을 지어냈는지 구체적으로 짚어야 다음 사람이 무엇을 고칠지 알 수 있습니다.
• 보고 경로 — 결재선에 있는 상급자에게 먼저 알립니다. 이미 문서가 결재선 밖(다른 부서, 외부)으로 나갔다면 아래 경계를 참고해 즉시 보고 대상인지 판단합니다.

② 대상자 이름이 들어간 문장을 그대로 붙여넣었다

이용자·보호자 등 실명이 포함된 내용을 대괄호로 바꾸지 않고 그대로 AI에 입력한 경우입니다. 개인정보 기준에서 다루는 “넣기 전 확인”을 놓친 상황입니다.

• 처음 한 시간에 할 일 — 해당 대화창에 추가 입력을 멈추고 정보보호 담당자나 개인정보 보호책임자에게 즉시 알립니다. 서비스에서 삭제 기능을 제공하면 담당자와 증거 보존 범위를 확인한 뒤 삭제를 진행합니다. 삭제 버튼이 서버·학습 데이터의 완전한 삭제를 뜻한다고 단정하지 않습니다.
• 기록으로 남길 것 — 입력 시각, 서비스와 계정 유형, 정보 종류, 관련 인원 수, 공유·전송 범위를 적습니다. 개인정보가 든 문장을 사고 기록에 그대로 복사해 노출 범위를 넓히지 않습니다.
• 보고 경로 — 기관의 개인정보 보호책임자와 상급자에게 알립니다. 담당자는 서비스 약관·보관 정책, 접근 가능성, 실제 유출 여부를 확인해 정보주체 통지와 개인정보보호위원회 신고 필요성을 판단합니다.

③ AI가 만든 통계 수치가 보고서에 실렸다

AI에게 정리·요약을 맡겼는데, AI가 원본 자료에 없는 숫자를 만들어 넣었거나 합계를 잘못 계산했고, 그 수치가 검토 없이 보고서에 실린 경우입니다.

• 처음 한 시간에 할 일 — 보고서가 아직 배포 전이면 배포를 멈춥니다. 원본 자료(엑셀, 설문 결과 등)를 열어 AI가 낸 수치와 직접 대조합니다.
• 기록으로 남길 것 — 잘못된 수치와 올바른 수치를 나란히 적고, 원본 자료의 어느 부분을 근거로 정정했는지 남깁니다. 숫자만 고치고 근거를 남기지 않으면 나중에 같은 실수가 반복돼도 알아차리기 어렵습니다.
• 보고 경로 — 보고서 결재권자와 수신처(내부 회의용인지, 외부 제출용인지)에 따라 다릅니다. 외부로 이미 나간 보고서라면 아래 경계의 즉시 보고 기준을 확인합니다.

④ 직원 개인 계정으로 업무 문서를 올렸다

기관이 승인하지 않은 개인 AI 계정에 업무 문서나 자료를 통째로 올려 요약·정리를 맡긴 경우입니다.

• 처음 한 시간에 할 일 — 추가로 자료를 올리는 것을 멈춥니다. 이미 올린 문서에 어떤 내용이 들어 있었는지(개인정보 포함 여부 포함) 다시 확인합니다.
• 기록으로 남길 것 — 어떤 문서를, 어떤 계정으로, 언제 올렸는지 적습니다. 그 문서에 이용자 정보나 후원자 정보가 포함돼 있었는지도 함께 표시해둡니다.
• 보고 경로 — 기관 AI 사용 규정에 정해진 담당 부서·직위에 알립니다. 아직 규정이 없는 기관이라면 상급자에게 바로 알리고, 규정을 만드는 계기로 삼습니다.

⑤ AI가 만든 이미지·문구를 홍보물에 썼는데 문제가 제기됐다

AI로 만든 이미지나 문구를 카드뉴스·포스터 등 홍보물에 썼는데, 저작권이나 초상권 관련 문제 제기를 받은 경우입니다.

• 처음 한 시간에 할 일 — 게시된 홍보물이 있다면 노출을 중단할 수 있는지 확인합니다(게시판 비공개 전환, SNS 게시물 임시 삭제 등). 어떤 이미지·문구가 문제로 지적됐는지 정확히 파악합니다.
• 기록으로 남길 것 — 문제가 제기된 시점, 제기한 쪽이 지적한 구체적인 내용, 해당 이미지·문구를 만들 때 사용한 서비스와 프롬프트를 남깁니다. AI 이미지 저작권 기준에서 사전에 확인했어야 할 항목과 대조하면 무엇이 빠졌는지 파악하기 쉽습니다.
• 보고 경로 — 홍보물 게시 승인권자와 상급자에게 알립니다. 외부에서 공식적으로 문제를 제기한 경우(내용증명, 공문 등)라면 아래 경계의 즉시 보고 대상입니다.

---

기관이 감당할 수 있는 실수와 즉시 보고해야 하는 사고

모든 실수를 같은 무게로 다룰 필요는 없습니다. 다만 그 경계를 현장 직원이 혼자 판단하게 두면 안 됩니다. 아래는 판단을 시작할 때 참고할 수 있는 기준이지, 정해진 규칙은 아닙니다.

• 기관 내부에서 발견하고, 외부로 나가기 전에 멈췄다면 — 대체로 팀 내 기록과 정정으로 정리할 수 있는 범위입니다. 다만 실명 등 개인정보가 이미 AI 서버로 전송된 경우는 예외로 다룹니다.
• 이미 외부(다른 기관, 대상자, 언론, 상급 기관)로 나갔다면 — 발견 즉시 상급자에게 보고합니다. 되돌릴 수 있는지 여부와 관계없이, 나갔다는 사실 자체를 먼저 알립니다.
• 개인정보(실명, 연락처, 상담 내용 등)가 관련돼 있다면 — 내부에서 멈췄더라도 정보보호 담당자에게 알립니다. 개인정보가 걸린 사안은 경중을 실무자가 자체 판단하지 않는 것이 안전합니다.
• 외부로부터 공식적인 문제 제기를 받았다면 — 사안의 크기와 상관없이 즉시 보고합니다. 대응 방식과 답변 창구는 상급자·소관 부처와 함께 정합니다.

72시간 신고는 모든 AI 입력 실수에 자동 적용되지 않습니다

개인정보보호위원회 안내에 따르면 유출 신고는 1천명 이상 정보주체의 개인정보가 유출된 경우, 민감정보 또는 고유식별정보가 유출된 경우, 외부의 불법 접근으로 유출된 경우 등에 요구되며 원칙적으로 유출 사실을 안 때부터 72시간 이내 신고합니다. 정보주체 통지는 신고와 별개로 지체 없이 해야 하는 것이 원칙입니다.

그러나 AI 서비스에 정보를 잘못 입력했다는 사실만으로 법에서 말하는 “유출”과 신고 대상에 해당하는지는 이 글이 단정할 수 없습니다. 기관 담당자는 접근 가능성, 제공·노출 범위, 정보 종류와 규모를 확인해야 합니다. 신고가 필요하다고 판단되면 개인정보 유출 신고 시스템을 이용할 수 있습니다. 업무 현장에서는 법정 기준을 혼자 해석하느라 보고를 늦추지 말고, 먼저 내부 개인정보 보호책임자에게 알리는 것이 안전합니다.

---

다음 단계

사고 대응은 결국 예방보다 늦게 움직이는 일입니다. 오늘 기관 연락망에 개인정보 보호책임자, 결재권자, 상급 기관 연락처를 적고 모의 상황 한 건으로 보고 순서를 확인하세요. 같은 상황을 반복하지 않으려면 AI에 이용자 정보 넣어도 될까로 넣기 전 기준을 점검하고, 기관 AI 사용 규정 만들기를 참고해 보고 경로와 담당 부서를 문서로 정해두세요.

---

자주 묻는 질문

사고인지 아닌지 애매한데, 일단 보고부터 해야 하나요?

애매하면 보고하는 쪽을 권합니다. 보고했는데 별일 아닌 것으로 정리되는 것과, 보고하지 않았는데 나중에 문제가 커지는 것은 무게가 다릅니다. 판단이 어려운 상황일수록 혼자 결정하지 말고 상급자에게 상황을 그대로 전달하세요.

이미 시간이 많이 지난 뒤에 발견했어요. 그래도 이 순서대로 하나요?

네, 발견한 시점을 “처음 한 시간”의 시작으로 보고 같은 순서를 따르면 됩니다. 다만 기록에는 실제 사고 발생 시점과 발견 시점을 구분해서 적어두세요. 언제 벌어졌고 언제 알아챘는지가 다르다는 것 자체가 이후 판단에 중요한 정보입니다.

다섯 시나리오 중 어디에도 안 맞는 상황이면 어떻게 하나요?

이 글의 다섯 가지는 자주 벌어지는 예시일 뿐, 전체 목록이 아닙니다. 상황이 다르더라도 앞서 다룬 “사고를 인지했을 때 공통으로 할 일” 세 단계(막기, 기록하기, 보고 경로 정하기)는 그대로 적용됩니다. 어떤 사고든 이 순서로 시작하면 큰 무리가 없습니다.