[디지털비즈온 김맹근 기자] AI 시대는 이제 인류의 일상이 됐다. 그리고 그 흐름은 멈출 기미가 없다. 하지만 AI 챗봇이 인간의 언어를 흉내내는 능력은 사용자에게 혼란을 불러일으키고 있다. 일부 기업은 AI를 친구, 연인, 반려동물, 치료사로 포장해 판매하고 있으며, 몇몇 연구자는 AI와 로봇이 ‘감정’을 느끼고 ‘사고’할 수 있다고 주장하기까지 한다. 심지어 애플은 감정을 느끼는 램프를 개발 중이라고 홍보한 바 있다.
IT World의 마이크 엘건에 따르면, 이처럼 실패, 환각, 현실에 영향을 미치는 오류에 대해 과연 AI에게 책임을 물을 수 있는지 의문이 제기되고 있다. 대표적인 기사 제목만 봐도 다음과 같다.
“AI가 저지른 의료 실수, 누구의 책임인가?”, “인간 대 AI는 실수의 책임은 누구에게?”, “AI 에이전트가 활동하는 세상, 실수의 책임 주체는 누구” 그러나 결론은 명확하다. 사용자가 책임져야 한다.
AI는 결국 도구일 뿐이다. 트럭 운전사가 졸음운전으로 사고를 내면 트럭이 아니라 운전사의 책임이다. 외과의가 수술 중 환자 몸속에 스펀지를 남겨도 책임은 도구가 아닌 의사에게 있다. 마찬가지로 SAT에서 낮은 점수를 받은 수험생의 결과는 연필 탓이 아니다.
그렇다고 단순히 사용자 잘못이라는 주장을 되풀이하고자 하는 것은 아니다. 더욱 깊이 있는 논의가 필요하다.
AI 문장 베끼다 들킨 작가들
판타지 로맨스 작가 레나 맥도날드는 AI를 활용해 다른 작가의 문체를 모방하다 들통났다. 2025년 3월 출간된 신작 『다크할로우 아카데미: 2학년』(Darkhollow Academy: Year 2) 3장에는 다음과 같은 문장이 실렸다.
“J. 브리의 스타일에 맞춰 긴장감과 거친 분위기, 초자연적 요소가 스민 감정적 긴장감을 살리도록 문장을 다시 썼습니다.”
이것은 AI 챗봇의 응답을 그대로 복사해 붙여 넣은 문장이다. 작가는 이 내용을 직접 지은 글인 것처럼 발표했다.
이와 유사한 사례는 2025년에만 적어도 두 차례 더 발생했다. K.C. 크라운과 라니아 파리스라는 로맨스 작가가 자가 출판한 소설에서도 AI 프롬프트가 그대로 남아 있는 부분이 발견됐다.
저널리즘 분야에서도 유사한 사례가 발생했다. 5월 18일, 시카고 선타임즈(Chicago Sun-Times)와 필라델피아 인콰이어러(The Philadelphia Inquirer)는 “2025년 여름 독서 목록”이라는 특집 기사에서 유명 작가가 집필한 15권의 신간을 소개했지만, 그 중 대부분은 실존하지 않는 책이었다.
예컨대 이사벨 아옌데의 타이드워터 드림스(Tidewater Dreams), 이민진의 『나이트셰이드 마켓(Nightshade Market), 앤디 위어의 라스트 알고리즘(The Last Algorithm) 등은 모두 존재하지 않는 허구의 책이었다.
기사를 작성한 마르코 부스카글리아는 AI를 활용해 책 제목을 창작했다고 인정했다. (해당 기사는 두 신문이 직접 작성한 것이 아니라, 허스트 산하의 킹 피처스 신디케이트(King Features Syndicate)가 제작해 전국에 배포한 콘텐츠였다.)
이 모든 사례에서 책임은 분명히 사용자에게 있다. 작가의 본분은 최소한 자신의 글을 검토하고, 수정하거나 삭제하거나 덧붙이거나 다시 쓰는 작업을 수행하는 것이다. 책을 읽지도 않고, 추천 도서조차 확인하지 않은 작가는 그 자체로 프로답지 못한 행동이다.
일부 언론사는 팩트체커를 두고 있지만, 그렇지 않은 곳도 있다. 그럼에도 불구하고, 사실 검증의 책임은 최종적으로 글을 작성하는 작가에게 있다. 작가는 곧 편집자이자 팩트체커이기도 하다.
이 같은 사례는 하나의 메시지를 명확히 보여준다. AI 챗봇의 오류는 곧 사용자 책임이라는 점이다. 사용자가 도구를 선택하고, 프롬프트를 입력하며, 결과를 보고 오류를 잡는 책임이 모두 사용자에게 있다.
더 큰 실수는 어떨까?
작년, 에어 캐나다(Air Canada)의 챗봇은 존재하지 않는 장례 지원 환불 정책을 고객에게 안내했다. 소송에서 에어 캐나다는 챗봇이 “별개의 법적 주체”라고 주장했지만, 법원은 인정하지 않고 에어 캐나다의 책임으로 판결했다.
구글의 AI 오버뷰(AI Overviews)는 사용자에게 피자에 접착제를 바르라 거나 작은 돌을 먹으라는 식의 황당한 조언을 제공하며 조롱거리가 됐다.
애플의 AI 알림 요약 기능은 네타냐후 이스라엘 총리가 체포됐다는 가짜 뉴스를 생성해 논란이 됐다.
캐나다 변호사 총 커는 양육권 분쟁 소송에서 챗GPT가 생성한 가짜 판례를 인용했다가 법원으로부터 상대 변호사 측 조사 비용을 물게 됐다.
오픈AI의 위스퍼(Whisper) 모델을 기반으로 한 의료 기록 자동화 솔루션도 심각한 문제를 일으켰다. ACM FAccT 학회에 발표된 연구에 따르면, 위스퍼의 오류 중 38%는 실제로 의료적 위해를 초래할 수 있는 수준이었으며, 전체 전사 내용 중 약 1%는 실제로 존재하지 않는 내용을 조작해낸 것이었다.
이러한 사례 모두는 AI 사용자의 감독 부재 또는 무책임한 사용에서 비롯된 문제다. AI에게 책임을 돌리는 것은 AI가 무엇인지에 대한 오해에서 비롯된 착각에 불과하다.
AI 어떻게 다뤄야 할까
이 모든 사례의 공통점은 사용자가 자신의 업무를 AI에게 무책임하게 위임했다는 점이다. AI를 전혀 사용하지 않는 것도 문제지만, 사용하되 감독하지 않는 것도 문제다.
AI 시대에 적응하기 위해서는, 적절한 선에서 AI를 도구로 활용하고, 그 결과를 철저히 검토하는 습관을 들여야 한다. AI 사용의 책임은 100% 사용자에게 있다는 인식이 필요하다.
향후에도 무분별한 AI 사용은 크고 작은 문제를 야기할 것이다. 그러나 비난 받아야 할 대상은 소프트웨어가 아니라 그 소프트웨어를 다룬 인간이다.
영화 『2001 스페이스 오디세이』에서 HAL 9000이 남긴 명언처럼, “인간의 실수로밖에 설명할 수 없다.”