[디지털비즈온 김맹근 기자] 생성적 AI의 함정의 이 모든 것이 사실이라고 믿기엔 너무 좋게 들린다면, 적어도 지금으로서는 그럴 가능성이 높기 때문이다. McKinsey 보고서는 “생성 AI 모델이 생성하는 출력은 종종 매우 설득력 있게 들릴 수 있다.

그러나 때로는 그들이 생성하는 정보가 완전히 잘못된 경우도 있다. 더 나쁜 것은 때로는 편견이 있을 수 있으며(보다 일반적으로 인터넷과 사회의 성별, 인종 및 기타 무수한 편견을 기반으로 하기 때문에) 비윤리적이거나 범죄적인 활동을 가능하게 하도록 조작될 수 있다는 것이다.”

Forrester의 Curran은 이 현상을 설명하기 위해 "일관된 넌센스"라는 용어를 사용한다. 하지만 생성 AI 생태계에서 가장 주목받는 용어는 '환각'이다.

미래학자 버나드 마(Bernard Marr)는 “AI에서의 환각은 그럴듯하게 들리지만 실제로는 부정확하거나 주어진 맥락과 관련이 없는 출력이 생성되는 것을 의미한다. 이러한 결과는 AI 모델의 고유한 편견, 실제 이해 부족 또는 교육 데이터 제한으로 인해 나타나는 경우가 많다. 즉, AI 시스템은 명시적으로 훈련되지 않은 정보를 '환각'하여 신뢰할 수 없거나 오해의 소지가 있는 응답을 초래한다.”

이는 기업 IT가 사람이 먼저 다시 확인하지 않고 생성 AI 소프트웨어 코드나 네트워킹 스크립트를 프로덕션에 투입해서는 안 된다는 것을 의미한다. 이는 "루프 내 인간"이라고 불리는 접근 방식이다. 그리고 조직은 챗봇이 논쟁적 이거나 공격적이거나 부적절하다고 간주될 수 있는 방식으로 고객과 상호 작용할 수 있는 사례를 포착할 수 있는 시스템을 갖추고 있어야 한다.

ChatGPT에 대한 관심이 폭발적으로 높아지면서 데이터 개인 정보 보호 및 섀도우 생성 AI에 대한 우려도 촉발되었다. 왜냐하면 모든 수준의 직원이 ChatGPT에 질문을 하고 있다고 가정해야 하기 때문이다.

McGillicuddy는 "사람들이 ChatGPT에 쿼리를 넣을 때 어떤 데이터를 입력하는지 매우 걱정된다."라고 말한다. “해당 데이터가 어떻게 사용되고 저장되는지, 그리고 Open AI가 이에 대해 어떤 권리를 주장하는지가 걱정된다.”

InfoSec Institute의 수석 사이버 보안 고문인 Keatron Evans는 “AI를 활용하거나 실험할 때 보호된 데이터나 개인 정보를 사용하지 마시오. 예를 들어 기밀 판매 보고서가 있고 AI를 사용하여 요약을 생성하고 싶다고 가정해 보겠다. 보고서를 업로드하지만 이제 입력한 데이터는 ChatGPT 서버에 저장되며 해당 데이터를 사용하여 다른 사람의 쿼리에 응답하여 회사의 기밀 정보가 노출될 수 있다.”

그는 해커가 ChatGPT 코드 취약점을 악용하여 사용자 정보를 훔치거나 앱 자체에서 직접 해당 데이터를 훔치는 방법을 찾을 수 있다고 덧붙였다. “그럼에도 불구하고 민감한 데이터나 정보를 업로드하는 것은 개인정보 보호법을 위반할 수 있으며, 이로 인해 회사가 큰 벌금을 물게 될 수도 있다.”라고 Evans는 지적한다.

또 다른 모호한 문제는 지적 재산의 소유권에 관한 것이다. 직원이 독점 소프트웨어 코드를 ChatGPT에 업로드하여 코드 디버깅이나 기능 추가를 요청한다고 가정해 보겠다. 해당 코드는 ChatGPT 데이터베이스에 들어간다. 다른 회사의 다른 사람이 ChatGPT를 쿼리하고 출력에 해당 원본 코드 덩어리가 포함되면 어떻게 되나요?