[디지털비즈온 김맹근 기자] 컨피덴셜 컴퓨팅은 최근 인공지능 기반 챗봇 ChatGPT가 회사 기밀 정보를 외부로 유출하는 문제들이 기사화된 바 있다. 이 사건 이후 삼성, 애플 등 여러 기술 기업들이 내부 정보의 보안을 위해 ChatGPT 사용을 제한하거나 금지하는 등의 대응을 보였다.
이와 같은 문제를 해결하기 위해 회사들이 자체 데이터센터를 활용하여 독립적으로 이러한 서비스를 운영하는 움직임이 생길 것으로 예상되는 한편, ChatGPT를 서비스하는 API 업체들도 회사의 기밀이 보안적으로 안전하게 반도체 내에서 만 프로세싱되도록 하려는 움직임이 증가할 전망이다.
기업뿐 아니라, 개인 사용자에게도 이러한 보안 이슈와 함께 프라이버시 문제는 중요한 이슈로 부상할 것이다. AI 서비스의 사용 범위가 확장됨에 따라 개인 정보가 이러한 서비스에 의해 더욱 폭넓게 활용될 것이다.
인공지능 서비스 사용자가 아닌 인공지능 서비스와 모델을 개발하는 기업들 관점에서 보면, 이 들에게 인공지능 모델들은 매우 중요한 자산이며, 따라서 이들 역시 인공지능 모델이 공개 클라우드 환경에서 서비스될 때 인공지능 모델에 대한 정보가 클라우드 업체 혹은 클라우드 업체를 사용하는 다른 사용자에게 접근되거나 조작될 수 있다는 우려가 있다.
이런 문제를 해결하기 위한 한가지 방법이 바로 컨피덴셜 컴퓨팅이다. 컨피덴셜 컴퓨팅은 하드웨어 기반의 신뢰할 수 있는 실행 환경(TEE, Trusted Execution Environment)을 이용하여 사용 중인 데이터를 보호하는 기술이다. TEE는 사용 중인 애플리케이션과 데이터에 대해 승인되지 않은 액세스나 수정을 방지하는 보안 격리 환경을 제공한다. 이런 보안 표준은 컨피덴셜 컴퓨팅 컨소시엄에서 정의하고 있다.
칩렛(Chiplet) 기술과 칩간 연결(Chip-to-Chip Interconnect)
AI 반도체에 요구되는 연산 처리량이 증가함에 따라 AI 반도체의 칩 크기는 반도체 생산에 사용되는 포토 마스크에 의한 최대 크기 한계치인 약 800㎟에 근접하고 있으며, 칩의 대형화는 한계에 도달하였다. 또한 칩의 크기가 커질수록 웨이퍼 결함으로 인한 수율 저하가 발생할 확률이 높아지며, 수율이 떨어지면 제조원가가 높아진다.
칩렛 기술과 칩 간 연결은 AI 반도체의 여러 기술적 한계와 비용 문제를 극복할 수 있는 기반 기술로 여러 반도체 기업들에 의해 빠르게 발전 및 도입되고 있다. 추후 AI 반도체에 도입되어 사용됨으로써 AI 반도체의 성능과 효율을 높이고, 비용을 절감하며, 추론 서비스에서 AI 반도체 의 활용도를 높일 것으로 기대된다.
프로세싱인 메모리
초거대 언어 모델은 AI 반도체의 DRAM으로부터 거대한 모델 파라미터를 매번 추론마다 필요로 한다. 이에 따라 데이터 이동에 상당한 에너지를 소모하게 되는데, 이는 AI 반도체의 효율성을 저하시키는 주요 요인 중 하나이다.
이러한 문제를 해결하기 위해 데이터 이동에 필요한 메모리 대역폭을 줄이고, 메모리 병목 현상을 완화하면서 동시에 에너지 소모를 줄일 방법이 필 요하다. 해결책의 하나로 제시되는 프로세싱인 메모리(PIM, Processing In Memory) 기술은 데이터 이동에 필요한 메모리 대역폭을 줄이고, 성능을 향상시키며, 에너지 소모를 줄이는 데 도 움을 줄 수 있다.
프로세싱인 메모리가 상용화를 통해 주요 AI 반도체에 도입되기 위해서는 몇 가지 해결해야 할 과제들이 있다. 메모리 칩에 연산 유닛을 집적함에 따라 DRAM 용량이 감소하는 문제가 있다. 또 일반적으로 데이터가 여러 DRAM 칩에 분산되어 저장되므로, 사용자가 필요로 하는 연산을 하기 위해 여러 DRAM 칩 간에 데이터를 효율적으로 이동하고 처리하기 위한 새로운 프로그래밍 모델이 필요하다.
프로세싱인 메모리 기술은 AI 반도체의 효율성을 크게 향상시킬 수 있는 기술로 여겨지고 있어, 당면한 여러 난관들을 해결한다면 중장기적으로 AI 반도체를 발전시킬 기술이 될 것으로 기대된다.
결과적으로 도전 과제들은 데이터센터를 운영하는 기업들이 비용 절감을 위해 새로운 시도를 하고 있음을 의미한다. 자체 개발을 포함하여 다양한 대안을 모색하고 있으며, 다양한 프레임워크를 통해 지원하려는 노력도 기울이고 있다.
이러한 필요성과 생태계의 흐름 속에서 많은 AI 반도체 개발자들은 현재의 기술적 어려움을 극복해 나가고 있다. AI 반도체는 폭발적으로 성장하고 있는 인공지능 서비스 하부 조직 핵심요소 중 하나로 인공지능 서비스의 대중화에 크게 기여할 것으로 기대된다.