한국과학기술원(KAIST·카이스트)은 유민수 전기및전자공학부 석좌교수 연구팀이 AI 에이전트가 얼마나 많은 계산 자원과 전력을 사용하지는지를 세계 최초로 분석한 결과를 내놨다고 5일 밝혔다.
챗GPT와 같은 일반 생성형 AI가 사용자의 질문에 한 번 답을 내놓는다면, AI 에이전트는 스스로 여러 단계를 스스로 나눠 답을 찾는다. 필요하면 인터넷 검색, 계산기, 코드 실행 같은 외부 도구도 불러 쓴다. 이 과정에서 전력 소비가 크게 늘어날 수 있지만, 그동안 AI 에이전트 연구는 주로 문제 해결의 정확도와 복잡한 업무 수행 능력에 초점이 맞춰져 있었다.
연구팀은 여러 유형의 AI 에이전트를 실제 서버 환경에서 구동하고 각각에 지식 검색, 온라인 쇼핑, 수학 문제 풀이, 프로그래밍 과제를 수행하도록 했다. 이후 질문 하나를 처리하는 데 필요한 거대 언어 모델(LLM) 호출 횟수와 응답 시간, 그래픽처리장치(GPU) 활용률, 전력 소비량을 분석했다. 챗봇형 생성형 AI의 문제 해결 과정도 비교했다.
연구 결과 AI 에이전트는 질문 하나를 처리하기 위해 LLM을 여러 차례 호출했다. 답변 시간은 최대 153.7배 늘었고, 외부 도구가 작동하는 동안 GPU가 계산하지 못하고 대기하는 시간도 전체 실행 시간의 최대 54.5%에 달했다. AI가 복잡한 일을 수행할수록 고가의 GPU를 충분히 활용하지 못하는 비효율이 생기는 것이다.
연구팀은 AI 에이전트가 쓰는 전력량을 데이터센터 규모에서 분석했는데, 700억 개의 매개변수를 가진 LLM 기반 AI 에이전트가 질문 한 건을 처리하는 데 평균 348.41와트시(Wh)를 사용했다. 이는 단순 질의응답 때보다 최대 136.5배 높은 수준이다. 연구팀은 전 세계에서 하루 137억 건의 AI 에이전트 요청이 발생할 경우, 데이터센터 전력 수요가 약 198.9기가와트(GW)에 이를 것이라고 추정했다. 한국의 역대 최대 전력 수요(2024년 97GW)의 두 배가 넘는 규모다.
이번 연구 결과는 컴퓨터 시스템 설계 분야 국제학회인 ‘IEEE 고성능 컴퓨터 아키텍처 국제 심포지엄(HPCA)’에서 발표됐다. 유 교수는 “AI 에이전트가 보편화되는 시대에는 AI 모델과 데이터센터, 전력 인프라를 통합적으로 최적화하는 접근이 중요해질 것”이라고 말했다.
