LG유플러스가 AI 모델 최적화 전문 기업 옵트에이아이와 협력해 토큰 최적화 기술을 발전시키고 AI 운영 효율 개선에 나섰다. 양사는 AI가 사용자 질문을 이해하고 답변을 생성할 때 사용하는 데이터 단위인 토큰을 효율적으로 처리하는 기술 개발에 착수했다. 토큰 최적화는 AI 모델의 경량화와 계산 효율 증가를 통해 동일한 자원으로 더 많은 요청을 처리할 수 있게 하는 기술이다.

LG유플러스는 실제 AI 서비스 운영 경험을 바탕으로 기술 검증과 적용을 담당하고, 옵트에이아이는 AI 모델 경량화와 빠른 구동을 위한 연구개발을 맡는다. 이번 협력은 GPU 및 전력 소모를 감소시키면서 응답 속도와 서비스 품질 향상을 목표로 한다.

과거 양사는 스마트폰 등 디바이스 내 AI 구동 분야인 온디바이스 AI에서 협력한 바 있다. LG유플러스는 엑사원(EXAONE) 기반 소형언어모델(sLM)에 경량화 기술을 적용해 스마트폰 내 AI 전용 반도체 NPU에서 구동되도록 했으며, 이 과정에서 CPU 방식과 동일한 성능을 유지하면서 전력 소모는 78%, 모델 크기는 82% 줄였다. 이를 통해 온디바이스 AI 환경에서 운영 효율화 기술을 검증했다.

지난 1일 LG유플러스와 옵트에이아이는 공동 주관으로 ‘Efficient AI 테크 세미나’를 개최했다. 행사에는 퓨리오사AI, 베슬에이아이(VESSL AI), 한국전자기술연구원(KETI), 한양대학교 등 산학연 전문가들이 참석해 AI 모델 최적화, AI 반도체, 실제 서비스 적용 사례 등 다양한 기술을 논의했다.

이번 기술 교류를 계기로 두 회사는 서버 환경에서 GPU 기반 AI 모델 최적화 연구로 협력 범위를 확대한다. 대규모 AI 서비스 운영 시 동일한 GPU 자원으로 더 많은 사용자 요청을 처리할 수 있도록 계산 효율화 기술 개발에 집중할 계획이다. 현재 연구에서는 AI 모델의 답변 생성 연산 과정을 개선해 같은 GPU에서 처리할 수 있는 토큰량을 기존 대비 최대 네 배까지 높이는 성과가 나타났다. LG유플러스는 이 기술을 자사 AI 서비스 및 대규모 AI 인프라 운영에 단계적으로 적용해 효율성을 높일 예정이다.

이상엽 LG유플러스 CTO는 "AI 경쟁력은 같은 자원으로 얼마나 많은 토큰을 효율적으로 처리할 수 있는지에 달려 있다"며, "옵트에이아이 등 다양한 파트너와 협력을 통해 토큰 최적화 기술 연구를 확대하고 실제 서비스 적용 성과를 만들어가겠다"고 말했다. 이재호 옵트에이아이 대표는 "생성형 AI 시대에는 높은 성능뿐 아니라 운영 효율 확보가 중요하다"며, "LG유플러스와 함께 실제 서비스 환경에서 검증 가능한 AI 최적화 기술을 고도화해 AI 산업 효율성 향상에 기여하겠다"고 밝혔다.

★ 네티즌 어워즈 투표하러 가기 ▶
★ 전 세계 팬덤의 결집, cbcglobe.com ▶
★ 돈돈돈, 남몰래 혼자 보는 – 돈 되는 뉴스 ▶