생성형 인공지능(AI)의 성능 경쟁이 대규모 파라미터와 고성능 GPU를 중심으로 전개되는 가운데, 일반 PC급 하드웨어에서 기업 업무에 활용할 수 있는 로컬 AI를 구현하려는 개발이 진행되고 있다.
보안 및 AI 기술을 개발하는 에코마치에서 기술이사를 맡고 있는 민현준 개발자는 최근 ‘디지털 뉴런(Digital Neuron)’을 개발하며 하드웨어 확장보다 지식을 효율적으로 저장하고 필요한 순간에 활용하는 구조에 초점을 맞추고 있다.
민 기술이사에 따르면 디지털 뉴런은 약 7B급 경량 코어를 기반으로 대규모 지식을 저장 영역과 실제 추론에 사용하는 활성 영역으로 구분한다. 모든 정보를 동시에 활성화하는 대신 작업에 필요한 지식을 선택적으로 불러오는 메모리 기반 구조다.
민 기술이사는 “기업에서 AI를 사용하려면 모델의 크기뿐 아니라 필요한 지식을 얼마나 효율적으로 불러오고 검증할 수 있는지가 중요하다”며 “제한된 하드웨어에서도 문서 처리나 코딩 등 실제 업무를 수행할 수 있는 환경을 만드는 것이 개발 방향”이라고 말했다.
또 다른 특징은 ‘이중 동시 추론(Dual Simultaneous Inference)’ 구조다. 개발자 측 설명에 따르면 한쪽 추론 경로에서 답변을 생성하는 동안 다른 경로에서 사실관계와 논리적 일관성을 확인한다. 생성 후 별도의 필터를 거치는 방식이 아니라 추론 단계에서 교차 확인하도록 설계했다.
적용 대상으로는 코드 작성·수정과 기업 내부 문서 검색, 정보 추출, 장문 자료 분석 등이 제시됐다. 특히 기존 코드의 맥락을 유지하면서 오류를 수정하거나 기능을 추가하는 작업, 검색된 자료를 바탕으로 답변을 구성하는 과정에서 생성과 검증을 함께 수행하도록 개발하고 있다는 설명이다.
하드웨어 구성도 기존 기업용 AI 서버와 차이가 있다. 민 기술이사가 공개한 자체 테스트 환경은 AMD 라이젠 5 4600G 프로세서와 32GB 메모리다. 개발자 측 테스트에서는 해당 환경에서 조건에 따라 초당 약 36토큰의 생성 속도를 기록했으며, 풀로드 기준 소비전력은 약 65~80W 수준으로 측정됐다고 밝혔다.
장문 데이터 처리도 개발 대상이다. 민 기술이사는 메모리 압축과 선택적 로딩을 활용해 최대 10M 토큰 규모의 컨텍스트를 다루는 구조를 개발하고 있다고 설명했다. 프로젝트 단위의 문서와 코드 등 대규모 데이터를 장기간 유지하며 작업하는 기업 환경을 염두에 둔 것이다.
다만 현재 공개된 처리 속도와 지식 운용 규모, 장문 컨텍스트 등의 수치는 개발자 측 자체 테스트 및 설명을 기반으로 한다. 실제 성능 수준을 객관적으로 판단하기 위해서는 동일한 조건의 공개 벤치마크와 외부 검증을 통한 재현성 확인이 필요하다. 특히 장문 환경에서의 정보 회수 정확도와 동시 사용자 증가에 따른 성능 변화 등은 향후 확인해야 할 부분이다.
민 기술이사도 디지털 뉴런을 고성능 GPU 서버의 대체재로 규정하지 않는다. 대규모 동시 요청이나 고부하 연산, 이미지·영상 등 멀티모달 작업은 별도 고성능 인프라를 활용하고 내부 문서 검색이나 코드 보조, 반복적인 텍스트 업무는 로컬 장비에서 처리하는 분산형 구조를 활용 방안으로 보고 있다.
민 기술이사는 “모든 AI 업무에 동일한 수준의 고성능 하드웨어가 필요한지 다시 살펴볼 필요가 있다”며 “저사양 환경에서도 필요한 지식을 효율적으로 활용하고 결과를 검증할 수 있는 구조를 만드는 것이 목표”라고 말했다.
디지털 뉴런은 현재 개발 단계에서 기업용 로컬 AI의 하드웨어 요구 수준을 낮출 수 있는지를 시험하고 있다. 향후 실제 기업 환경에서의 적용 사례와 독립적인 성능 검증이 축적될 경우 저비용·분산형 AI 인프라의 활용 범위를 판단할 수 있는 근거가 될 것으로 보인다.
