별도 설치 없는 웹 브라우저 기반 초경량 분할 추론 시스템 ‘SplitLLM’ 개발

연구팀이 파이썬 런타임이나 전용 프로그램 설치가 필수적이었던 기존 네이티브 분할 추론의 한계를 넘어, 순수 웹 브라우저 내부에서 대규모 언어 모델(LLM)을 직접 분할하고 협력 실행하는 혁신적인 웹 브라우저 단 분할 추론 시스템 ‘SplitLLM’을 개발하였습니다.

그동안의 온디바이스 및 분할 추론 연구는 대부분 네이티브 환경을 전제로 하여 사용자 기기에 별도의 설치 과정과 높은 저장공간을 요구했으며, 반대로 기존 웹 기반 모델들은 거대 모델을 브라우저에 전부 올리지 못해 성능 낮은 기기에서는 실행 자체가 불가능했습니다.

연구팀은 웹 표준 하드웨어 가속 인터페이스인 WebGPU를 기반으로 브라우저 런타임을 설계하여, 사용자가 웹페이지 접속만으로(Zero-installation) 브라우저가 모델의 앞단 레이어를 직접 분할 실행하고 나머지는 서버가 처리하는 획기적인 '인-브라우저(In-Browser) 분할 추론' 생태계를 구현하였습니다.

특히 연구팀은 웹 브라우저의 특수한 제약 환경(브라우저 GPU 메모리 한계 및 웹소켓 통신 오버헤드)을 정밀하게 고려한 전용 브라우저-서버 분할 아키텍처를 구축하였습니다. 웹 브라우저 내부에서 자기회귀(Autoregressive) 생성에 필수적인 키-값(KV) 캐시를 서버와 나누어 유지, 관리하는 분산 KV 캐시 엔진을 구현하고, 브라우저가 전송하는 중간 활성화 데이터를 효율적으로 압축하기 위해 '오프라인 보정 채널별 8비트 양자화' 기술을 접목하였습니다.

이를 통해 브라우저 단에서 서버로 보내는 데이터 크기를 50% 줄이면서도 모델의 정확도 손실을 0~7% 이내로 최소화하였으며, 대역폭이 제한적인 웹 접속 환경에서도 디코딩 속도를 1.7~2.6배까지 대폭 끌어올렸습니다. 나아가 브라우저 실행 단계에서 복잡한 테스트 오프로딩 없이도 단 한 번의 브라우저 로컬 연산 속도 측정과 네트워크 핑만으로 기기 성능에 맞춰 로컬 실행과 분할 실행 여부를 즉각 판별하는 '경량 브라우저 배치 규칙'을 완성하였습니다.

연구팀은 "네이티브 애플리케이션 설치라는 진입 장벽을 완전히 허물고, 일반 PC나 모바일의 웹 브라우저 자체가 지능형 AI 연산의 분할 주체로 작동할 수 있음을 WebGPU를 통해 기술적으로 입증한 성과"라며, "웹 환경에서의 개인정보 보호와 서비스 접근성을 동시에 극대화할 수 있어, 향후 차세대 웹 플랫폼, 브라우저 기반 공간 컴퓨팅 서비스 등에 폭넓게 활용될 것"이라고 밝혔습니다.