현장 문제
클라우드 AI는 통신이 끊어지는 현장이나 데이터를 외부로 보낼 수 없는 환경에서 사용하기 어렵습니다. 엣지 NPU는 메모리 용량과 수치 형식이 GPU와 달라, 공개 모델을 그대로 이식하면 기기 메모리에 들어가지 않거나 정확도가 저하됩니다.
해결 방식
공개 양자화 기법인 GPTQ로 가중치를 NPU의 블록 부동소수점 형식으로 양자화하고, 레이어마다 정밀도를 선택해 기기 메모리에 맞춥니다. 모델 연산은 자체 개발한 NPU 커널과 런타임으로 모두 NPU에서 실행합니다.
대상 모델
- LLM
- VLM
- MoE 모델
- 하이브리드 선형 어텐션 모델
- 음성 인식
- 음성 합성
시스템 구성
호스트는 가중치 전송, 토큰화, 스케줄링만 맡고, 모델 연산은 모두 NPU에서 실행합니다.

- 호스트 PC
- NPU 가속기
- 로봇 탑재부
- 가중치 히트맵
01
블록 부동소수점 양자화
Hugging Face의 공개 모델을 Tensix NPU의 블록 부동소수점 형식인 BFP4와 BFP8로 양자화하는 도구입니다. 양자화 알고리즘은 공개 기법인 GPTQ를 사용합니다. 결과를 일반 체크포인트로 저장해 GPU와 CPU에서도 NPU와 같은 가중치로 검증합니다.
- Tenstorrent 호스트 패커와 비트 단위로 일치하는 BFP 변환
- 블록 지수를 한 단계 낮춰 오차를 줄이는 BFP4 보정
- 레이어별 BFP4, BFP8 혼합 정밀도
- NPU에 탑재할 때 다시 양자화하지 않는 출력 형식
02
NPU 커널
LLM 추론에 필요한 연산을 Tensix NPU에서 실행하는 커널을 개발합니다. 이 커널은 Tenstorrent의 공개 소프트웨어 스택을 수정하지 않고 그 위에서 동작합니다.
- 출력 단계를 융합한 디코딩용 행렬 곱셈
- 토큰 ID를 바로 반환하는 출력 헤드
- 라우팅과 선택한 전문가 연산을 NPU에서 처리하는 MoE
- Gated DeltaNet, Mamba-2 등 선형 어텐션
03
온디바이스 런타임
양자화한 모델을 Tensix NPU에서 실행하는 런타임입니다. 임베딩 조회, 출력 헤드의 토큰 선택, 다중 토큰 예측 드래프트 모델까지 NPU에서 실행합니다.
- 모델 연산 전체의 NPU 실행
- 다중 토큰 예측 기반 추측 디코딩
- 소형 호스트를 전제로 한 설계
- 모델 내려받기, 실행, 대화 명령
04
공개 모델
Qwen, Gemma, Llama, Mistral, GLM, gpt-oss 등 공개 모델을 양자화해 Hugging Face에 공개합니다. Tensix NPU용 모델과 함께 llama.cpp에서 사용하는 GGUF, Apple silicon에서 사용하는 MLX 모델도 배포합니다.
- LLM, VLM, MoE, 하이브리드 모델
- 음성 인식, 음성 합성, 음성 향상 모델
- 원본 모델 대비 정확도를 담은 모델 카드
- 이미지 생성, VLA 로봇 정책 모델로 범위 확대
모델에서 기기까지
양자화
공개 모델의 가중치를 NPU 형식으로 양자화합니다.
검증
양자화한 가중치로 GPU와 CPU에서 추론해 원본 모델과 정확도를 비교합니다.
탑재
가중치를 다시 양자화하지 않고 NPU 타일 형식으로 패킹해 기기에 탑재합니다.
실행
자체 커널과 런타임으로 기기 안에서 추론합니다.
주요 기능
- NPU 블록 부동소수점 형식(BFP4, BFP8) 양자화
- 레이어별 혼합 정밀도 구성
- 디코딩용 행렬 곱셈과 출력 헤드 커널
- 선택한 전문가만 읽는 MoE 커널
- Gated DeltaNet, Mamba-2 등 선형 어텐션 커널
- 다중 토큰 예측 드래프트 모델의 NPU 실행
- 원본 모델 대비 정확도를 담은 모델 카드
- GPU, CPU용 GGUF와 Apple silicon용 MLX 양자화 모델
도입 목표
- 통신 없이 기기 안에서 동작하는 AI 모델
- 현장 데이터를 외부로 보내지 않는 추론
- 소형 호스트로 구성하는 엣지 AI 장비
자주 묻는 질문
- 어떤 모델을 최적화하나요?
- Qwen, Gemma, Llama, Mistral, GLM, gpt-oss 등 공개 LLM과 VLM, 음성 인식, 음성 합성 모델을 다룹니다. 이미지 생성 모델과 VLA 로봇 정책 모델로 범위를 확대하고 있습니다.
- 양자화하면 정확도가 저하되지 않나요?
- 공개 양자화 기법인 GPTQ로 양자화 오차를 아직 양자화하지 않은 가중치에 분산해 줄입니다. 각 모델 카드에 텐서별 형식과 원본 모델 대비 정확도를 공개합니다.
- 공개한 도구로 직접 실행할 수 있나요?
- 양자화 도구, NPU 커널, 런타임을 GitHub에 Apache 라이선스로 공개했습니다. 세 도구 모두 Tenstorrent의 공개 소프트웨어 스택 위에서 동작하며, 장비가 없으면 Tenstorrent 시뮬레이터로 실행할 수 있습니다.
- 자체 모델이나 장비에도 적용할 수 있나요?
- 대상 모델과 장비, 필요한 정확도와 응답 속도를 알려 주시면 적용 범위를 검토합니다.