GB10 4대 TP=4로 서빙 중인 GLM-5.3-Flash NVFP4를 밤새 재 봤다. 한국어 실프롬프트 처리량 sweep, 드래프터 k=7→3 비교, lm-eval 9종(MMLU 87.9 / KMMLU 64.5 / KorMedMCQA 85.4 / GSM8K 94.5 / HumanEval 75.0), 그리고 첫 토큰 logit만 읽어 결정을 내리는 ‘jevlike’ 실험 — TypeSafe Jev의 독립 벤치와 같은 데이터셋에서 비교했다.
node1의 GPU 클럭 캡이 조용히 풀려 SoC가 93℃까지 올랐다. 원인을 잡은 김에 uncapped / GPU 캡 / GPU+CPU 캡 세 조건을 동시성 32와 단일스트림 두 구간에서 측정했다. 결론: GPU 캡은 무손실로 전력 45%를 깎는 필수 레버, CPU 캡은 어느 구간에서도 속도만 잃는 함정이었다.
앞 글에서 GB10의 NVFP4를 ‘에뮬레이션’이라고 쓴 것은 틀렸다. 하드웨어도 빌드도 FP4를 지원하고, marlin은 레시피의 선택이었다. 그래서 FP4 텐서코어 경로로 바꿔 재봤더니 전 구간 같거나 느렸다. 왜 그런지, 그리고 flashinfer 경로는 왜 부팅조차 못 했는지.
같은 모델·같은 TP=4로 5,718 tok/s를 찍은 트윗을 보고 우리 클러스터의 max-num-seqs를 6에서 64로 올려 실험했다. 합산 처리량 90→305 tok/s. 남은 20배 차이는 설정이 아니라 하드웨어다.