벤치마크 on PGX Lab — local AI 클러스터 기록https://pgxlab.github.io/pgx-blog/tags/%EB%B2%A4%EC%B9%98%EB%A7%88%ED%81%AC/Recent content in 벤치마크 on PGX Lab — local AI 클러스터 기록Hugoko-krFri, 18 Sep 2026 12:00:00 +0900GLM-5.3-Flash 4노드 TP 벤치마크 — 처리량·정확도, 그리고 '생성 없는 결정'https://pgxlab.github.io/pgx-blog/posts/2026-09-18-glm53-benchmark/Fri, 18 Sep 2026 12:00:00 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-18-glm53-benchmark/GB10 4대 TP=4로 서빙 중인 GLM-5.3-Flash NVFP4를 밤새 재 봤다. 한국어 실프롬프트 처리량 sweep, 드래프터 k=7→3 비교, lm-eval 9종(MMLU 87.9 / KMMLU 64.5 / KorMedMCQA 85.4 / GSM8K 94.5 / HumanEval 75.0), 그리고 첫 토큰 logit만 읽어 결정을 내리는 ‘jevlike’ 실험 — TypeSafe Jev의 독립 벤치와 같은 데이터셋에서 비교했다.GPU 캡은 필수, CPU 캡은 함정 — GB10 클러스터 열·전력 캠페인https://pgxlab.github.io/pgx-blog/posts/2026-09-13-thermal-campaign/Sun, 13 Sep 2026 17:30:00 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-13-thermal-campaign/node1의 GPU 클럭 캡이 조용히 풀려 SoC가 93℃까지 올랐다. 원인을 잡은 김에 uncapped / GPU 캡 / GPU+CPU 캡 세 조건을 동시성 32와 단일스트림 두 구간에서 측정했다. 결론: GPU 캡은 무손실로 전력 45%를 깎는 필수 레버, CPU 캡은 어느 구간에서도 속도만 잃는 함정이었다.정정: DGX Spark의 FP4는 네이티브다 — 그리고 그걸 켜도 빨라지지 않았다https://pgxlab.github.io/pgx-blog/posts/2026-09-05-gb10-fp4-native-moe-backend/Sat, 05 Sep 2026 16:20:00 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-05-gb10-fp4-native-moe-backend/앞 글에서 GB10의 NVFP4를 ‘에뮬레이션’이라고 쓴 것은 틀렸다. 하드웨어도 빌드도 FP4를 지원하고, marlin은 레시피의 선택이었다. 그래서 FP4 텐서코어 경로로 바꿔 재봤더니 전 구간 같거나 느렸다. 왜 그런지, 그리고 flashinfer 경로는 왜 부팅조차 못 했는지.6이라는 숫자가 병목이었다 — GB10 클러스터 동시성 실험과 RTX PRO 6000 벤치마크 비교https://pgxlab.github.io/pgx-blog/posts/2026-09-05-concurrency-vs-rtx-pro-6000/Sat, 05 Sep 2026 13:49:00 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-05-concurrency-vs-rtx-pro-6000/같은 모델·같은 TP=4로 5,718 tok/s를 찍은 트윗을 보고 우리 클러스터의 max-num-seqs를 6에서 64로 올려 실험했다. 합산 처리량 90→305 tok/s. 남은 20배 차이는 설정이 아니라 하드웨어다.