6이라는 숫자가 병목이었다 — GB10 클러스터 동시성 실험과 RTX PRO 6000 벤치마크 비교
같은 모델·같은 TP=4로 5,718 tok/s를 찍은 트윗을 보고 우리 클러스터의 max-num-seqs를 6에서 64로 올려 실험했다. 합산 처리량 90→305 tok/s. 남은 20배 차이는 설정이 아니라 하드웨어다.
같은 모델·같은 TP=4로 5,718 tok/s를 찍은 트윗을 보고 우리 클러스터의 max-num-seqs를 6에서 64로 올려 실험했다. 합산 처리량 90→305 tok/s. 남은 20배 차이는 설정이 아니라 하드웨어다.