https://pgxlab.github.io/pgx-blog/tags/rtx-pro-6000/Recent content in RTX PRO 6000 on PGX Lab — local AI 클러스터 기록Hugoko-krSat, 05 Sep 2026 13:49:00 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-05-concurrency-vs-rtx-pro-6000/Sat, 05 Sep 2026 13:49:00 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-05-concurrency-vs-rtx-pro-6000/같은 모델·같은 TP=4로 5,718 tok/s를 찍은 트윗을 보고 우리 클러스터의 max-num-seqs를 6에서 64로 올려 실험했다. 합산 처리량 90→305 tok/s. 남은 20배 차이는 설정이 아니라 하드웨어다.