https://pgxlab.github.io/pgx-blog/tags/%EC%9E%A5%EC%95%A0%EB%B6%84%EC%84%9D/Recent content in 장애분석 on PGX Lab — local AI 클러스터 기록Hugoko-krSat, 05 Sep 2026 12:46:52 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-05-mola-mola-resuscitation/Sat, 05 Sep 2026 12:46:52 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-05-mola-mola-resuscitation/사인이 매번 다른 크래시를 더는 쫓지 않기로 했다. 대신 죽어 있는 시간을 없앴다. 워치독을 만들고, 배포 직후 그 워치독 때문에 더 망가지고, 고쳐서 첫 자동 소생을 보기까지.https://pgxlab.github.io/pgx-blog/posts/2026-09-05-two-agents-gpu-truce/Sat, 05 Sep 2026 07:59:58 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-05-two-agents-gpu-truce/추론 서버를 세 번 죽인 범인은 커널 버그가 아니라 같은 GPU를 탐낸 두 번째 프로그램이었다. 그리고 그 두 번째 프로그램은 또 다른 AI 에이전트였다.https://pgxlab.github.io/pgx-blog/posts/2026-09-04-deepgemm-jit-crash/Fri, 04 Sep 2026 16:35:26 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-04-deepgemm-jit-crash/정상 종료 코드로 죽은 추론 서버, TileLang 대체 경로로의 우회, 그리고 ‘조용한 모니터링 장애’까지 — 4노드 클러스터 장애 하나를 끝까지 따라간 기록