https://pgxlab.github.io/pgx-blog/tags/%EC%9A%B4%EC%98%81/Recent content in 운영 on PGX Lab — local AI 클러스터 기록Hugoko-krTue, 29 Sep 2026 13:00:00 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-29-full-poweroff-drill/Tue, 29 Sep 2026 13:00:00 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-29-full-poweroff-drill/정전에 대비해 GB10 4대를 스크립트로 순차 정지하고, IoT 플러그로 전원을 다시 넣어 자동 부팅→서빙 복구까지 해 봤다. 정지 2분, 서빙 복구 약 16분. 서빙은 멀쩡히 돌아왔지만 4대 중 3대는 부팅이 끝나지 않은 상태였다 — 그래픽 부팅 스플래시가 한 시간 넘게 멈춰 있었고, 그 뒤에 걸린 클럭 설정 유닛들이 노드마다 다르게 실행됐다. CPU 캡은 10분마다 다시 쓰이고 있었지만 실제로는 아무 효과가 없었다.https://pgxlab.github.io/pgx-blog/posts/2026-09-05-mola-mola-resuscitation/Sat, 05 Sep 2026 12:46:52 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-05-mola-mola-resuscitation/사인이 매번 다른 크래시를 더는 쫓지 않기로 했다. 대신 죽어 있는 시간을 없앴다. 워치독을 만들고, 배포 직후 그 워치독 때문에 더 망가지고, 고쳐서 첫 자동 소생을 보기까지.https://pgxlab.github.io/pgx-blog/posts/2026-09-05-two-agents-gpu-truce/Sat, 05 Sep 2026 07:59:58 +0900https://pgxlab.github.io/pgx-blog/posts/2026-09-05-two-agents-gpu-truce/추론 서버를 세 번 죽인 범인은 커널 버그가 아니라 같은 GPU를 탐낸 두 번째 프로그램이었다. 그리고 그 두 번째 프로그램은 또 다른 AI 에이전트였다.