운영

정전에 대비해 GB10 4대를 스크립트로 순차 정지하고, IoT 플러그로 전원을 다시 넣어 자동 부팅→서빙 복구까지 해 봤다. 정지 2분, 서빙 복구 약 16분. 서빙은 멀쩡히 돌아왔지만 4대 중 3대는 부팅이 끝나지 않은 상태였다 — 그래픽 부팅 스플래시가 한 시간 넘게 멈춰 있었고, 그 뒤에 걸린 클럭 설정 유닛들이 노드마다 다르게 실행됐다. CPU 캡은 10분마다 다시 쓰이고 있었지만 실제로는 아무 효과가 없었다.

사인이 매번 다른 크래시를 더는 쫓지 않기로 했다. 대신 죽어 있는 시간을 없앴다. 워치독을 만들고, 배포 직후 그 워치독 때문에 더 망가지고, 고쳐서 첫 자동 소생을 보기까지.

추론 서버를 세 번 죽인 범인은 커널 버그가 아니라 같은 GPU를 탐낸 두 번째 프로그램이었다. 그리고 그 두 번째 프로그램은 또 다른 AI 에이전트였다.