검증자 문제 해결

​

시작하기 전에: 중요 안전 수칙

​

일반적인 문제와 해결 방법

​

업그레이드 높이에서 노드가 멈춤

• 노드 로그에 예정된 업그레이드 높이에서 체인이 중단되었다고 표시됨
• latest_block_height가 중단 높이를 넘어 진행되지 않음

1. 노드 중지
2. ~/.injectived/data/priv_validator_state.json 백업
3. 새 바이너리 설치
4. 확인: injectived version
5. 노드 시작

​

업그레이드 후 블록 헤더 해시 불일치

ERR prevote step: consensus deems this block invalid; prevoting nil
err="wrong Block.Header.LastResultsHash. Expected 284C339C..., got 694706724..."

1. 노드 중지
2. priv_validator_state.json 백업
3. 한 블록 롤백:
   injectived rollback
   
4. priv_validator_state.json 복원
5. 새 바이너리로 노드 시작

​

충돌 투표 경고

ERR Found conflicting vote from ourselves; did you unsafe_reset a validator?
height=181027006 module=consensus round=40 type=SIGNED_MSG_TYPE_PREVOTE

• 검증자에서 unsafe-reset-all 실행
• 오래되었거나 잘못된 priv_validator_state.json 복원
• 노드가 실행 중인 상태에서 priv_validator_state.json을 백업함(오래된 사본)
• 롤백 명령이 검증자 상태를 초기화함

• 올바른 priv_validator_state.json 백업(노드를 완전히 중지한 후 생성한 것)이 있는 경우: 복원 후 재시작하세요.
• 올바른 백업이 없는 경우: 즉시 노드를 중지하고 블록 생성이 재개될 때까지 기다린 후 재시작하세요. 잘못된 상태로 시작하면 이중 서명 위험이 있습니다.
• 서명 정보 확인:
  injectived query slashing signing-info <injvalcons_address>
  

​

검증자 툼스톤 처리됨(이중 서명)

injectived query slashing signing-info injvalcons1...
  tombstoned: true
  jailed_until: "9999-12-31T23:59:59Z"

• 동일한 서명 키로 노드 인스턴스 두 개를 실행
• 이전에 서명한 높이에서 재서명을 유발하는 오래된 priv_validator_state.json 복원
• 롤백으로 서명 상태가 초기화된 후 노드가 충돌하는 블록에 서명

• 영향을 받은 검증자의 툼스톤을 명시적으로 해제하는 거버넌스 제안 또는 업그레이드 핸들러
• 새 오퍼레이터 키로 새 검증자 생성(기존 위임을 잃음)

• 하드웨어 수준에서 단일 서명자를 보장하는 TMKMS 또는 Horcrux 사용
• 노드를 중지한 후 항상 priv_validator_state.json 백업
• 동일한 서명 키로 두 개의 노드를 동시에 실행하지 않기

​

스냅샷에서 복구

1. 노드를 완전히 중지
2. ~/.injectived/data/priv_validator_state.json 백업
3. 다른 곳에 백업되어 있지 않다면 ~/.injectived/config/priv_validator_key.json 백업
4. 신뢰할 수 있는 제공자로부터 스냅샷 다운로드:
   • Injective 팀이 보안 업그레이드 전이나 도중에 긴급 스냅샷을 공유할 수 있음
   • Polkachu Injective Snapshots (일반적으로 goleveldb)
   • 인시던트 중에 커뮤니티 검증자들이 긴급 스냅샷을 공유할 수 있음
5. 이전 데이터 제거:
   rm -rf ~/.injectived/data
   
6. 스냅샷을 ~/.injectived/data/에 압축 해제
7. 백업해 둔 priv_validator_state.json을 ~/.injectived/data/에 복원
8. priv_validator_state.json이 존재하고 올바른지 확인
9. 노드 시작

​

자신의 priv_validator_state.json을 반드시 보관해야 하는 이유

Block:  100  105  110  115  120  125  126
         |    |    |    |    |    |    |
         |    |    |    |    |    |    Chain resumes with new binary
         |    |    |    |    |    Chain halts here (upgrade height)
         |    |    |    |    |
         |    |    |    Snapshot taken at block 115
         |    |    |
         Your node has been signing every block...

{
  "height": "126",
  "round": 42,
  "step": 3,
  "signature": "...",
  "signbytes": "..."
}

1. 노드가 높이 115의 블록체인 데이터를 로드합니다
2. 블록 116-125를 재생(replay)하여 높이 126까지 따라잡습니다
3. 높이 126에서 합의에 진입하여 라운드 0부터 서명을 시작합니다
4. 그러나 네트워크에는 이미 이 높이에서 라운드 42까지의 여러분의 투표가 존재합니다
5. 노드가 높이 126에서 다른 블록 제안에 서명합니다(새 바이너리로 재생했기 때문에 다른 결과가 나올 수 있음)
6. 네트워크가 여러분의 검증자 키에서 나온 두 개의 충돌하는 서명을 감지합니다
7. 검증자는 이중 서명으로 툼스톤 처리됩니다. 영구적으로.

1. 노드 중지
2. priv_validator_state.json 백업(높이 126, 라운드 42로 기록되어 있음)
3. 데이터 디렉터리 삭제
4. 스냅샷 압축 해제(높이 115의 블록체인 데이터)
5. 백업해 둔 priv_validator_state.json을 데이터 디렉터리에 다시 복사
6. 노드 시작

1. 높이 115의 블록체인 데이터를 로드합니다
2. 블록 116-125를 재생하여 높이 126까지 따라잡습니다
3. 높이 126에서 서명 상태를 읽습니다: “나는 이미 라운드 42까지 서명했다”
4. 라운드 0-42를 건너뛰고 라운드 43이 될 때까지 새로 서명하지 않습니다
5. 충돌 투표가 없습니다. 검증자는 안전합니다.

grep db_backend ~/.injectived/config/config.toml

​

롤백이 멈추거나 실패함

• PebbleDB 백엔드: pebble에서의 롤백에는 알려진 문제가 있으며 무한정 멈출 수 있음
• 매우 큰 데이터베이스: 롤백 시간은 데이터베이스 크기에 비례함
• 손상된 WAL (Write-Ahead Log)

• PebbleDB 노드의 경우: 대신 스냅샷에서 복구
• 대용량 노드의 경우: 롤백이 30분 이상 완료되지 않으면 중단하고 스냅샷 사용
• goleveldb로의 전환을 고려하세요. PebbleDB는 공간 효율이 더 좋지만 롤백에 대한 검증이 덜 되어 있습니다

​

캐치업 중 라운드 회귀 오류

ERR Failed signing vote err="error signing vote: round regression at height 181027006.
Got 108, last round 141"

# Flag
--unsafe-consensus-timeout-precommit-delta=1ms

# Or environment variable
INJECTIVED_UNSAFE_CONSENSUS_TIMEOUT_PRECOMMIT_DELTA=1ms

​

AppHash 불일치

panic: Tendermint state.AppHash does not match AppHash after replay

1. 롤백 시도: injectived rollback
2. 롤백이 실패하거나 오류가 지속되는 경우: 스냅샷에서 복구
3. 복구 후에는 항상 priv_validator_state.json을 복원

​

업그레이드 후 센트리 노드가 멈춤

​

업그레이드 후 체인 정지(투표력 부족)

• 업그레이드 높이 이후 체인이 새 블록을 생성하지 않음
• 합의 라운드 번호가 계속 증가함(라운드 50, 100, 200+)
• 노드가 prevote와 precommit을 로그에 남기지만 블록이 커밋되지 않음
• latest_block_height가 중단 높이에 멈춰 있음

1. 체인이 업그레이드 높이에서 중단됩니다(예: 블록 125)
2. 업그레이드를 완료한 검증자들이 높이 126에서 합의에 참여하기 시작합니다
3. 각 라운드마다 네트워크가 블록 126을 확정하려 시도하지만, 투표력의 2/3 미만이 투표하고 있어 실패합니다
4. 라운드 번호가 증가하며 이 주기가 반복됩니다. 라운드 1, 2, 3, … 50, … 100+
5. 충분한 검증자가 업그레이드를 완료하고 온라인 상태가 될 때까지 계속됩니다

• 이미 업그레이드한 경우: 조치가 필요 없습니다. 노드는 참여 중이며 정족수에 도달하면 자동으로 다음 블록을 확정합니다. 노드가 라운드를 따라잡는 동안 로그에 라운드 회귀 오류가 표시될 것입니다. 이는 예상된 동작입니다(캐치업 중 라운드 회귀 오류 참조).
• 아직 업그레이드하지 않은 경우: 여러분이 부족한 투표력의 일부입니다. 체인이 재개될 수 있도록 가능한 한 빨리 업그레이드를 완료하세요.
• 진행 상황 모니터링: 얼마나 많은 검증자가 온라인 상태로 참여 중인지 확인:
  curl -s localhost:26657/consensus_state | jq '.result.round_state.votes'
  
• 검증자 채널에서 조율: 주요 업그레이드 중에는 검증자들이 일반적으로 검증된 검증자 채널에서 업그레이드 진행 상황과 투표력 비율을 추적하며 조율합니다.

​

다운타임으로 감금됨(툼스톤 아님)

• 검증자가 비활성 또는 감금 상태로 표시됨
• 서명 정보에 tombstoned: false가 표시됨
• 누락 블록 카운터가 높음

1. 노드가 실행 중이고 최신 블록까지 완전히 따라잡았는지 확인
2. 감금 해제:
   injectived tx slashing unjail \
     --from=<key_name> \
     --chain-id=injective-1 \
     --gas=auto \
     --gas-adjustment=1.5
   
3. 검증자가 다시 활성 상태인지 확인:
   injectived query staking validator <injvaloper_address>
   

​

조정 업그레이드 체크리스트

​

업그레이드 높이 이전

• 거버넌스 제안 또는 체인 팀으로부터 목표 halt-height 확인
• 새 바이너리 다운로드 및 검증(sha256 체크섬 확인)
• 노드 구성 또는 CLI 플래그에 --halt-height=<target_height> 설정
• Cosmovisor 사용 시: 올바른 업그레이드 디렉터리에 새 바이너리 배치
• priv_validator_state.json 백업
• 롤백이 필요할 경우에 대비해 스냅샷 제공자 파악
• 중단 높이까지의 체인 진행 상황 모니터링

​

업그레이드 높이에서

• 노드가 예정된 높이에서 중단되었는지 확인
• 노드를 완전히 중지(프로세스가 종료되었는지 확인)
  ps aux | grep injectived
  
• priv_validator_state.json 백업
• 새 바이너리 설치
• 버전 확인:
  injectived version
  

​

업그레이드 이후

• 새 바이너리로 노드 시작
• 합의 참여 여부를 로그로 모니터링
• prevote가 올바른지 확인(매 라운드마다 nil에 투표하지 않는지)
• 익스플로러에서 투표력 모니터링 (Mintscan)
• wrong Block.Header.LastResultsHash가 표시되면: 중지, 1블록 롤백, priv_validator_state.json 복원, 재시작
• 라운드 캐치업 오버라이드(--unsafe-consensus-timeout-precommit-delta)를 사용 중이라면: 안정화 후 제거
• 검증자가 서명 중인지 확인:
  curl -s localhost:26657/consensus_state | jq '.result.round_state["height/round/step"]'
  

​

모니터링 참조

​

합의 및 동기화 상태

# Current consensus state (height, round, step)
curl -s localhost:26657/consensus_state \
  | jq '.result.round_state["height/round/step"] | split("/") | {height: .[0], round: .[1], step: .[2]}'

# Latest block height
curl -s localhost:26657/status | jq '.result.sync_info.latest_block_height'

# Whether the node is still catching up
curl -s localhost:26657/status | jq '.result.sync_info.catching_up'

​

검증자 상태 점검

# Signing info (missed blocks, jail status, tombstone status)
injectived query slashing signing-info $(injectived tendermint show-validator)

# Validator status and jail state
injectived query staking validator <injvaloper_address> --output json | jq '.status, .jailed'

​

노드 구성

# Current binary version
injectived version

# Current priv_validator_state (check height/round/step)
cat ~/.injectived/data/priv_validator_state.json | jq

# Database backend
grep db_backend ~/.injectived/config/config.toml

​

프루닝 노드와 아카이벌 노드 비교

​

추가 리소스

• Injective 노드 실행
• Cosmovisor 설정
• 노드 업그레이드
• Cosmos 검증자 FAQ
• CometBFT 프로덕션 운영 가이드

​

스냅샷 리소스

​

Injective 제공 스냅샷

# Check latest available snapshot (Asia example)
curl -s https://storage.googleapis.com/injective-mainnet-snapshots-asia/status.json | jq

# Download the snapshot
wget <url from status.json>

# Extract
lz4 -d <snapshot_file>.tar.lz4 | tar xf - -C ~/.injectived/data/

​

커뮤니티 스냅샷 제공자

• Polkachu Injective Snapshots (일반적으로 goleveldb, 프루닝)
• HighStakes Injective Snapshots
• 인시던트 중에는 커뮤니티 검증자들이 검증자 채널에서 긴급 스냅샷을 공유할 수 있음

grep db_backend ~/.injectived/config/config.toml