Aws refresh instance error
설명
aws auto scaling은 잘 알려진 aws 서비스 중 하나로, 트래픽 혹은 자원 사용률 같은 지표를 바탕으로 필요한만큼 컴퓨팅 자원을 추가로 혹은 줄여서 사용할 수 있게 해주는 서비스이다.
여기서 위 서비스를 하는 방식을 살펴보면 결국 필요한 만큼 미리 정해진 템플릿대로 새로운 인스턴스를 생성해 로드밸런서에 붙이거나, 반대로 필요하지 않은 인스턴스를 로드밸런서에서 떼어내고 종료하는 방식이다.
즉 aws는 가용성을 확보하기 위해 현재 떠있는 인스턴스 자체에는 종료하는 것외에는 작용하지 않는다. 그리고 신규 변경 사항을 인스턴스에 적용하기 위해서는 하나씩 본래 떠 있는 인스턴스를 종료하고 새로 띄워야한다.
이를 자동화 해주는 것이 refresh instance(인스턴스 새로고침)이다.
인스턴스 새로고침은 사용자가 설정한 대로 신규 인스턴스를 띄우고, 기존에 존재하는 인스턴스를 대체하는 기능으로, rolling 방식의 업데이트를 적용할 수 있다.
문제
필자는 회사에서 aws auto scaling을 통해 가용성을 확보하고 싶다는 요청에 따라 인프라를 구축하였고, 초기에는 업데이트할 일이 많지 않을 것이라고 하여 업데이트 방식에 신경을 크게 쓰지 않았다.
다만 모든 일이 계획한 대로 흘러가지 않듯이, 해당 앱도 변경사항이 계속 생겨나자 안정적으로 auto scaling group을 업데이트할 필요가 생겼다.
그래서 선택한 것이 aws에서 제공하는 refresh instance였다. 기본적으로 롤백 및 rolling 업데이트를 통해서 안정적이고, 중단없이 업데이트할 수 있다는 점이 주요했다.
refresh instance를 통해 변경하려던 사항은 아래와 같았다.
- AMI 이미지 변경
- instance type 변경
- user-data 변경(시작 스크립트 변경)
다만 실제 적용을 해보니 아래와 같은 문제가 생겼다.
- 실행은 되나 aws에서 기존의 인스턴스들을 작업대상으로 인지하지 못함
- 고로 실행되자마자 스캔만 하고, 작업할 대상이 없으니 그대로 refresh instance가 종료되어버림
이를 해결하기 위해서 시도한 방법은 아래와 같다.
- 일치항목 건너뛰기
- 같은 시작 템플릿을 써서 혹시나 인식을 못하나하는 생각으로 시도해봤지만, 버전이 다른데 인식 못 할리가 없었다.
- 그 외 다른 항목들 조건 수정해보기
- 최소 정상 백분율 조정
- 인스턴스 워밍업 시간 조정
- 등등
해결
결국 refresh instance로는 업데이트를 못 하겠어서, auto scaling 설정을 변경하여 원래 인스턴스만큼 추가 인스턴스를 띄우고, 로드밸런서를 조작하여 신규 인스턴스로 트래픽이 흘러가게 한 뒤, 기존 인스턴스를 내리는 방식으로 작업을 하였다.
이게 다음 기회가 있거나 테스트 인프라가 있었다면 무엇이 원인이었는지 확인해보고 싶었지만, 아쉽게도 퇴사로 인해 다음 기회도 없었고, 비용의 문제로 테스트 인프라도 없었다.
다만 관련 에러의 원인으로 생각되는 목록정도는 추려볼 수 있었다.
- 인스턴스 축소 보호
- refresh instance를 하려면 신규 인스턴스를 띄우고 안정된 뒤 기존 인스턴스를 내려야하는데, 축소 보호로 인해 내릴 수 없기 떄문에 refresh instance 측에서 업데이트할 게 없다고 판단한 거 아닐까 하는 추론이다. 현재로서는 가장 유력한 후보다.
- 워밍 업 관련 인스턴스 설정
- aws 인스턴스 워밍업 시간에 대해서 이해가 부족해서 설정에 실패했나란 생각도 해봤는데, 이 경우에는 신규 인스턴스가 올라간 후에 워밍 업 시간과 관련하여 실패하고 롤백되는 과정이 필요해 보인다. 다만 위 현상에서 봤을 때는 신규 인스턴스가 뜨지조차 않았어서 유력해보이진 않는다.
- 오토 스케일링이 불가능한 인스턴스 타입
- 인스턴스 타입중에는 오토 스케일링이 불가능한 타입이 있어서, 가끔 이런 이유로 실패하기도 한다고 한다. 다만 기존 인스턴스 타입에서 더 낮은 사양으로 변경하는 건이었어서, 이 것도 유력해보이진 않는다.
- 그 외 여러 요인
- 문서상으로는 실패요인에 vpc, subnet 등 여러 요인이 있을 수 있다고 하는데, vpc나 subnet들의 설정들이 그렇게 특수하지 않다고 생각해서 이 것도 가능성이 낮아보인다.
이 문제는 결국 근본적으로는 아직도 해결이 되지 않았다. 이와 비슷한 경험을 가진 사람이나 해결해보신 분은 이메일로 경험을 공유해주면 감사하겠다.