OTKRyu

Aws refresh instance error

awsauto-scaling

목차
  1. 설명
  2. 문제
  3. 해결

설명

aws auto scaling은 잘 알려진 aws 서비스 중 하나로, 트래픽 혹은 자원 사용률 같은 지표를 바탕으로 필요한만큼 컴퓨팅 자원을 추가로 혹은 줄여서 사용할 수 있게 해주는 서비스이다.

여기서 위 서비스를 하는 방식을 살펴보면 결국 필요한 만큼 미리 정해진 템플릿대로 새로운 인스턴스를 생성해 로드밸런서에 붙이거나, 반대로 필요하지 않은 인스턴스를 로드밸런서에서 떼어내고 종료하는 방식이다.

즉 aws는 가용성을 확보하기 위해 현재 떠있는 인스턴스 자체에는 종료하는 것외에는 작용하지 않는다. 그리고 신규 변경 사항을 인스턴스에 적용하기 위해서는 하나씩 본래 떠 있는 인스턴스를 종료하고 새로 띄워야한다.

이를 자동화 해주는 것이 refresh instance(인스턴스 새로고침)이다.

인스턴스 새로고침은 사용자가 설정한 대로 신규 인스턴스를 띄우고, 기존에 존재하는 인스턴스를 대체하는 기능으로, rolling 방식의 업데이트를 적용할 수 있다.

문제

필자는 회사에서 aws auto scaling을 통해 가용성을 확보하고 싶다는 요청에 따라 인프라를 구축하였고, 초기에는 업데이트할 일이 많지 않을 것이라고 하여 업데이트 방식에 신경을 크게 쓰지 않았다.

다만 모든 일이 계획한 대로 흘러가지 않듯이, 해당 앱도 변경사항이 계속 생겨나자 안정적으로 auto scaling group을 업데이트할 필요가 생겼다.

그래서 선택한 것이 aws에서 제공하는 refresh instance였다. 기본적으로 롤백 및 rolling 업데이트를 통해서 안정적이고, 중단없이 업데이트할 수 있다는 점이 주요했다.

refresh instance를 통해 변경하려던 사항은 아래와 같았다.

다만 실제 적용을 해보니 아래와 같은 문제가 생겼다.

이를 해결하기 위해서 시도한 방법은 아래와 같다.

해결

결국 refresh instance로는 업데이트를 못 하겠어서, auto scaling 설정을 변경하여 원래 인스턴스만큼 추가 인스턴스를 띄우고, 로드밸런서를 조작하여 신규 인스턴스로 트래픽이 흘러가게 한 뒤, 기존 인스턴스를 내리는 방식으로 작업을 하였다.

이게 다음 기회가 있거나 테스트 인프라가 있었다면 무엇이 원인이었는지 확인해보고 싶었지만, 아쉽게도 퇴사로 인해 다음 기회도 없었고, 비용의 문제로 테스트 인프라도 없었다.

다만 관련 에러의 원인으로 생각되는 목록정도는 추려볼 수 있었다.

이 문제는 결국 근본적으로는 아직도 해결이 되지 않았다. 이와 비슷한 경험을 가진 사람이나 해결해보신 분은 이메일로 경험을 공유해주면 감사하겠다.