OTKRyu

Global latency

latencyconcurrencydns

목차
  1. 1차 부하 테스트
  2. 2차 부하 테스트

최근에 참여하고 있는 제품의 글로벌 환경에서 부하 테스트를 한 적이 있었다. 해당 테스트를 진행하면서 겪었던 경험이 처음 겪어보는 것들이었어서, 블로그에 기재를 하려고 한다.

1차 부하 테스트

사실 1차 부하 테스트는 글로벌 환경과는 크게 관련이 없었다. 다만 여기서 나온 현상도 처음 겪어보는 거라서 함께 기재한다.

1차 부하 테스트 당시 응답 속도가 너무 느리다는 피드백이 와서, 원인이 무엇인지 파악하기 위해 이것저것 살펴봤었다.

다만 나는 해당 제품 메인 개발자가 아니었기도 하고, 레이턴시 문제는 대체로 네트워크 쪽에 있다고 생각했었기 때문에 원인을 제대로 집어내지 못했었다.

이 때 해당 제품 메인 개발자 분께서 내놓은 해결책은 스케일 아웃을 하는 것이었다.

처음에는 서버 응답 속도가 느려졌는데 스케일 아웃을 한다고 해결이 되나 싶었다. 생각하기로는 처리량이 적어서 500이 나갔다거나 했을 때 스케일 아웃이 유효한거지, 모든 응답이 느리면 이건 서버 로직이 문제거나 네트워크 문제라고 생각했기 때문이다.

근데 스케일 아웃으로 해결이 됐다.

원인은 해당 서버가 이벤트 루프 방식을 사용하고 있었다는 점이다.

많이들 알겠지만 이벤트 루프 방식을 쓰고 있다는 것은 한 서버에 메인 프로세스를 여러 개 띄운 게 아닌 이상, 하나의 프로세스에서 요청을 받고, 요청을 내보내는 것까지 하나의 프로세스에서 주관한다는 것이다.

즉 쓰레드를 쓰더라도 메인 프로세스는 모든 요청이 지나가는 통로이기 때문에, 정말 작은 양의 cpu 연산만 사용한다 하더라도 요청이 많으면 모든 응답이 느려진다는 것이다.

이론적으로 배울 때는 이벤트루프 방식에서 주의해야할 것은 cpu bound 요청이라고 배운 것도 있어서 크게 의심하지를 못했다. 해당 서버에서 이루어지는 cpu bound 기능이 많지 않았기 때문이다. 게다가 메트릭 상으로는 전체 cpu의 30퍼센트도 쓰지 않았다.

그리 크지 않은 cpu bound 기능이라도, 많은 요청이 이벤트 루프에 들어오면 느려질 수 있다는 경험은 처음 겪어봐서 좀 신기했다. 사실 그만큼의 트래픽을 겪을만한 제품을 만들어본 적도 없었기도 했다.

2차 부하 테스트

1차 부하 테스트가 진행되고 난 이후에 환경을 바꾸어 2차 부하 테스트가 진행되었다.

분명 1차에서 괜찮은 응답 속도가 나왔기 때문에 무엇이 문제인지 알기가 어려웠다.

무엇보다 서버에서의 응답 속도는 괜찮게 나왔기 때문에, 이전처럼 서버의 문제는 아닌 것으로 보였다.

처음 의심했던 것은 요청이 들어오는 게이트웨이가 지역에 맞지 않게 설정되어 있는 지를 의심했었다.

글로벌 서비스는 여러 곳에 서버가 떠 있다 보니, 어떤 방식으로든 트래픽이 가까운 쪽의 서버쪽으로 전달이 될 수 있도록 해야하는데, 이번 경우에서는 게이트웨이를 두어 가까운 환경끼리 통신이 이루어질 수 있도록 되어있었다.

즉 게이트웨이가 틀어질 경우 미국에서 보낸 요청이 미국 서버를 냅두고 한국 서버까지 올 가능성이 있었다.

다만 확인해본 결과 그런 경우도 아니었고, 점점 더 원인을 알 수가 없게 되었다.

이 문제를 해결하기 위해 서비스 연동하는 부서, 인프라 관리해주는 부서, 서비스 제공해주는 부서까지 붙어서 원인을 찾은 결과, 연동하는 부서의 설정 문제가 있었다.

대부분 알다시피 한 번의 요청이 이루어지기 위해서는 겪어야하는 단계가 많다. 이번 경우에는 대강 아래와 같은 단계가 필요했다.

요청 -> 네트워크 -> DNS -> 네트워크 -> 게이트웨이 -> 네트워크 -> 서버

의심했던 것은 게이트웨이 앞 뒤의 네트워크 경로였다. 게이트웨이를 이상한 곳으로 지정하면 다른 대륙간 통신이 될 수도 있었기 때문이다.

근데 문제는 DNS 설정이었다.

요청하는 쪽에서 잘못된 DNS 설정을 하니 DNS는 잘못된 게이트웨이를 지정해줬고, 게이트웨이는 자신을 기준으로 응답이 빠른 곳을 돌려주다보니 당연히 잘못된 서버에 요청을 전달한 것이다. 그 결과 대륙 간 통신이 되어 응답 속도는 느려지게 되었다.

이 원인을 보고 상상도 못한 곳에서 문제가 터질 수 있다는 경험이 됐다. 대체로 DNS가 잘 못 지정될 일이 있다는 생각 자체를 못해봤기 때문이다.

추가로 지금 생각해보면 만약 환경별로 로그가 모두 구분되어 있고, 어디서 요청한 것인지까지 남겼더라면, 원인까지는 몰라도 트래픽은 추적할 수 있었을 것 같다고 생각이 든다.

분명 다른 대륙에서 요청했다고 했는데 요청을 처리한 로그는 별개의 대륙에서 찍혔더라면, 어딘지 모르겠지만 트래픽이 가까운 곳으로 지정되지 않았다는 것 정도는 파악할 수 있었을 것 같다.

다만 이 정보는 게이트웨이에서 가공해서 주는 거기도 하고, ip를 가지고 대륙 특정하는 기능같은 것도 쓰고 있지 않기는 해서 실현이 가능할지는 모르겠다.