Kaizen 2
kaizen 1 편에서 이어진다.
기능별 서버, 인프라 분리
사실 이전의 모든 과정들로 더 이상 메모리 이슈는 되지 않았다. 어느 정도 안전한 수위를 유지하게 되었으며, 메모리 알람도 더 이상 안 나게 되었다. 다만 그럼에도 불구하고 서버가 오래 떠 있으면, 예전처럼 급격하게는 아니지만 메모리 수치가 슬금슬금 올라가긴 했다.
이제 이게 시급한 이슈가 아니게 된 시점에서 이걸 고치기 위해서 뭘 해야겠다고 생각하지는 않았고, 그냥 해당 서버에 이런저런 기능이 덕지덕지 붙은 형태였기 때문에, 대 분류 기준으로 서버를 좀 나눠야 양 쪽 서비스가 목적대로 따로 운영할 수 있다는 생각이 들었다.
그래서 기존에 이미지 처리 기능 및 텍스트 기능 처리 붙어있던 걸 인프라랑 소스 코드 분리해서 나누는 작업을 하게 됐다.
이 작업도 순탄치는 않았지만 어찌저찌 끝내고 나니까 그제서야 비로소 진짜 메모리가 계속 올라가는 부분이 이미지 처리에만 있다는 걸 확인할 수 있게 됐다.
쓰레드풀 -> 비동기
이쯤되면 궁금해서라도 이미지 처리 기능에는 왜 누수가 있는 걸까가 궁금해져서 고쳐보려고 했었다만, 메모리 누수가 있다고 말하기는 애매했었다. 정말 작은 정도의 메모리 누수가 요청마다 있었어서, gc가 안 돌아서 남았던 부분이란 부분은 죄다 변경했었는데, 고쳐지진 않았다.
그래서 더 찾아보지는 않고, 예전부터 고치고 싶었던 threadpool로 구현된 병렬성을 비동기로 바꾸는 작업을 진행했다. 해당 서버에서 하는 작업의 대부분은 I/O 작업이었는데, 이걸 threadpool 로 성능 유지를 하다보니 몇 가지 추가 설정도 해줘야되고 성능이 그렇게 좋지도 않았다.
어차피 I/O 기반이면 비동기로 해도 문제 없을 거고, 블록킹 있을만큼 거대한 작업도 딱히 보이지 않았다.
그래서 비동기로 변경했었고 솔직한 마음으로는 성능 개선도 좀 있기를 바랐다. 근데 생각보다 자원 활용율도 크게 안 늘었다. 그냥 로직 단순화랑 병렬성 구현이 일관되게 바뀌었다는 점에 만족해야했다.
그리고 싱글 쓰레드로 바꾸니까 예상치 못한 수확으로 메모리 누수도 사라졌다.
쓰레드는 프로세스처럼 사용할 때 돼서 초기화되는 것도 아니라서 이거 왜 없어진 건지 확실하게 알 수는 없지만, 지금 그나마 의심이 가는건 GC가 일정 횟수의 연산이 일어난 이후에나 이루어지는데, 기존에 쓰레드를 여러 개로 쪼개놨을 때는 GC 연산이 트리거 되는 연산이 잘 이루어지지 않게 되는 뭔가가 있었던 게 아닐까 정도로 생각하고 있다. 어찌됐건 쓰레드도 독자 메모리 쓰는 게 좀 있으니까 그게 줄어서 그렇게 보이는 건가 싶기도 하고.
전체 데이터 갱신 -> 증분 데이터 갱신
kaizen 1에서도 말했다시피 해당 서비스는 꽤 큰 데이터를 서버에 들고 있어야되는 서비스여서, 변경사항이 있을 때마다 꽤나 큰 데이터를 DB로부터 중계서버를 거쳐서 가져오고, 이를 서버 행동에 반영을 해야했다.
이게 어떤 의미에서는 참 화끈했는데, 큰 데이터를 가져오지만 그걸 일일히 변했는지 같은 거는 체크 안 하고 그냥 다 새로 갱신해버렸다.
그렇다보니까 최대 장점은 단순한 구현이었는데, 문제는 이게 데이터가 너무 커져서 해당 연산을 위처럼 구현하면, 해당 시간동안 처리가 밀려서 원하는 레이턴시가 나올 수가 없었다.
그래서 이걸 해결하기 위해서 아래 두 가지 정도가 고려되었다.
- 증분 변경을 통해 데이터 최종일관성정도만 지키기
- 프로세스간 공유데이터가 있는데 이거 좀 더 빠른 방법으로 교체하기
위처럼 생각은 했었지만 이런저런 일이 있어서 결국 마지막 작업은 내가 하진 않았다.
소회
해당 서비스는 일단 회사 내에서 많이 쓰이는 서비스였고, 고칠만한 충분한 가치가 있는 서비스였으며, 내가 맡아본 가장 많은 트래픽을 받는 서비스였다.
처음에 인수인계 받았을 때는 트래픽 많이 받아야되는 서버라는 점과 장애 생기면 여러 군데에 영향이 가는 서비스라는 게 부담이기도 했지만, 하다보니까 좋은 방향으로든 안 좋은 방향으로든 익숙해졌다.
나는 애시당초 성향이 더 이상 안 쓰이거나, 쓰지 않을 기능이면 다 지워버리는 게 모토고, 어떤 기능을 구현하는 데 더 "멋진" 방법이 있더라도 간단한 방법이 최고라고 생각하는 편이라, 처음부터 내가 짰더라면 아마 이런 경험을 해볼 수 없었을 것이다.
이 서비스 맡고 있는 동안은 불안해서라도 시간 비면 모니터링 툴 보고, 알람 조정하고, 주말에 어디 갈 때도 노트북을 들고 다녔었다. 아직도 고칠 곳이 많이 있는 서비스였고 다 고치지 못해 아쉽기도 하지만, 이 서비스 유지보수하고 개발하면서 정말 많이 배우고 많이 경험해볼 수 있었다.
처음으로 그 때는 맞고 지금은 틀리다. 같은 말에 대해서 체험해볼 수 있었고,
데이터 양이 늘어나는 것만으로도 고려해야되는 게 점점 많아지는 것도 처음 겪어봤다.
좋은 사수 분과 이런 서비스를 책임져볼 수 있었던 것이 어쩌면 이 회사에 가장 감사한 부분일지도 모르겠다는 생각을 한다.