Opensearch cross-cluster replication
opensearch
elasticsearch가 버전 업하면서 유료 툴로 변경되자, 아마존사에서 무료 툴이었던 부분까지만 포크를 떠서 자체적으로 관리를 시작한 것이 opensearch다. 그렇기 때문에 elasticsearch와 대체로 유사하지만, 시간이 지나면서 점점 독자 노선으로 나아가고 있다.
관리하고 있는 곳이 아마존사이기 때문에, AWS에도 관리형 서비스로 등록되어 있다. 그래서 설정 최대한 덜하고 편하게 사용하고 싶다면 opensearch를 사용하는 것도 방법이다.
배경
여러 개의 클러스터를 운영하다보면, 한 클러스터의 정보를 다른 클러스터로 옮기고 싶을 때가 생긴다.
데이터를 전부 빼내서 다시 다른 클러스터로 옮기는 것도 방법이지만, elasticsearch계열은 대체로 모든 정보를 조회하는 데 적합하지 않은 편이다. 그나마의 방법이 자체적으로 제공하는 방법을 쓰는 것인데, 크게 두 가지 방법이 있다.
방법
첫 째로 원격 클러스터를 대상으로 하는 reindex이다. 원래는 클러스터 내부에서 인덱스 설정을 변경하거나 할 때, 기존 데이터를 일회성으로 새 인덱스로 옮기기 위해 사용하는 것이 reindex이다. 하지만 opensearch 관리형에서는 클러스터 간 원격 reindex를 지원한다.
두 번째 방법은 클러스터 간 복제를 걸어놓는 것이다. 첫 번째 방법과 다르게 두 번째 방법은 복제 설정이 걸려있는 한, 지속적으로 데이터가 생긴되어 데이터가 동일하게 유지된다.
이 복제에 관련해서 겪었던 헷갈린 점에 대해 작성하고자 한다.
헷갈렸던 점
헷갈리는게 크게 2가지 정도가 있다. 첫째는 이름이고, 두번째는 방식에 대한 명시가 안 되어 있다는 점이다.
첫 번째로 opensearch 쪽 문서를 보면 leader와 follower라는 용어를 쓴다. 전통적으로 사용하던 master, slave야 용어 자체의 문제가 있어서 더 이상 사용하지 않는다고 하더라도, 대체 단어로 primary, replica 라던가하는 그나마 쓰이는 용어가 있는데, 하필이면 leader, follower같은 독자적인 용어를 선정해 사용한다. 여기서 일단 헷갈리기 시작한다.
그래도 구조를 알면 master, slave가 각각 leader, follower에 해당한다는 것을 알 수 있으니, 누가 원본이고 누가 복제본인지는 금방 알 수 있다. 여기까지는 그래도 알아들을만 했다.
두 번째로 헷갈리는 것은 어떤 식으로 복제가 이루어지는 지에 대해 설명이 없다는 점이다. AWS에서 제공하는 서비스이니 IAM 권한이랑 접근 정책을 설정해야하는데, AWS 공식문서에도 push방식인지 pull방식인지 데이터가 어디서 요청해서 어디로 가는지, 어디가 inbound고 어디가 outbound인지 명시적으로 작성되어 있지가 않다.
지속적으로 leader와 follower에 대해서만 서술할 뿐, 어떤 방식으로 복제가 이루어지는 지에 대한 얘기가 없다.
그래서 공식문서를 보고 당시 생각으로는 다른 소프트웨어처럼 follower가 leader를 pull하는 방식이겠지 싶어서, leader에게 outbound로, follower는 inbound로 연결을 설정했다.
근데 이 방식으로는 작동을 안 해서 이것저것 설정해봤지만, 결국 클러스터 간 연결 설정 자체를 반대로 해야되는 거였다.
액세스 방식도 leader, follower로 설정이 설명되어 있어서, 클러스터 간 연결 설정, 접근 정책 설정, 복제 실행 커맨드까지 모두 헷갈렸다.
해결
클러스터 간 연결 설정을 반대로 바꾸고, 접근 정책은 양 쪽 클러스터에 다 해주다가 작동하길래 변경하지 않았다.
복제 실행 커맨드는 그나마 덜 헷갈려서 정상적으로 사용하게 되었다.
문서를 보고 한번에 이해할 수 있다면 다행이지만, 해보고 안 되면 연결 설정부터 반대로 설정해보는 것도 방법이다.
독자 노선이 꼭 나쁘다는 건 아닌데, 독자 노선을 걸을거면 일관성 있게 적거나 하다못해 자세한 작동 방식까지 적어줬으면 좋겠다.
참고
https://docs.aws.amazon.com/ko_kr/opensearch-service/latest/developerguide/replication.html