@Override

이전에 제가 이전에 공부한다고 여기저기서 보고 정리했던 워드 문서에서 주워 오는거라... 정리가 미흡합니다. 그냥 쉽게 보시기 바랍니다. Kafka는 topic의 Partition이라는 단위로 쪼개서 클러스터의 각 서버들에 분산되어 저장됩니다. 뭔소린지 ㅎ 만약 고가용성을 위해서 복제 설정을 하게 되면 이것 또한 Partition 단위로 각 서버들에 분산되어 복제되고 장애가 발생하면 Partition 단위로 fail over가 수행됩니다. 각 Partition은 0부터 1씩 증가하는 offset 값을 메시지에 부여하는데 이 값은 각 Partition내에서 메세지를 식별하는 ID로 사용되게 됩니다. offset 값은 Partition마다 별도로 관리되므로 topic 내에서 메시지를 식별할 때는 Partit..

Backend로 이동하고 나서 제가 했던 시스템들의 구성들에 대해서 생각하게 되었습니다. 단순하게 코딩을 하는 문제는 너무 쉬운 문제였기 때문에 이것들이 어떻게 되어 있고 어떠한 역사를 가지는지에 대해서 알고 싶었고 그것을 조금 정리해보고 싶었습니다. 틀린점 있으면 댓글 남겨주세요 ^^ 1. 역사 2011년 LinkedIn에서 개발된 분산 메시징 시스템으로 오픈소스로 공개되었음. 대용량의 실시간 로그처리에 특화된 아키텍쳐 설계를 통하여 기존 메시지 시스템보다 우수한 TPS를 보여줍니다. 2. 기본 구성 발행과 구독의 publish-subscribe 모델을 기반으로 동작하게 되며 producer, consumer, broker로 구성됩니다. Kafka의 broker는 topic을 기준으로 메시지를 관리하게..