hobokai 님의 블로그

● CAP 이론 (CAP Theorem): 분산 시스템에서 다음 3가지 특성 중 최대 2개만 동시에 보장할 수 있다는 이론입니다. C - Consistency (일관성): - 모든 노드에서 동일한 시점에 동일한 데이터를 읽을 수 있음 - 분산된 모든 노드가 항상 같은 값을 가져야 함 A - Availability (가용성): - 시스템이 항상 읽기/쓰기 요청에 응답할 수 있음 - 일부 노드 장애가 있어도 서비스 중단 없이 동작 P - Partition Tolerance (분단 허용성): - 네트워크 분단(노드 간 통신 장애)이 발생해도 시스템이 계속 동작 - 분산 시스템에서는 네트워크 장애가 언젠가 발생한다고 가정 실제 시스템 분류: CP 시스템 (일관성 + 분..

목차클러스터링과 고가용성모니터링과 성능 최적화보안 설정프로덕션 모범 사례트러블슈팅클러스터링과 고가용성프로덕션 환경에서는 단일 장애점을 제거하고 높은 가용성을 확보해야 합니다.클러스터 구성3노드 클러스터 설정# 노드 1 (rabbit1)sudo rabbitmq-server -detached# 노드 2 (rabbit2)sudo rabbitmq-server -detachedsudo rabbitmqctl stop_appsudo rabbitmqctl join_cluster rabbit@rabbit1sudo rabbitmqctl start_app# 노드 3 (rabbit3)sudo rabbitmq-server -detachedsudo rabbitmqctl stop_appsudo rabbitmqctl join_clu..

목차Exchange 심화 이해Direct Exchange 패턴Topic Exchange 패턴Fanout Exchange 패턴Headers Exchange 패턴실전 메시징 패턴Exchange 심화 이해1편에서 배운 기본 개념을 바탕으로, 이제 RabbitMQ의 핵심인 Exchange를 자세히 알아보겠습니다.Exchange란?Exchange는 RabbitMQ의 라우터 역할을 합니다. Producer가 보낸 메시지를 어떤 Queue로 보낼지 결정하는 것이 Exchange의 역할입니다.# Exchange 선언channel.exchange_declare( exchange='my_exchange', exchange_type='direct', # 타입 지정 durable=True, ..

목차RabbitMQ란?핵심 아키텍처설치 방법기본 개념 이해다음 편 미리보기RabbitMQ란?RabbitMQ는 AMQP(Advanced Message Queuing Protocol)를 구현한 오픈소스 메시지 브로커입니다. LinkedIn에서 개발한 Kafka와 달리, RabbitMQ는 다양한 메시징 패턴을 지원하며 특히 마이크로서비스 아키텍처에서 널리 사용됩니다.왜 RabbitMQ를 선택해야 할까요?안정성과 신뢰성메시지 지속성과 전달 확인 보장클러스터링을 통한 고가용성 제공유연성다양한 메시징 패턴 지원 (pub/sub, point-to-point, RPC)여러 프로토콜 지원 (AMQP, MQTT, STOMP)관리 편의성직관적인 웹 관리 인터페이스풍부한 모니터링 기능생태계다양한 언어 클라이언트 라이브러리플러..

Apache Kafka 완벽 가이드 3편: 클러스터링과 프로덕션 운영목차Kafka 클러스터 구성모니터링과 성능 최적화보안 설정운영 자동화장애 대응과 복구Kafka 클러스터 구성프로덕션 환경에서는 고가용성과 확장성을 위해 Kafka 클러스터를 구성해야 합니다.3노드 클러스터 구성# docker-compose-cluster.ymlversion: '3.8'services: zookeeper1: image: confluentinc/cp-zookeeper:7.4.0 hostname: zookeeper1 ports: - "2181:2181" environment: ZOOKEEPER_SERVER_ID: 1 ZOOKEEPER_CLIENT_PORT: 2181 Z..

Apache Kafka 완벽 가이드 2편: Producer/Consumer 고급 기능과 Kafka Streams목차Producer 고급 기능Consumer 고급 패턴Kafka Streams 입문실시간 분석 시스템 구축성능 최적화 기법Producer 고급 기능1편에서 배운 기본 Producer를 발전시켜 프로덕션 환경에 적합한 고급 기능들을 살펴보겠습니다.커스텀 파티셔너기본 파티셔닝 로직을 대신해 비즈니스 요구사항에 맞는 파티셔닝을 구현할 수 있습니다.from kafka import KafkaProducerfrom kafka.partitioner.base import Partitionerimport hashlibclass UserLocationPartitioner(Partitioner): """사용자..

Apache Kafka 완벽 가이드 1편: 기초 개념과 설치목차Apache Kafka란?핵심 아키텍처설치 방법기본 개념 이해첫 번째 메시지 전송다음 편 미리보기Apache Kafka란?Apache Kafka는 LinkedIn에서 개발한 분산 이벤트 스트리밍 플랫폼입니다. 실시간으로 수백만 개의 메시지를 처리할 수 있는 고성능 메시지 브로커로, 현대적인 데이터 아키텍처의 핵심 구성 요소가 되었습니다.왜 Kafka를 선택해야 할까요?고성능과 확장성초당 수백만 개의 메시지 처리 가능수평적 확장을 통한 무제한 처리량 증대내구성과 신뢰성데이터 복제를 통한 장애 허용성디스크 기반 영구 저장으로 데이터 보존실시간 처리밀리초 단위의 낮은 지연시간스트림 처리를 통한 실시간 분석풍부한 생태계Kafka Connect, Ka..