이벤트 기반 아키텍처와 백엔드 서비스 연동: Kafka와 RabbitMQ 활용

이벤트 기반 아키텍처란 무엇인가?

이벤트 기반 아키텍처(Event-driven Architecture, EDA)는 비동기 메시징과 이벤트 기반 시스템으로 구성된 아키텍처입니다. 이벤트 기반 아키텍처는 이벤트를 중심으로 시스템이 동작하도록 설계되어 있습니다. 이벤트는 시스템에서 일어나는 모든 사건을 나타내며, 이벤트가 발생하면 이를 처리하기 위한 동작을 수행합니다.

이벤트 기반 아키텍처는 분산 시스템에서 매우 효과적입니다. 이벤트가 발생하면 해당 이벤트를 처리하는 서비스만 동작하게 되므로, 전체 시스템이 불필요하게 부하를 받지 않아도 됩니다. 또한, 이벤트 기반 아키텍처는 유연하고 확장성이 높아서, 대규모 시스템에서 사용하기에 적합합니다.

Kafka와 RabbitMQ 소개

Kafka와 RabbitMQ는 분산 메시징 시스템으로, 이벤트 기반 아키텍처에서 사용되는 대표적인 솔루션입니다. 둘 다 비동기 메시징을 지원하며, 대용량 데이터를 처리할 수 있습니다.

Kafka

Kafka는 LinkedIn에서 개발된 오픈소스 분산 메시징 시스템입니다. Kafka는 대량의 데이터를 처리하고, 이를 실시간으로 전달할 수 있는 고성능 메시지 큐입니다. Kafka는 대규모 데이터 처리에 적합하며, 안정적인 메시지 전달과 높은 처리량을 보장합니다. Kafka는 대용량 데이터 스트림 처리, 로그 처리, 이벤트 기반 아키텍처 등 다양한 분야에서 사용됩니다.

RabbitMQ

RabbitMQ는 Erlang으로 개발된 AMQP(Advanced Message Queuing Protocol) 프로토콜을 지원하는 오픈소스 메시지 브로커입니다. RabbitMQ는 안정적인 메시지 전달과 큐, 라우팅, 메시지 상태 관리 등의 기능을 제공합니다. RabbitMQ는 다양한 언어와 프로토콜을 지원하며, 대규모 분산 시스템에서 사용할 수 있습니다.

백엔드 서비스와의 연동 방법

이벤트 기반 아키텍처에서는 각각의 서비스가 이벤트를 발행하고, 이벤트를 구독하는 다른 서비스와 연동합니다. 이벤트를 발행하는 서비스는 이벤트를 발행할 때마다 메시지 브로커에 이벤트를 보내고, 이벤트를 구독하는 서비스는 메시지 브로커에서 이벤트를 가져와 처리합니다.

이벤트를 발행하는 서비스에서는 Kafka나 RabbitMQ와 같은 메시지 브로커를 사용하여 이벤트를 발행합니다. 이벤트를 발행하는 코드는 아래와 같습니다.

@Service
public class EventPublisher {

    private final KafkaTemplate kafkaTemplate;

    public EventPublisher(KafkaTemplate kafkaTemplate) {
        this.kafkaTemplate = kafkaTemplate;
    }

    public void publishEvent(String topic, String message) {
        kafkaTemplate.send(topic, message);
    }
}

이벤트를 구독하는 서비스에서는 Kafka나 RabbitMQ와 같은 메시지 브로커를 사용하여 이벤트를 구독합니다. 이벤트를 구독하는 코드는 아래와 같습니다.

@Service
public class EventSubscriber {

    private final KafkaConsumer kafkaConsumer;
    private final EventProcessor eventProcessor;

    public EventSubscriber(KafkaConsumer kafkaConsumer, EventProcessor eventProcessor) {
        this.kafkaConsumer = kafkaConsumer;
        this.eventProcessor = eventProcessor;
    }

    @PostConstruct
    public void subscribeEvent(String topic) {
        kafkaConsumer.subscribe(Collections.singleton(topic));
        while (true) {
            ConsumerRecords records = kafkaConsumer.poll(Duration.ofMillis(500));
            for (ConsumerRecord record : records) {
                eventProcessor.processEvent(record.value());
            }
        }
    }
}

Kafka와 RabbitMQ를 활용한 이벤트 기반 아키텍처 구현 방법

Kafka와 RabbitMQ를 사용하여 이벤트 기반 아키텍처를 구현하는 방법은 크게 두 가지가 있습니다. 첫 번째 방법은 Kafka와 RabbitMQ를 직접 사용하여 이벤트를 발행하고 구독하는 것이며, 두 번째 방법은 Spring Cloud Stream과 같은 프레임워크를 사용하여 Kafka와 RabbitMQ를 추상화하여 사용하는 것입니다.

Kafka와 RabbitMQ를 직접 사용하는 방법

Kafka와 RabbitMQ를 직접 사용하여 이벤트를 발행하고 구독하는 방법은 각각의 메시지 브로커에 대한 설정과 연결, 메시지 발행과 구독을 직접 구현해야 합니다. 이 방법은 구현이 간단하고, 메시지 브로커에 대한 세부적인 설정을 직접 제어할 수 있어서 유연성이 높습니다.

Kafka와 RabbitMQ를 직접 사용하는 코드는 아래와 같습니다.

@Configuration
public class KafkaConfig {

    @Value("${spring.kafka.bootstrap-servers}")
    private String bootstrapServers;

    @Bean
    public KafkaTemplate kafkaTemplate() {
        return new KafkaTemplate(producerFactory());
    }

    @Bean
    public ProducerFactory producerFactory() {
        Map props = new HashMap();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class);
        return new DefaultKafkaProducerFactory(props);
    }

    @Bean
    public KafkaConsumer kafkaConsumer() {
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, bootstrapServers);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "group_id");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class);
        return new KafkaConsumer(props);
    }
}

Spring Cloud Stream을 사용하는 방법

Spring Cloud Stream은 Spring 프레임워크를 기반으로 한 메시지 기반 마이크로서비스를 빠르게 구축할 수 있는 프레임워크입니다. Spring Cloud Stream은 Kafka와 RabbitMQ를 지원하며, 메시지 발행과 구독을 추상화하여 제공합니다. 이 방법은 구현이 간단하고, 메시지 브로커에 대한 세부적인 설정을 추상화하여 제공하기 때문에 생산성이 높습니다.

Spring Cloud Stream을 사용하는 코드는 아래와 같습니다.

@EnableBinding(EventChannel.class)
public class EventPublisher {

    @Autowired
    private EventChannel eventChannel;

    public void publishEvent(String message) {
        eventChannel.eventOut().send(MessageBuilder.withPayload(message).build());
    }
}

@EnableBinding(EventChannel.class)
public class EventSubscriber {

    @StreamListener(EventChannel.EVENT_IN)
    public void receiveEvent(String message) {
        eventProcessor.processEvent(message);
    }
}

결론

Kafka와 RabbitMQ는 이벤트 기반 아키텍처에서 매우 중요한 역할을 합니다. 메시지 브로커를 사용하여 이벤트를 발행하고 구독하는 것은 이벤트 기반 아키텍처에서 필수적인 요소입니다. 이벤트 기반 아키텍처를 구현할 때, Kafka와 RabbitMQ를 적절하게 활용하여 안정적이고 확장성 있는 시스템을 만들어야 합니다.