대용량 처리 테스트 구현 프로젝트 - 1 (개요 및 환경세팅)

📘 프로젝트 개요

• 목적: Redis와 Kafka를 사용하여 실시간 대용량 데이터를 처리하는 Spring Boot 백엔드와 React 프론트엔드 템플릿을 제공합니다.
• 대상: 실제 현업에서는 경험하기 어려운 대용량 처리를 테스트하고자 하는 개발자들을 위한 템플릿입니다.
• 효과: 실시간 데이터 처리 및 부하 테스트를 통해 대용량 처리 시스템을 간접적으로 경험할 수 있습니다.

🔧 사용 기술

구분	기술
백엔드	Spring Boot, Redis, Kafka
프론트엔드	React
기타	Apache JMeter, Docker, Socket

🛠️ 사전 준비

우선 아래 소프트웨어를 설치한 환경을 구성합니다.

• Docker
• Docker Compose
• JDK 17+
• Apache JMeter (부하 테스트용)
• Eclipse (Spring Boot, React 프로젝트 세팅 필요)

프로그램 설치 과정과 Spring Boot/React 세팅은 생략합니다. 다른 글을 참고 바랍니다.

⚙️ 프로젝트 환경 세팅

🔹 도커를 이용한 Redis, Kafka 환경 구성

1. docker-compose.yml 작성

프로젝트 폴더 아래에 docker-compose.yml 파일을 생성합니다. 이 파일은 Docker Compose를 사용하여 여러 컨테이너 서비스를 설정합니다.

services:
  zookeeper:
    image: bitnami/zookeeper:latest
    environment:
      - ALLOW_ANONYMOUS_LOGIN=yes
    ports:
      - "2181:2181"

  kafka:
    image: bitnami/kafka:latest
    ports:
      - "9092:9092"
    environment:
      - KAFKA_CFG_ZOOKEEPER_CONNECT=zookeeper:2181
      - ALLOW_PLAINTEXT_LISTENER=yes
      - KAFKA_CFG_LISTENERS=PLAINTEXT://0.0.0.0:9092
      - KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://localhost:9092
      - KAFKA_BROKER_ID=1
    depends_on:
      - zookeeper

  redis:
    image: redis:latest
    ports:
      - "6379:6379"

  app:
    build: .
    ports:
      - "8080:8080"
    depends_on:
      - redis
      - kafka
      - zookeeper
    environment:
      - SPRING_REDIS_HOST=redis
      - SPRING_REDIS_PORT=6379
      - SPRING_KAFKA_BOOTSTRAP_SERVERS=kafka:9092

2. Dockerfile 작성

프로젝트 폴더 아래에 Dockerfile 파일을 생성합니다.

# Use the official Maven image with OpenJDK 17 to build the application
FROM maven:3.8.4-openjdk-17 AS build
WORKDIR /app
COPY . .
RUN mvn clean package -DskipTests

# Use the official OpenJDK image to run the application
FROM openjdk:17-jdk-slim
WORKDIR /app
COPY --from=build /app/target/*.jar app.jar
EXPOSE 8080
ENTRYPOINT ["java", "-jar", "app.jar"]

Dockerfile은 두 단계로 구성된 멀티스테이지 빌드를 사용합니다.

• 빌드 단계: Maven과 OpenJDK 17을 사용하여 애플리케이션을 빌드합니다.
• 실행 단계: 슬림한 OpenJDK 이미지를 사용하여 빌드된 JAR 파일을 실행합니다. 이는 이미지 크기를 줄이고, 실행 환경을 간소화합니다.

3. Docker 빌드

docker-compose.yml이 있는 폴더로 이동하여 명령어를 실행합니다.

docker-compose up --build

아래 명령어로 모든 컨테이너가 정상적으로 실행되는지 확인합니다.

docker-compose ps

🔹 Spring Boot 환경 설정

Docker에서 설정한 Redis와 Kafka와 Spring Boot가 통신 가능하도록 포트를 설정합니다.

spring.redis.host=127.0.0.1
spring.redis.port=6379

spring.kafka.bootstrap-servers=127.0.0.1:9092

🔗 전체 소스코드

GitHub에서 전체 소스코드를 확인할 수 있습니다: GitHub - sonhoil/Largevolume: 대용량 처리 시스템 테스트 환경 구현 프로젝트

GitHub - sonhoil/Largevolume: 대용량 처리 시스템 테스트 환경 구현 프로젝트