본문 바로가기

728x90
728x90

DevOps/Kafka

[Docker] Docker로 Kafka 구성하기 - 컴도리돌이 이전 포스팅에서 Kafka에 대한 이론을 짧게 다뤘습니다. 기존에 설치된 Kafka를 사용해서 Spring boot에서도 연결했지만, 이번에는 도커에서 카프카를 설정하는 방법에 대해 공부하려고 합니다. Kafka 이론에 대해 적은 포스팅은 아래에 첨부해 놨습니다. [Kafka] Apache Kafka에 대해서 알아보기 - 컴도리돌이아파치 카프카는 마이크로서비스와 같은 현대적인 아키텍처에서 매우 유용하게 활용되는 오픈소스 메시지 스트리밍 플랫폼입니다. 현재 여러 IT 서비스와 플랫폼에서 표준처럼 사용되고 있지comdolidol-i.tistory.com Kafka는 메시지 브로커로, 대규모의 데이터를 처리하는 데 최적화되어 있으며, Zookeeper가 이를 지원합니다. Zookeeper는 Kafka의 클러스.. 더보기
[Kafka] Apache kafka에 대해서 스프링부트에서 알아보기 - 컴도리돌이 저번 블로그 포스팅에서 아파치 카프카(Apache kafka)에 대해서 알아보았습니다. 차근차근 중요한 용어에 대해서 알아보니 전체적으로 어떻게 동작하고 어떤 원리를 갖고 있는지 알 수 있었죠. 이번에는 간단하게 코드로 해당 용어들을 정리해 보려고 합니다. 🤓 [Kafka] Apache Kafka에 대해서 알아보기 - 컴도리돌이아파치 카프카는 마이크로서비스와 같은 현대적인 아키텍처에서 매우 유용하게 활용되는 오픈소스 메시지 스트리밍 플랫폼입니다. 현재 여러 IT 서비스와 플랫폼에서 표준처럼 사용되고 있지comdolidol-i.tistory.comKafka 브로커는 메시지를 저장하고, 프로듀서(Producer)또는 컨슈머(consumer)와 데이터를 교환하는 핵심 구성 요소입니다. Spring Boot에.. 더보기
[Kafka] Apache Kafka에 대해서 알아보기 - 컴도리돌이 아파치 카프카는 마이크로서비스와 같은 현대적인 아키텍처에서 매우 유용하게 활용되는 오픈소스 메시지 스트리밍 플랫폼입니다. 현재 여러 IT 서비스와 플랫폼에서 표준처럼 사용되고 있지만, 실제로 카프카를 활용한 서비스 개발 과정에서는 주의해야 할 점이 적지 않습니다. 🤔  이러한 문제의식을 바탕으로, 아파치 카프카의 기본 개념을 정리하고 실무 관점에서의 장점과 개발 시 유의점을 다뤄보려 합니다. 일단 가볍게 아파치 카프카에 대해서 적으려고 합니다.  아파치 카프카는 2011년 링크드인(LinkedIn)에서 처음 개발된 후, 현재는 아파치 소프트웨어 재단(Apache Software Foundation)에서 관리하는 오픈소스 프로젝트입니다. 당시 링크드인은 수많은 데이터를 실시간으로 처리하며 여러 문제가 발.. 더보기
[Kafka][ERROR] Classpath is empty. Please build the project first e.g. by running './gradlew jar -PscalaVersion=2.13.12' - 컴도리돌이 이번에 업무로, 메인 프로젝트에서 사용했던 API 호출 기능을 consumer 프로젝트로 이전시키는 일을 맡게 되었어요. 하지만 나는 카프카를 사용해 본 적이 없죠! 😎   길을 개척한 팀장님의 코드를 보면서, 정상 작동하게끔 개발을 하는 것은 어렵지는 않지만,,, 🙄🙄그래도 직접 로컬에서 카프카를 설치하여, 프로젝트랑 연동해서 테스트를 해봐야 개발자 아니겠습니까 🤔 하지만 카프카를 실행시키는 것 조차도 순탄하지 않네요 🥲 시작한 지 10분 만에 맞닥뜨린 오류는 다음과 같아요.. Classpath is empty. Please build the project first e.g. by running './gradlew jar -PscalaVersion=2.13.12' 이미 저와 같은 동지 개발자분.. 더보기