Hello World

이 글에서는 위의 그림처럼 3개의 인스턴스로 구성된 클러스터를 구축해 본다.클러스터를 구성하는 kafka-test-001, kafka-test-002, kafka-test-003 인스턴스는 Zookeeper 인스턴스와 Kafaka broker를 하나씩 가지고 있다.이 글에서는 3대의 VM을 사용하여 클러스터를 구축하는데 만약 1대의 서버에 테스트 용도로 클러스터를 구축할 경우 각 인스턴스의 ID와 사용하는 디렉토리와 포트 번호만 겹치지 않게 설정하면 동일한 방식으로 구축할 수 있다. Zookeeper 클러스터 구축Kafka의 대부분의 동작은 Zookeeper와 연계되어 있기 때문에 Zookeeper 없이는 Kafka를 구동할 수 없다. 이 때문에 Kafka 패키지를 받으면 패키지 안에 Zookeeper도..

Apache Kafka(아파치 카프카)는 LinkedIn에서 개발된 분산 메시징 시스템으로써 2011년에 오픈소스로 공개되었다. 대용량의 실시간 로그처리에 특화된 아키텍처 설계를 통하여 기존 메시징 시스템보다 우수한 TPS를 보여주고 있다.이 글은 Apache Kafka 공식페이지의 0.8.1 문서와 2011년에 NetDB에 출판된 논문(Kafka: A distributed messaging system for log processing)을 기반으로 작성하였다. (글 작성 시점인 2015.03.09를 기준으로 0.8.2.0이 최신 버전이지만 아직 출시된 지 한 달 남짓 밖에 되지 않으므로 0.8.1.1을 기준으로 작성하였다.) Kafka의 기본 구성 요소와 동작Kafka는 발행-구독(publish-sub..

큰 서비스들을 운영하는 회사들은 자체적인 로그 수집, 정제, 분석 솔루션들을 가지고 있거나 대용량 ES Cluster, Hadoop Cluster 등을 운영한다.하지만 초기 스타트업은 한치앞을 내다 볼 수 없기때문에 최소 비용으로 최대의 효과를 낼 수 있는 여러 오픈소스들을 조합하여 잘 사용해야한다.초기에 크지 않은 비용으로 간단하게 로그분석 환경구축을 하고, 이후 서비스가 성장하면서 시스템이 커질 경우 비교적 용이하게 Scale Out 해 나갈 수 있는 ElasticSearch와 Redis를 이용해서 로그 분석 시스템을 구성해보자.이글은 ElasticSearch와 Redis, Logstash, Kibana등에 경험이 많지않은 개발자를 대상으로 설치, 및 설정, 실제 실무에서의 적용 방법등을 간략하게 소..