Hello World

Kafka는 기본적으로 JMX 인터페이스를 제공하기 때문에 Kafka에서 제공하는 MBean(managed bean)들의 값을 모니터링할 수 있다. 하지만 JMX 툴보다는 Kafka 전용으로 개발된 모니터링 툴을 사용하는 것이 훨씬 간편하고, 중요한 정보들을 좀 더 직관적으로 파악할 수 있기 때문에 이 글에서는 JMX를 통한 모니터링 대신Kafka Offset Monitor를 사용하여 Kafka의 상태를 모니터링해 보도록 한다. Kafka Offset Monitor 실행하기Kafka Offset Monitor 홈페이지에서 jar 파일을 다운 받은 뒤 다음의 커맨드를 통해 Kafka Offset Monitor를 실행한다.java -cp KafkaOffsetMonitor-assembly-0.2.1.jar c..

Kafka는 producer와 consumer를 구현할 때 사용할 수 있는 Java 클라이언트를 공식적으로 제공한다. 그 외에도 서드파티에서 C, C++, Ruby, Python, Go를 비롯한 다양한 언어의 클라이언트를 제공한다. 이 글에서는 Java 클라이언트를 사용하는 법을 다룬다. Producer 구현하기Hello, World! 예제package com.epicdevs.kafka; import java.util.Properties; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; public class ProducerExample { publi..

이 글에서는 위의 그림처럼 3개의 인스턴스로 구성된 클러스터를 구축해 본다.클러스터를 구성하는 kafka-test-001, kafka-test-002, kafka-test-003 인스턴스는 Zookeeper 인스턴스와 Kafaka broker를 하나씩 가지고 있다.이 글에서는 3대의 VM을 사용하여 클러스터를 구축하는데 만약 1대의 서버에 테스트 용도로 클러스터를 구축할 경우 각 인스턴스의 ID와 사용하는 디렉토리와 포트 번호만 겹치지 않게 설정하면 동일한 방식으로 구축할 수 있다. Zookeeper 클러스터 구축Kafka의 대부분의 동작은 Zookeeper와 연계되어 있기 때문에 Zookeeper 없이는 Kafka를 구동할 수 없다. 이 때문에 Kafka 패키지를 받으면 패키지 안에 Zookeeper도..

Apache Kafka(아파치 카프카)는 LinkedIn에서 개발된 분산 메시징 시스템으로써 2011년에 오픈소스로 공개되었다. 대용량의 실시간 로그처리에 특화된 아키텍처 설계를 통하여 기존 메시징 시스템보다 우수한 TPS를 보여주고 있다.이 글은 Apache Kafka 공식페이지의 0.8.1 문서와 2011년에 NetDB에 출판된 논문(Kafka: A distributed messaging system for log processing)을 기반으로 작성하였다. (글 작성 시점인 2015.03.09를 기준으로 0.8.2.0이 최신 버전이지만 아직 출시된 지 한 달 남짓 밖에 되지 않으므로 0.8.1.1을 기준으로 작성하였다.) Kafka의 기본 구성 요소와 동작Kafka는 발행-구독(publish-sub..

큰 서비스들을 운영하는 회사들은 자체적인 로그 수집, 정제, 분석 솔루션들을 가지고 있거나 대용량 ES Cluster, Hadoop Cluster 등을 운영한다.하지만 초기 스타트업은 한치앞을 내다 볼 수 없기때문에 최소 비용으로 최대의 효과를 낼 수 있는 여러 오픈소스들을 조합하여 잘 사용해야한다.초기에 크지 않은 비용으로 간단하게 로그분석 환경구축을 하고, 이후 서비스가 성장하면서 시스템이 커질 경우 비교적 용이하게 Scale Out 해 나갈 수 있는 ElasticSearch와 Redis를 이용해서 로그 분석 시스템을 구성해보자.이글은 ElasticSearch와 Redis, Logstash, Kibana등에 경험이 많지않은 개발자를 대상으로 설치, 및 설정, 실제 실무에서의 적용 방법등을 간략하게 소..

보통에 스타트업은 빠른 프로토타이핑을 통해 MVP(Minimum Viable Product) 로 시장에 진출한다.기능구현에 집중해서 개발하다보니 제대로된 테스트 코드가 없을 때도 있고, 얼마나 많은 에러가 발생할지 가늠하기 쉽지 않은 상황들이 대부분이다.에러는 언제든지 날 수 있다고 가정한다면 얼마나 빠르게 감지하고 Hotfix를 내보내느냐가 고객의 불편을 최소화 할 수 있는 방법이 아닐까 싶다.이번편에서는 Spring 기반의 Application에 간단한 Filter와 Logback을 이용해 초기 시스템에서 간단히 사용할 수 있는 에러 모니터링 기능을 구현해보자.요구사항은 다음과 같다. 1) 협업도구로 쓰고 있는 Slack의 특정 채널에 실시간으로 알람이 되었으면 좋겠다.2) 급한대로 RDBMS의 테이..

개발자가 면접을 볼 때면 기술면접을 거치게 됩니다. 해외에서도 기술 면접과 코딩 시험 자주 보는데요. 이를 겨냥해 아예 기술 면접을 도와주는 서비스가 성장하고 있습니다. 면접 질문을 무료로 볼 수 있는 웹사이트도 많아졌고요. 특히 개발자들이 자주 이용하는 깃허브, 레딧 등에 개발자 면접 질문 내용들이 공유되고 있습니다.아래는 기술 면접에 도움이 될 수 있는 두 가지 오픈소스 프로젝트입니다. 개발자들은 직접 작성한 것도 있고 관련 웹 링크를 공유한 프로젝트도 있습니다. 아래 프로젝트로 면접 질문을 예상하는 동시에 안드로이드, iOS, 웹 , 리눅스 등 자신이 맡고 있는 기술 지식을 시험하는 도구로 활용할 수 있습니다. 면접관도 직접 인터뷰 질문을 참고할 수 있을 것 같네요.구글, 애플 개발자가 기여한 ‘프..

1. Syntax Highlighter Download http://alexgorbatchev.com/SyntaxHighlighter/download 다운로드는 의외로 간단하다. Syntax Highlighter 공식 홈페이지에서 다운로드 받을 수 있다. 2. 파일 업로드 압축 폴더를 풀면 다음과 같은 폴더들이 나온다. 이 중 우리가 업로드 할건 scripts 폴더와 styles 폴더이다. 내용은 아래 그림과 같다. 필요한 것만 올려도 상관 없으나 용량이 부족하지 않은이상 큰 문제가 없으니 모두 업로드하자. Tistory 관리 >> HTML/CSS 편집 >> 파일 업로드 >> 추가 버튼을 차례로 눌러서 모두 업로드 그럼 업로드가 완료된다. 3. HTML 수정하기 Tistory 관리 >> HTML/CSS ..

▶ 온라인 저지 (Online Judge)프로그래밍 문제를 풀고 온라인으로 채점받을 수 있는 곳 lavida.us online judgeBaekjoon Online Judge알고리즘 트레이닝 사이트ALGOSPOT UVA online judgeLeetCode online judge ▶ 알고리즘 추천 도서 프로그래밍 대회에서 배우는 알고리즘 문제 해결 전략문제로 풀어보는 알고리즘 : 프로그래밍 트레이닝 Q&A알기 쉬운 알고리즘뇌를 자극하는 알고리즘알고리즘이 보이는 그림책이렇게 하면 나도 프로그램을 잘 만들 수 있다 알고리듬은 어떻게 만들까파이썬을 이용한 알고리즘 구현Introduction to Algorithms, third edition미래를 바꾼 아홉가지 알고리즘 [컴퓨터 세상을 만든 기발한 아이디어들]..

참고사이트외국 api 커뮤니티 http://www.programmableweb.com http://www.programmableweb.com/apis국내 api 커뮤니티 http://cafe.naver.com/openapi/네이트개발자센터 http://devsquare.nate.com/게시판스크랩 http://devsquare.nate.com/nateConnect/PostScrapAPIGuide개발블로그 http://club.cyworld.com/devsquare네이버개발자센터 http://dev.naver.com/오픈소스 http://dev.naver.com/opensource/오픈API http://dev.naver.com/openapi/오픈프로젝트 http://dev.naver.com/softwar..