Hello World

Lecture 5. 반구조적 데이터자료 형태구조적: 정형(schema) 데이터. RDB, formatted msg반구조적: schema를 그때그때. XML, JSON, mp3tag비구조적: plain text파일이란byte의 나열FS를 통한 상하구조POSIX interface(이건 왜?)테이블처음부터 구조를 잘 짜야같은 데이터도 타입문제(2 vs 2.0)이력관리취합 문제필드가 다를 때데이터 단위가 다름같은 값인데 표현이 다름pandasdata analysys + modeling for pythonDataFrame: named columnR도 비슷한 data frame 지원DF in pySpark1.3부터 RDD 확장으로 지원pandas, R의 DF와 같지만 분산환경pandas DF와 convert 쉬움p..

edX에서 Spark로 빅데이터 입문(Introduction to Big Data with Apache Spark)을 듣고 있다. UC Berkeley의 Anthony Joseph 교수가 진행하는 수업으로, 실제 데이터를 가지고 과제 4개를 진행하면서 Spark로 빅데이터 분석하는 방법을 배운다고 하는데, 수업 난이도 자체는 높지 않다. 대상은 Python 경험자로 분산 컴퓨팅/Spark에 대한 지식은 없어도 된다고 되어있다. 환경 설정도 Jupyter(IPython Notebook의 새 이름)와 PySpark가 이미 세팅된 환경을 Vagrant로 제공해주는데, Vagrant의 이름만 알고 있는 정도였지만 동영상에서 OS별로 제공하는 동영상을 보고 따라하는데 무리는 없었다.실습은 노트북 파일에서 비어있는..

단 50줄이면 Java에서 OTP를 구현할 수 있습니다. 제가 OTP를 구현해야겠다고 생각한 계기는, '클라이언트와 서버 간 REST 통신시, 해커로부터 데이터 변조 공격을 막기 위해서 일회용 비밀번호(OTP)를 사용하면 어떨까?' 라는 생각에서 출발했습니다. (적용은 안했지만, 누군가에게 도움이 되길 바라며...) OTP (One Time Password) 고정된 패스워드 대신 무작위로 생성되는 일회용 패스워드를 이용하는 사용자 인증 방식. 은행에서 OTP 단말기나, OTP 카드를 사용해보신 분이라면 한 번쯤 생각해보셨을 겁니다. '서버랑 통신하는건가..?' 사실, OTP는 단말기와 서버가 통신하는게 아닙니다.미리 정의된 비밀키와 시간 정보를 토대로 Hash 처리하여 비밀번호를 만들어냅니다. 핵심은 시..