[Error] Kafka Server Error : java.io IOException : Map failed Kafka server 실행 시 java.io IOException: Map failed 등 에러 날 때 해결 방법입니다. .\bin\windows\kafka-server-start.bat .\config\server.properties 명령어 실행 후 java.io IOException : Map failed 오류 인터넷에 나와있는 여러 가지 방법을 다해보았지만 해결되지 않았다. 인터넷 검색 결과 " java.io IOException : Map failed "오류는 32bit Java로 인해 발생한 것이라는데, 나는 분명히 64bit 컴퓨터에 64bit Jdk를 깔았는데 해당 증상이 나타나서..
*** selenium 사용하는 이유? *** BeautifulSoup : - 정적으로 데이터들 처리 ( 웹페이지에 접속 시 얻은 데이터만 처리한다 등) 그래서 자바스크립트가 들어있는 웹 페이지를 크롤링하게 되면 그 동작들을 제대로 캐치하지 못하고 경우가 생긴다. 그 외에도 웹 사이트에 마우스/키보드 입력이 있는 경우에도 제한이 생긴다. selenium : - html 값들을 처리함에 있어 동적으로 변하는 웹 페이지의 데이터들까지 설정하여 크롤링할 수 있다. 실제 사용자들처럼 마우스클릭, 키보드입력 등의 입력이 가능해져서 url을 통해서만 다른 페이지 접근하는게 아니라 버튼을 누르고 값을 입력하게 만들어서 값을 추출한다. 1. 설치하기 selenium을 사용하기 위해서 1) 라이브러리 설치와 2) 셀레니..
Restful API 내용 출처 : https://meetup.toast.com/posts/92 REST API 제대로 알고 사용하기 : NHN Cloud Meetup REST API 제대로 알고 사용하기 meetup.nhncloud.com Restful API Representational State Transfer 1. REST API REST는 Representational State Transfer라는 용어의 약자 2000년도에 로이 필딩 (Roy Fielding)의 박사학위 논문에서 최초로 소개 웹의 장점을 최대한 활용할 수 있는 아키텍처로써 REST를 발표 2. REST 구성 자원(RESOURCE) - URI 행위(Verb) - HTTP METHOD 표현(Representations) 3. R..
Kafka 공부4 Kafka Connect 작업 준비하기 Kafka Connect 작업 준비하기 1. Kafka Connect 작업이란? Kafka Connect를 이용해서 Source에서 Target 시스템 쪽으로 데이터를 넘겨주는 작업. = Kafka Connect란 데이터를 하나의 소스에서 Target으로 삼은 대상 쪽으로 데이터를 이관시켜주는 것. (데이터를 import 하고, export 하는 기능이 포함이 되어 있음) 프로그래밍적 요소 없이 설정 만으로도 데이터 이동을 할 수 있다. 2. Kafka Connect 특징 특징 1) 데이터 import/export 가능 2) 프로그래밍적 요소 없이 설정 만으로도 데이터 이동을 할 수 있다. 3) 기본 모드로 kafka connect 설치가능 > 멀..
[Kafka 공부] #3 Kafka랑 Python 연동하기 연동 전 JSON 데이터 처리해보기 파이썬으로 데이터 처리하기 위해서 JSON이라는 데이터 포맷을 알아야한다!! source > Kafka Server > target 처럼 데이터가 이동할 때, JSON 포맷으로 변환해서 사용할 것이기 때문이다. 이렇게 JSON 포맷으로 변환해서 보내고, JSON 포맷의 데이터를 받아서 컴퓨터가 필요한 데이터로 바꾸는 것을 직렬화/역직렬화라고 한다. - JSON 파일 포맷 (참조 사이트: json.org/jason-ko.html) > json규격을 갖추고 있다. 1) object { 문자열 : value, 문자열 : value } * 공백은 무시가능 2) array [vaule, value, value] 3) v..
[Kafka 공부] #2 : Kafka 환경 준비하고, Quick Start 실행하기 Kafka 환경 준비하기 - 구축 환경 : Windows10 - 필요할 프로그램 : Kafka, java(JDK) 1. 자바 설치 (프로그램 다운 주소 : https://www.oracle.com/kr/java/technologies/javase-downloads.html ) 1. Java SE 8 버전 설치 파일 다운로드 2. exe 파일 실행 3. 특별한게 없어서 계속 NEXT 버튼 누르면서 진행 4. 자바 설치 확인 : java -version 명령어 이용 [참고사항] ** kafka가 스칼라 언어기반이고, 스칼라가 자바언어 기반이다! ( 자바 언어를 사용하는 게 아니라 자바환경이 구축되어 있어야 카프카 사용 가능..
파이썬 공부하기 python BeautifulSoup 모듈 최근에 공부하고 있어서 게속 업데이트 될 수 있습니다. 틀린 내용이나 빠진내용이 있을 수 있습니다. requests 모듈을 통해 요청을 보내고 그에 대한 결괏값을 받는다. 이때 받는 형태가 html이다. 이런 html 문서에서 필요한 정보만 뽑아서 이쁘게(?) 처리해주는 모듈이 BeautifulSoup이다. 1. 설치하기 pip install beautifulsoup4 2. 기본적인 사용법 from bs4 import BeaultifulSoup from bs4 import BeaultifulSoup import requests URL='https://movie.naver.com/movie/point/af/list.naver' response=re..
[Kafka 공부] #1 : Kafka 개념 Kafka 특징 Apache Kafka?? Apache Kafka 사이트상 설명: Apache Kafka는 오픈 소스 분산형 이벤트 스트리밍 플랫폼으로 고성능의 데이터 파이프 라이닝, 스트리밍 분석,데이터 통합과 업무에 필수적인 어플리케이션을 위한 수많은 기업들에서 사용됩니다. 위키피디아상 설명 : 아파치 카프카(Apache Kafka)는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표이다. 요컨대 분산 트랜잭션 로그로 구성된, 상당히 확장 가능한 pub/sub 메시지 큐로 정의할 수 있으며, 스트리밍 데이..
