mariaDB Error : "로컬 컴퓨터의 mariaDB을(를) 시작하지 못했습니다." 오류 해결방법 처음에 MariaDB의 에러는 Kafka와 연동하려고 하는데 꺼져있어서 서비스 실행을 하려고 하는 것부터 시작됐습니다... [오류가 발생하고 오류를 해결하는 일련의 과정입니다.] [ 참고 ] PC 환경 : 윈도우10 1. mariaDB가 꺼져 있음. [Error] Can't connet to MySQL server on '127.0.0.1' (10061) 이 에러는 그냥 mariaDB가 꺼져있는 에러 2. mariaDB를 켜기 위해 cmd 에서 바로 net start mariadb 명령어를 실행하였다. 하지만 오류가 생겼다. 3. 그래서 서비스 창을 열어서 mariaDB 서비스 시작 버튼을 눌렀는데 다..
[프로젝트] Scrapy 활용 네이버 주식 크롤링하기 + Kafka 서버랑 연동 [ 구축 환경 ] 구축 환경 : 윈도우 구축 윈도우 : Windows10 사용 프로그램 : VSCode, spiders, Kafka 관련, Postman, Hiedisql 사용 언어 : Pyhton 3.9, RestAPI, SQL [ 앞으로 할 작업 ] 크롤링 작업 (네이버 증권 사이트에서 Scrapy로 크롤링 작업 준비하기) Kafka와 연결 작업 (Scrapy 코드 수정) Kafka 서버 구성하기 DB 구축 및 Kafak connect 만들기 연동 결과 확인 1. 크롤링 작업하기 (네이버 주식 사이트에서 주식정보 크롤링하기) [크롤링 작업 과정 요약] 1. 크롤링 목적 및 대상 확인 : 필요한 정보와 정보를 보유하고 있는..
[Error] Kafka Server Error : java.io IOException : Map failed Kafka server 실행 시 java.io IOException: Map failed 등 에러 날 때 해결 방법입니다. .\bin\windows\kafka-server-start.bat .\config\server.properties 명령어 실행 후 java.io IOException : Map failed 오류 인터넷에 나와있는 여러 가지 방법을 다해보았지만 해결되지 않았다. 인터넷 검색 결과 " java.io IOException : Map failed "오류는 32bit Java로 인해 발생한 것이라는데, 나는 분명히 64bit 컴퓨터에 64bit Jdk를 깔았는데 해당 증상이 나타나서..
Restful API 내용 출처 : https://meetup.toast.com/posts/92 REST API 제대로 알고 사용하기 : NHN Cloud Meetup REST API 제대로 알고 사용하기 meetup.nhncloud.com Restful API Representational State Transfer 1. REST API REST는 Representational State Transfer라는 용어의 약자 2000년도에 로이 필딩 (Roy Fielding)의 박사학위 논문에서 최초로 소개 웹의 장점을 최대한 활용할 수 있는 아키텍처로써 REST를 발표 2. REST 구성 자원(RESOURCE) - URI 행위(Verb) - HTTP METHOD 표현(Representations) 3. R..
Kafka 공부4 Kafka Connect 작업 준비하기 Kafka Connect 작업 준비하기 1. Kafka Connect 작업이란? Kafka Connect를 이용해서 Source에서 Target 시스템 쪽으로 데이터를 넘겨주는 작업. = Kafka Connect란 데이터를 하나의 소스에서 Target으로 삼은 대상 쪽으로 데이터를 이관시켜주는 것. (데이터를 import 하고, export 하는 기능이 포함이 되어 있음) 프로그래밍적 요소 없이 설정 만으로도 데이터 이동을 할 수 있다. 2. Kafka Connect 특징 특징 1) 데이터 import/export 가능 2) 프로그래밍적 요소 없이 설정 만으로도 데이터 이동을 할 수 있다. 3) 기본 모드로 kafka connect 설치가능 > 멀..
[Kafka 공부] #3 Kafka랑 Python 연동하기 연동 전 JSON 데이터 처리해보기 파이썬으로 데이터 처리하기 위해서 JSON이라는 데이터 포맷을 알아야한다!! source > Kafka Server > target 처럼 데이터가 이동할 때, JSON 포맷으로 변환해서 사용할 것이기 때문이다. 이렇게 JSON 포맷으로 변환해서 보내고, JSON 포맷의 데이터를 받아서 컴퓨터가 필요한 데이터로 바꾸는 것을 직렬화/역직렬화라고 한다. - JSON 파일 포맷 (참조 사이트: json.org/jason-ko.html) > json규격을 갖추고 있다. 1) object { 문자열 : value, 문자열 : value } * 공백은 무시가능 2) array [vaule, value, value] 3) v..
[Kafka 공부] #2 : Kafka 환경 준비하고, Quick Start 실행하기 Kafka 환경 준비하기 - 구축 환경 : Windows10 - 필요할 프로그램 : Kafka, java(JDK) 1. 자바 설치 (프로그램 다운 주소 : https://www.oracle.com/kr/java/technologies/javase-downloads.html ) 1. Java SE 8 버전 설치 파일 다운로드 2. exe 파일 실행 3. 특별한게 없어서 계속 NEXT 버튼 누르면서 진행 4. 자바 설치 확인 : java -version 명령어 이용 [참고사항] ** kafka가 스칼라 언어기반이고, 스칼라가 자바언어 기반이다! ( 자바 언어를 사용하는 게 아니라 자바환경이 구축되어 있어야 카프카 사용 가능..
[Kafka 공부] #1 : Kafka 개념 Kafka 특징 Apache Kafka?? Apache Kafka 사이트상 설명: Apache Kafka는 오픈 소스 분산형 이벤트 스트리밍 플랫폼으로 고성능의 데이터 파이프 라이닝, 스트리밍 분석,데이터 통합과 업무에 필수적인 어플리케이션을 위한 수많은 기업들에서 사용됩니다. 위키피디아상 설명 : 아파치 카프카(Apache Kafka)는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표이다. 요컨대 분산 트랜잭션 로그로 구성된, 상당히 확장 가능한 pub/sub 메시지 큐로 정의할 수 있으며, 스트리밍 데이..
