apache nifi

[2020-03-24] 아파치 나이파이(Apache nifi)이용 DB 1:1 데이터 이동

1. 시나리오 mariaDB의 Order 테이블에 있는 데이터를 모두 긁어와 MSSQL DB에 있는 myOrder 테이블에 그대로 넣는다. 테이블명만 다르고 칼럼명과 데이터 타입은 같다. (단 mariaDB의 bigint는 MSSQL의 int로 정한다.) 2. ExcuteSQL ExcuteSQL Processor를 생성하고 다음과 같이 설정한다. MariaDBConnection과 관련해서는 다음글을 참고한다. 2020/03/17 - [System/작업LOG] - [2020-03-17] 아파치 나이 파이(Apache nifi) 이용 MariaDB연결 불러오는 중입니다... SQL select Query에 가져올 쿼리를 지정한다. 3. PutDatabaseRecord PutDatabaseRecord Proc..

[2020-03-17] 아파치 나이파이(Apache nifi)이용 MSSQL연결

1. connector 다운로드 https://osdn.net/projects/sfnet_id2d/downloads/jdbc%20drivers/sqljdbc4.jar/ Downloading File /jdbc drivers/sqljdbc4.jar - id2d - OSDN Free download page for Project id2d's sqljdbc4.jar.The project provides programming method to transfer data within Oracle, IBM DB2, Sybase, Microsoft SQL Server and MySQL databases. It wrote by... osdn.net 2. apache nifi에서 사용할 Processor 생성 3. Pro..

[2020-03-17] 아파치 나이파이(Apache nifi)이용 MariaDB연결

1. connector 다운로드 https://mariadb.com/downloads/#connectors MariaDB Downloads – Install Now | MariaDB Official downloads for MariaDB. Install MariaDB Community Server, ColumnStore, MaxScale and choose versions and / or operating systems. 100% secure. mariadb.com 2. apache nifi에서 사용할 Processor 생성 3. Processor의 configure에서 관련 설정 (1) Database Connection Pooling Service : DBCPConnectionPool 4. DBCPC..

[2020-03-03] 아파치 나이파이(Apache nifi) 설치

1. 목적 데이터가 존재하는 소스로부터 데이터를 가져와 Query를 통해 가공된 후 결과를 적재하기 위한 ETL(Extract-Transformation-Load)를 활용하기 위함. 2. 설치 (1) 윈도에서 아파치 nifi를 설치하기 위해 JAVA설치가 우선되어야 함. (https://java.com/ko/download/) (2) 여기(https://www.apache.org/dyn/closer.lua?path=/nifi/1.11.3/nifi-1.11.3-bin.zip)에서 zip파일을 내려받음 (3) 압축을 풀고 압축 풀어놓은 폴더로 이동해 run-nifi.bat을 실행 (4) 방화벽 허용함 (5) 브라우저열고 http://localhost:8080으로 접근