[2020-03-24] 아파치 나이파이(Apache nifi)이용 DB 1:1 데이터 이동

System/작업LOG

by 클리엘 클리엘 2020. 4. 9. 11:07

1. 시나리오

mariaDB의 Order 테이블에 있는 데이터를 모두 긁어와 MSSQL DB에 있는 myOrder 테이블에 그대로 넣는다. 테이블명만 다르고 칼럼명과 데이터 타입은 같다. (단 mariaDB의 bigint는 MSSQL의 int로 정한다.)

2. ExcuteSQL

ExcuteSQL Processor를 생성하고 다음과 같이 설정한다.

MariaDBConnection과 관련해서는 다음글을 참고한다.

불러오는 중입니다...

SQL select Query에 가져올 쿼리를 지정한다.

3. PutDatabaseRecord

PutDatabaseRecord Processor를 생성하고 다음과 같이 설정한다.

ExcuteSQL은 실행하면 Avro타입의 데이터를 생성하므로 Record Reader에 AvroReader을 설정한다.

데이터를 가져와 그대로 넣을 것이므로 Statement Type을 INSERT로 하고 Database Connection Pooling Service에 MSSQLDBConnection을 지정한다. MSSQLDBConnection에 관해서는 다음글을 참고한다.

불러오는 중입니다...

4. 생성한 2개의 Processor를 연결하고 실행

저작자표시비영리변경금지

[2020-05-21] Failed to set locale, defaulting to C 에러 (0)	2020.05.22
[2020-05-20] centos8 - Keepalived 설치/설정 (0)	2020.05.20
[2020-03-24] 아파치 나이파이(Apache nifi)이용 DB 1:1 데이터 이동 (0)	2020.04.09
[2020-03-17] 아파치 나이파이(Apache nifi)이용 MSSQL연결 (0)	2020.03.31
[2020-03-17] 아파치 나이파이(Apache nifi)이용 MariaDB연결 (0)	2020.03.26
[2020-03-03] 아파치 나이파이(Apache nifi) 설치 (0)	2020.03.16

CLIEL LAB