[2020-03-24] 아파치 나이파이(Apache nifi)이용 DB 1:1 데이터 이동

1. 시나리오

mariaDB의 Order 테이블에 있는 데이터를 모두 긁어와 MSSQL DB에 있는 myOrder 테이블에 그대로 넣는다. 테이블명만 다르고 칼럼명과 데이터 타입은 같다. (단 mariaDB의 bigint는 MSSQL의 int로 정한다.)

2. ExcuteSQL

ExcuteSQL Processor를 생성하고 다음과 같이 설정한다.

MariaDBConnection과 관련해서는 다음글을 참고한다.

2020/03/17 - [System/작업LOG] - [2020-03-17] 아파치 나이 파이(Apache nifi) 이용 MariaDB연결

SQL select Query에 가져올 쿼리를 지정한다.

3. PutDatabaseRecord

PutDatabaseRecord Processor를 생성하고 다음과 같이 설정한다.

ExcuteSQL은 실행하면 Avro타입의 데이터를 생성하므로 Record Reader에 AvroReader을 설정한다.

데이터를 가져와 그대로 넣을 것이므로 Statement Type을 INSERT로 하고 Database Connection Pooling Service에 MSSQLDBConnection을 지정한다. MSSQLDBConnection에 관해서는 다음글을 참고한다.

2020/03/17 - [System/작업LOG] - [2020-03-17] 아파치 나이 파이(Apache nifi) 이용 MSSQL연결

4. 생성한 2개의 Processor를 연결하고 실행