클리엘
CLIEL LAB
클리엘
전체 방문자
117,082
오늘
313
어제
116
  • 분류 전체보기 (396)
    • Mobile (47)
      • Kotlin (47)
    • Web (84)
      • NestJS (9)
      • HTML5 & CSS3 (38)
      • Javascript (20)
      • TypeScript (6)
      • JQuery (11)
    • .NET (187)
      • C# (24)
      • ASP.NET Core (31)
      • Windows API for .NET (128)
    • Server (50)
      • SQL Server (8)
      • MariaDB (18)
      • Windows Server (5)
      • node.js (19)
    • System (12)
      • 작업LOG (12)
    • Review (11)
    • ETC (5)

블로그 메뉴

  • 홈
  • 태그
  • 방명록

공지사항

  • 블로그 정리

인기 글

  • [C#] Thread(스레드)와 Task(태⋯
    2021.10.24
    [C#] Thread(스레드)와 Task(태⋯
  • [C#] TCP/IP 통신
    2021.10.28
    [C#] TCP/IP 통신
  • [ASP.NET Core] IIS 배포 (게시)
    2021.12.15
    [ASP.NET Core] IIS 배포 (게시)
  • [MSSQL] MS SQL Server 다운로⋯
    2022.02.23
    [MSSQL] MS SQL Server 다운로⋯
  • [C#] 인터페이스와 추상클래스
    2021.10.07
    [C#] 인터페이스와 추상클래스

태그

  • class
  • TypeScript
  • NestJS
  • CSS3
  • android studio
  • Cookie
  • 변수
  • apache nifi
  • c#
  • node.js
  • android
  • jQuery
  • asp.net core
  • asp.net core web api
  • Windows API
  • HTML5
  • Kotlin
  • CentOS
  • MariaDB
  • JavaScript

최근 댓글

  • 흠... CACLS는 더이상 사용하지⋯
    클리엘
  • 안녕하세요! 아래 명령 하고부⋯
    방문자
  • 죄송합니다. 관련글을 작성한지⋯
    클리엘
  • 네 맞습니다. 본문에서는 표기⋯
    클리엘
  • 6000 ms 는 6초아닌가요?
    react

최근 글

  • [TypeScript] Visual Studio에⋯
    2022.05.06
    [TypeScript] Visual Studio에⋯
  • [C#] 함수(메서드)의 실행과 디⋯
    2022.05.06
    [C#] 함수(메서드)의 실행과 디⋯
  • [C#] 흐름제어, 형변환, 예외처리
    2022.04.27
    [C#] 흐름제어, 형변환, 예외처리
  • [C#] C# 개요
    2022.04.20
    [C#] C# 개요
  • C#과 .NET6 시작하기
    2022.04.13
    C#과 .NET6 시작하기

티스토리

hELLO · Designed By 정상우.
클리엘

CLIEL LAB

[2020-03-24] 아파치 나이파이(Apache nifi)이용 DB 1:1 데이터 이동
System/작업LOG

[2020-03-24] 아파치 나이파이(Apache nifi)이용 DB 1:1 데이터 이동

2020. 4. 9. 11:07
728x90

1. 시나리오

 

mariaDB의 Order 테이블에 있는 데이터를 모두 긁어와 MSSQL DB에 있는 myOrder 테이블에 그대로 넣는다. 테이블명만 다르고 칼럼명과 데이터 타입은 같다. (단 mariaDB의 bigint는 MSSQL의 int로 정한다.)

 

2. ExcuteSQL

 

ExcuteSQL Processor를 생성하고 다음과 같이 설정한다.

 

MariaDBConnection과 관련해서는 다음글을 참고한다.

2020/03/17 - [System/작업LOG] - [2020-03-17] 아파치 나이 파이(Apache nifi) 이용 MariaDB연결

불러오는 중입니다...

SQL select Query에 가져올 쿼리를 지정한다.

 

3. PutDatabaseRecord

 

PutDatabaseRecord Processor를 생성하고 다음과 같이 설정한다.

 

ExcuteSQL은 실행하면 Avro타입의 데이터를 생성하므로 Record Reader에 AvroReader을 설정한다.

 

데이터를 가져와 그대로 넣을 것이므로 Statement Type을 INSERT로 하고 Database Connection Pooling Service에 MSSQLDBConnection을 지정한다. MSSQLDBConnection에 관해서는 다음글을 참고한다.

 

2020/03/17 - [System/작업LOG] - [2020-03-17] 아파치 나이 파이(Apache nifi) 이용 MSSQL연결

불러오는 중입니다...

4. 생성한 2개의 Processor를 연결하고 실행

 

728x90
저작자표시비영리변경금지

'System > 작업LOG' 카테고리의 다른 글

[2020-05-21] Failed to set locale, defaulting to C 에러  (0) 2020.05.22
[2020-05-20] centos8 - Keepalived 설치/설정  (0) 2020.05.20
[2020-03-24] 아파치 나이파이(Apache nifi)이용 DB 1:1 데이터 이동  (4) 2020.04.09
[2020-03-17] 아파치 나이파이(Apache nifi)이용 MSSQL연결  (0) 2020.03.31
[2020-03-17] 아파치 나이파이(Apache nifi)이용 MariaDB연결  (0) 2020.03.26
[2020-03-03] 아파치 나이파이(Apache nifi) 설치  (0) 2020.03.16
    'System/작업LOG' 카테고리의 다른 글
    • [2020-05-21] Failed to set locale, defaulting to C 에러
    • [2020-05-20] centos8 - Keepalived 설치/설정
    • [2020-03-17] 아파치 나이파이(Apache nifi)이용 MSSQL연결
    • [2020-03-17] 아파치 나이파이(Apache nifi)이용 MariaDB연결
    apache nifi, ExcuteSQL, PutDatabaseRecord
    클리엘
    클리엘
    누구냐 넌?
    댓글쓰기
    1. dd
      2021.01.22 12:58
      안녕하세요 혹시 컬럼이 프라이머리키로 되있어서 duplication 에러가발생하더라고요혹시해결방법이없을까요..감사합니다!!
      수정/삭제댓글쓰기댓글보기
      1. 클리엘
        2021.01.22 13:12 신고
        해당 컬럼이 키로 잡혀있다면 명확한데요. 키를 없애거나 중복되는 값을 제거해야지 않을까요? 아시는 바와 같이 키는 중복값을 가질 수 없습니다.
        수정/삭제
    2. 히나스
      2021.03.26 19:23
      avroreader 하면 controler service를 구성해야하는데 어떻게 하셨나요?
      수정/삭제댓글쓰기댓글보기
      1. 클리엘
        2021.03.30 09:11 신고
        말씀 하신 내용은 본문에 있는 링크를 보시면 됩니다. 혹시 그걸 말씀하신게 아니신가요?
        수정/삭제
    다음 글
    이그닉 바이북 프로 14x 2세대
    이전 글
    [2020-03-17] 아파치 나이파이(Apache nifi)이용 MSSQL연결
    • 이전
    • 1
    • ···
    • 204
    • 205
    • 206
    • 207
    • 208
    • 209
    • 210
    • 211
    • 212
    • ···
    • 396
    • 다음

    티스토리툴바