Nifi 데이터 수집 기초 (DB to DB)

Nifi 를 사용하여 원천 DB에서 수집DB로 데이터를 복제하는 방법을 연구해 본다.

data를 가져와서 수집DB에 적재하는 프로세스

setMaxValue : QueryDatabaseTable 프로세스를 사용하며, 원천테이블에 있는 데이터를 읽어서 해당 필드중에 가장 큰 값을 셋팅하는 역할을 한다. 일반적으로 수정일자(lsdt) 를 셋팅해 놓으면, attribute 에 해당 값이 설정되며, 더 큰 값이 보여지기 전까지는 재수집을 하지 않는다.

getData : ExecuteSQL 프로세스를 사용하며, 원천테이블에 있는 데이터를 가져온다(Avro 포맷)

truncateDeployTable : PutSQL 프로세스를 사용하며, 수집/적재할 테이블의 데이터를 삭제(초기화) 한다.

insertData : PutDatabaseRecord 프로세스를 사용하며, 수집/적재할 테이블에 Queue에 있는 데이터를 적재한다.

DBCP_Postgres : Controller Service에 추가하여 사용하며, Postgres DB를 연결하기 위한 정보를 셋팅한다.

 

데이터를 원천DB에서 읽어서 수집DB에 넣는 기본적인 작업으로는 이것으로 충분할 것 같다.