AzureDatabricks를 활용한 데이터 병렬 처리 7

Delta Live Tables

 

Delta Live Table, 2025 최신 프레임워크

 

 

ㅇㅇ

 

주의할 점은 매직 커맨드(%)가 없어야 한다는 점

 

같은 코드를 2번 이상 실행해도 오류 발생

업데이트 해야 하는데 업데이트 사항이 없기 때문

 

파이프라인 실행을 완료하면, 카탈로그에 테이블이 생긴다

 

이후 다른 노트북에서 코드 확인 및 시각화 진

 

ㅇㅇ

 

또 다른 DLT

ETL 튜토리얼 링크

https://learn.microsoft.com/en-us/azure/databricks/getting-started/data-pipeline-get-started

 

ㅇㅇ

 

ㅇㅇ

 

ㅇㅇ

 

ㅇㅇ

 

Job 생성하기

 

파이프라인을 실행시킬 Job 생성하는 상세 설정

우측의 Trigger를 통해서 원하는 주기마다 자동으로 실행하게 가능

 

Job의 실행 결과와 목록은 '작업 실행(Job Runs)'란에서 확인 가능

 

미니 프로젝트

ㅇㅇ