Databricks Databricks-Certified-Data-Engineer-Professional Korean 問題集 : Databricks Certified Data Engineer Professional Exam (Databricks-Certified-Data-Engineer-Professional Korean Version)

스트림 정적 조인과 정적 델타 테이블에 관한 다음 설명 중 올바른 것은 무엇입니까?

• A. 스트림 정적 조인은 일관성 문제로 인해 정적 델타 테이블을 사용할 수 없습니다.
• B. 체크포인트 디렉터리는 조인에 존재하는 고유 키의 상태 정보를 추적하는 데 사용됩니다.
• C. 스트림-정적 조인의 각 마이크로배치는 작업 초기화 시점의 최신 버전의 정적 델타 테이블을 사용합니다.
• D. 스트림-정적 조인의 각 마이크로배치는 해당 마이크로배치 시점의 정적 델타 테이블의 최신 버전을 사용합니다.
• E. 체크포인트 디렉터리는 정적 델타 테이블의 업데이트를 추적하는 데 사용됩니다.

비즈니스 인텔리전스 팀은 소매 관련 다양한 요약 지표를 추적하도록 구성된 대시보드를 보유하고 있습니다. 여기에는 전날 총 매출액과 다양한 기간별 총액 및 평균이 포함됩니다. 이 대시보드를 채우는 데 필요한 필드는 다음과 같은 스키마를 따릅니다.

수요 예측을 위해 레이크하우스는 모든 품목별 판매 내역이 포함된 검증된 테이블을 보유하고 있으며, 이 테이블은 거의 실시간으로 점진적으로 업데이트됩니다. products_per_order라는 이름의 이 테이블에는 다음과 같은 필드가 포함되어 있습니다.

장기 판매 추세 보고는 변동성이 적기 때문에 새로운 대시보드를 사용하는 분석가는 하루에 한 번만 데이터를 새로 고치면 됩니다. 또한, 일반적인 업무 시간 동안 많은 사용자가 대시보드를 대화형으로 조회하므로 결과가 빠르게 표시되고 각 데이터 생성에 필요한 총 컴퓨팅 리소스가 줄어듭니다.
어떤 솔루션이 최종 사용자의 기대를 충족시키면서 동시에 발생 가능한 비용을 통제하고 제한할 수 있을까요?

• A. 대시보드가 ​​새로 고쳐질 때마다 products_per_order 테이블에 대해 증분 읽기를 실행하도록 웹훅을 구성합니다.
• B. Databricks 노트북 내의 products_per_order 테이블에 대한 실시간 대시보드를 구성하려면 Structure Streaming을 사용하십시오.
• C. products_per_order 테이블에 대한 뷰를 정의하고, 이 뷰에 대한 대시보드를 정의합니다.
• D. 매일 밤 배치 작업을 구성하여 필요한 값을 테이블로 저장하고, 업데이트될 때마다 덮어쓰기하여 대시보드를 채웁니다.
• E. Delta Cache를 사용하여 products_per_order 테이블을 메모리에 저장함으로써 각 쿼리 시 대시보드를 빠르게 표시할 수 있습니다.

Apache Kafka 프로듀서의 모든 레코드가 다음 스키마를 가진 단일 Delta Lake 테이블로 수집되고 있습니다.
키는 BINARY, 값은 BINARY, 토픽은 STRING, 파티션은 LONG, 오프셋은 LONG, 타임스탬프는 LONG 형식입니다. 수집되는 토픽은 총 5개이며, "등록" 토픽에만 개인 식별 정보(PII)가 포함되어 있습니다. 회사는 PII에 대한 접근을 제한하고자 하며, 이 테이블에서 PII가 포함된 기록은 최초 수집 후 14일 동안만 보관하고자 합니다.
하지만 개인 식별 정보가 아닌 경우에는 해당 기록을 무기한으로 보관하고자 합니다.
다음 중 요구 사항을 충족하는 해결책은 무엇입니까?

• A. 모든 데이터는 2주마다 삭제되어야 합니다. Delta Lake의 시간 여행 기능을 활용하여 개인 식별 정보가 아닌 정보의 기록을 유지해야 합니다.
• B. 값 필드는 이진 데이터로 저장되므로 이 정보는 개인 식별 정보(PII)로 간주되지 않으며 특별한 주의가 필요하지 않습니다.
• C. 데이터는 등록 필드를 기준으로 분할되어야 하며, 이를 통해 PII 디렉토리에 대한 ACL 및 삭제 명령을 설정할 수 있습니다.
• D. 파티션 필드를 기준으로 별도의 객체 저장 컨테이너를 지정하여 저장 수준에서 격리할 수 있습니다.
• E. 데이터는 토픽 필드를 기준으로 분할되어야 하며, 이를 통해 ACL 및 삭제 문이 파티션 경계를 활용할 수 있습니다.

데이터 엔지니어링 팀은 Databricks Lakehouse Monitoring을 사용하여 Delta 테이블의 핵심 열에 대한 percent_null 지표를 추적합니다.
프로필 메트릭 테이블(prod_catalog.prod_schema.customer_data_profile_metrics)에는 시간별 percent_null 값이 저장됩니다.
팀의 목표는 다음과 같습니다.
percent_null의 일일 평균이 5%를 초과할 때 알림을 발생시키세요.
3일 연속.
문제가 지속되는 동안 알림이 스팸처럼 전송되지 않도록 하십시오.

• A. SELECT AVG(percent_null) AS daily_avg
  FROM prod_catalog.prod_schema.customer_data_profile_metrics
  WHERE window.end >= CURRENT_TIMESTAMP - INTERVAL '3' DAY
  경고 조건: daily_avg > 5
  알림 빈도: 알림이 평가될 때마다
• B. SELECT percent_null
  FROM prod_catalog.prod_schema.customer_data_profile_metrics
  WHERE window.end >= CURRENT_TIMESTAMP - INTERVAL '1' DAY
  경고 조건: percent_null > 5
  알림 빈도: 최대 24시간마다
• C. 일일 평균을 다음과 같이 (
  SELECT DATE_TRUNC('DAY', window.end) AS day,
  AVG(percent_null) AS avg_null
  FROM prod_catalog.prod_schema.customer_data_profile_metrics
  GROUP BY DATE_TRUNC('DAY', window.end)
  )
  일, 평균값이 null인 경우 선택
  일일 평균에서
  날짜순으로 내림차순 정렬
  제한 3
  경고 조건: 최근 3개 행의 모든 ​​avg_null 값이 5보다 큰 경우
  알림 빈도: 한 번만
• D. SELECT SUM(CASE WHEN percent_null > 5 THEN 1 ELSE 0 END) AS violation_days FROM prod_catalog.prod_schema.customer_data_profile_metrics WHERE window.end >= CURRENT_TIMESTAMP - INTERVAL '3' DAY 알림 조건: violation_days >= 3 알림 빈도: 1회만

현재 활성화된 클러스터의 모든 노드에 노트북 수준의 범위로 Python 패키지를 설치하는 방법은 무엇입니까?

• A. 노트북 셀에서 &sh install을 사용하세요
• B. 노트북 셀에서 &Pip install을 사용하세요
• C. 클러스터 UI를 사용하여 PyPi에서 라이브러리 설치
• D. 노트북 설정 스크립트에서 source env/bin/activate를 실행합니다.