데이터브릭스 Unity Catalog 란?

unity catalog

Unity Catalog는 데이터 Lakehouse의 모든 데이터 및 자산에 대한 통합 거버넌스를 제공합니다. Azure Managed ID를 사용하여 Unity 카탈로그 사용자를 대신하여 스토리지 컨테이너에 액세스하도록 Unity 카탈로그를 구성할 수 있습니다.

Managed ID는 애플리케이션이 Azure AD(Active Directory) 인증을 지원하는 리소스에 연결할 때 사용할 ID를 제공합니다.

Azure Managed ID란?

Azure Managed ID 를 사용하여 Unity Catalog 사용자 대신 스토리지 컨테이너에 액세스 하도록 Unity Catalog 를 구성할 수 있습니다 .

Unity Catalog에서 Mnaged ID를 사용하여 두 가지를 지원할 수 있습니다.

• metastore의 루트 스토리지 계정(관리 테이블이 저장되는 위치)에 연결하기 위한 ID로.
• 다른 외부 저장소 계정에 연결하기 위한 ID로(파일 기반 액세스 또는 외부 테이블용).

관리 ID로 Unity Catalog를 구성하면 서비스 주체로 Unity Catalog를 구성하는 것보다 다음과 같은 이점이 있습니다.

• 스토리지 방화벽으로 보호되는 Azure Data Lake Storage Gen2 계정에 연결할 수 있습니다.
• 관리 ID는 자격 증명을 유지하거나 비밀을 교체할 필요가 없습니다.

Unity Catalog에 대한 Mnaged ID 구성

Requirements

• Azure 테넌트에 하나 이상의 Azure Databricks 작업 영역이 있어야 합니다.
• 연결하려는 스토리지 계정과 동일한 지역에 있는 Azure 리소스 그룹의 기여자 또는 소유자여야 합니다.
• 저장소 계정에 대한 사용자 액세스 관리자 Azure RBAC 역할이 있는 소유자 또는 사용자여야 합니다.

Access Connector for Azure Databricks

참고 URL

Use Azure managed identities in Unity Catalog to access storage - Azure Databricks

Use Azure managed identities in Unity Catalog to access storage - Azure Databricks

Unity 카탈로그 메타스토어 생성

참고 URL

Create a Unity Catalog metastore - Azure Databricks

Create a Unity Catalog metastore - Azure Databricks

Unity Catalog에 대한 작업 공간 활성화

Unity Catalog를 활성화한다는 것은 다음을 의미합니다.

• 해당 워크스페이스의 사용자는 다른 워크스페이스에 있는 사용자가 액세스할 수 있는 동일한 데이터에 잠재적으로 액세스할 수 있으며 데이터 관리자는 워크스페이스 전체에서 해당 데이터 액세스를 중앙에서 관리할 수 있습니다.
• 데이터 액세스가 자동으로 감사됩니다.(auto-auditing)
• 관리자가 계정 콘솔 및 기타 계정 수준 인터페이스를 사용하여 중앙에서 ID를 관리할 수 있습니다.
• 데이터관리는 3-level namespace (catalog.schema.table) by which data can be organized.

참고 URL

Enable a workspace for Unity Catalog - Azure Databricks

Enable a workspace for Unity Catalog - Azure Databricks

Unity Catalog 액세스 권한으로 클러스터 및 SQL 웨어하우스 생성

클러스터 는 노트북 또는 자동화된 작업을 사용하여 Data Science & Engineering 및 Databricks Machine Learning 개인 기반 환경에서 워크로드를 실행하는 데 사용됩니다. Unity 카탈로그에 액세스할 수 있는 클러스터를 생성하려면 클러스터를 생성하는 워크스페이스가 Unity 카탈로그 메타스토어에 연결되어 있어야 하며 Unity-Catalog 지원 액세스 모드 (공유 또는 단일 사용자)를 사용해야 합니다.

• 중요 : Unity Catalog 를 지원하는 액세스 모드를 사용하여 클러스터 생성.

참고 URL

Create clusters & SQL warehouses with Unity Catalog access - Azure Databricks

Create clusters & SQL warehouses with Unity Catalog access - Azure Databricks

Create and manage catalogs

Requirements

• You must be an Azure Databricks metastore admin or have been granted the CREATE CATALOG privilege on the metastore
• Your Azure Databricks account must be on the Premium Plan.
• You must have a Unity Catalog metastore linked to the workspace where you perform the catalog creation.
• The compute resource that you use to run the notebook or Databricks SQL to create the catalog must be using a Unity Catalog compliant access mode.

To create a catalog, you can use Data Explorer or a SQL command.

CREATE CATALOG [ IF NOT EXISTS ] <catalog_name>
   [ MANAGED LOCATION '<location_path>' ]
   [ COMMENT <comment> ];

참고 URL

Create and manage catalogs - Azure Databricks

Create and manage catalogs - Azure Databricks