ETLエディターを使用した パイプラインの開発とデバッグLakeflow Pipelines

この記事では、 Lakeflow Pipelines エディターを使用して、宣言型パイプラインで ETL (抽出、変換、読み込み) パイプラインを開発およびデバッグする方法について説明します Lakeflow 。

Lakeflow Pipelinesエディターとは何ですか?​

Lakeflow Pipelines エディタは、宣言型パイプラインを開発するために構築されたLakeflowIDE です。すべてのパイプライン開発タスクを 1 つのサーフェスに組み合わせ、コードファーストのワークフロー、フォルダベースのコード編成、選択的な実行、データ プレビュー、パイプライン グラフをサポートします。Databricks プラットフォームと統合されているため、バージョン管理、コードレビュー、スケジュールされた実行も可能になります。

Lakeflow Pipelines エディタ UI の概要​

次の画像はLakeFlow Pipelinesエディターを示しています。

画像には次の機能が表示されます。

1. パイプライン アセット ブラウザ: パイプライン アセットを作成、削除、名前変更、整理します。 パイプライン構成へのショートカットも含まれています。
2. タブ付きのマルチファイル コード エディター: パイプラインに関連付けられた複数のコード ファイルで作業します。
3. パイプライン固有のツールバー: パイプライン構成オプションとパイプラインレベルの実行アクションが含まれています。
4. インタラクティブな有向非巡回グラフ (DAG) : テーブルの概要を取得し、データ プレビューの下部バーを開いて、その他のテーブル関連のアクションを実行します。
5. データ プレビュー: ストリーミング テーブルとマテリアライズドビューのデータを検査します。
6. テーブル レベルの実行に関する情報: パイプライン内のすべてのテーブルまたは単一のテーブルに関する実行に関する情報を取得します。 最新のパイプライン実行の知見を参照してください。
7. 問題パネル: この機能は、パイプライン内のすべてのファイルのエラーを要約し、特定のファイル内でエラーが発生した場所に移動できます。コードに添付されたエラーインジケーターを補完します。
8. 選択的実行: コード エディターには、 ファイルの実行 アクションまたは 1 つのテーブルを使用して現在のファイル内のテーブルのみを更新する機能など、段階的な開発のための機能があります。
9. もちろんパイプライン フォルダー構造: 新しいパイプラインには、パイプラインの開始点として使用できる事前定義されたフォルダー構造とサンプル コードが含まれています。
10. 簡素化されたパイプライン作成: デフォルトでテーブルを作成する名前、カタログ、スキーマを指定すると、デフォルト設定を使用してパイプラインが作成されます。後でパイプライン エディターのツールバーから設定を調整できます。

新しいETLパイプラインを作成する​

エディタを使用して新しいETL パイプラインを作成するには、次の手順を実行します。Lakeflow Pipelines

1. サイドバーの上部にある 新規 を選択し、 ETL パイプライン 。

2. 上部で、パイプラインに一意の名前を付けることができます。

3. 名前のすぐ下に、選択されたデフォルトのカタログとスキーマが表示されます。これらを変更して、パイプラインに異なるデフォルトを設定します。

   デフォルトのカタログとデフォルトのスキーマは、コード内でカタログまたはスキーマを使用してデータセットを修飾していない場合に、データセットの読み取りまたは書き込みが行われる場所です。詳細については、 Databricksのデータベース オブジェクト」を参照してください。

4. 次のいずれかのオプションを選択して、パイプラインを作成するための希望するオプションを選択します。

   • SQL のサンプル コードから開始して、 SQL のサンプル コードを含む新しいパイプラインとフォルダー構造を作成します。
   • Python のサンプル コードから始めて、 Python のサンプル コードを含む新しいパイプラインとフォルダー構造を作成します。
   • 単一の変換から始めて、 新しい空のコード ファイルを使用して、新しいパイプラインとフォルダー構造を作成します。
   • 既存のアセットを追加して 、ワークスペース内の既存のコード ファイルに関連付けることができるパイプラインを作成します。

   ETL パイプラインには、SQL と Python の両方のソース コード ファイルを含めることができます。新しいパイプラインを作成し、サンプル コードの言語を選択すると、その言語はデフォルトでパイプラインに含まれるサンプル コードのみに適用されます。

5. 選択すると、新しく作成されたパイプラインにリダイレクトされます。

   ETL パイプラインは、次のデフォルト設定で作成されます。

   • Unity Catalog
   • 現在のチャンネル
   • サーバーレスコンピュート
   • 開発モードはオフです。この設定は、パイプラインのスケジュールされた実行にのみ影響します。エディターからパイプラインを実行すると、常にデフォルトで開発モードが使用されます。

   これらの設定はパイプライン ツールバーから調整できます。

あるいは、ワークスペース ブラウザから ETL パイプラインを作成することもできます。

1. 左側のパネルで ワークスペース をクリックします。
2. Git フォルダーを含む任意のフォルダーを選択します。
3. 右上隅の [作成] をクリックし、 [ETL パイプライン] をクリックします。

[ジョブとパイプライン] ページからETLパイプラインを作成することもできます。

1. ワークスペースで、サイドバーの ジョブ & パイプライン をクリックします。
2. [新規] の下で、 [ETL パイプライン] をクリックします。

既存のETLパイプラインを開く​

LakeFlow Pipelinesエディターで既存のETLパイプラインを開く方法は複数あります。

• パイプラインに関連付けられているソース ファイルを開きます。

  1. サイドパネルの ワークスペース をクリックします。
  2. パイプラインのソース コード ファイルがあるフォルダーに移動します。
  3. ソース コード ファイルをクリックすると、エディターでパイプラインが開きます。

• 最近編集したパイプラインを開きます。

  • エディターから、アセット ブラウザーの上部にあるパイプラインの名前をクリックし、表示される最近のリストから別のパイプラインを選択することで、最近編集した他のパイプラインに移動できます。
  • エディターの外部の左側のサイドバーの [ 最近] ページから、パイプラインまたはパイプラインのソース コードとして構成されたファイルを開きます。

• 製品全体のパイプラインを表示するときに、パイプラインを編集することを選択できます。

  • パイプラインモニタリングページで、 をクリックします。 パイプラインを編集します 。
  • 左側のサイドバーの 「ジョブ実行」 ページで、 「ジョブとパイプライン 」タブをクリックし、そして パイプラインを編集します 。
  • ジョブを編集してパイプライン タスクを追加する場合、 パイプライン の下でパイプラインを選択するときに、 ボタンをクリックします。

• アセット ブラウザーで すべてのファイルを 参照しているときに、別のパイプラインからソース コード ファイルを開くと、エディターの上部にバナーが表示され、関連付けられているパイプラインを開くように求められます。

パイプラインアセットブラウザ​

パイプラインを編集しているとき、左側のワークスペース サイドバーでは 、パイプライン アセット ブラウザー と呼ばれる特別なモードが使用されます。デフォルトでは、パイプライン アセット ブラウザはパイプラインのルートと、ルート内のフォルダーとファイルに焦点を合わせます。パイプラインのルート外のファイルを表示するには、 [すべてのファイル を表示] を選択することもできます。特定のパイプラインを編集しているときにパイプライン エディターで開いたタブは記憶され、別のパイプラインに切り替えると、そのパイプラインを最後に編集したときに開いたタブが復元されます。

パイプライン アセット ブラウザには 2 つのタブがあります。

• パイプライン : ここには、パイプラインに関連付けられたすべてのファイルがあります。 フォルダーを作成、削除、名前変更、整理することができます。このタブには、パイプライン構成のショートカットと最近の実行のグラフィカル ビューも含まれています。
• すべてのファイル : 他のすべてのワークスペース アセットはここから入手できます。これは、パイプラインに追加するファイルを検索したり、パイプラインに関連する他のファイル (Databricks アセット バンドルを定義する YAML ファイルなど) を表示したりするのに役立ちます。

パイプラインには次の種類のファイルを含めることができます。

• ソース コード ファイル: これらのファイルはパイプラインのソース コード定義の一部であり、 [設定] で確認できます。 Databricks では、ソース コード ファイルを常にパイプラインのルート フォルダー内に保存することを推奨しています。そうしないと、ブラウザーの下部にある外部ファイルセクションに表示され、機能セットがあまり充実しなくなります。
• 非ソース コード ファイル: これらのファイルはパイプラインのルート フォルダー内に保存されますが、パイプラインのソース コード定義の一部ではありません。

ルートフォルダ​

パイプライン アセット ブラウザーは、パイプラインのルート フォルダーに固定されています。新しいパイプラインを作成すると、パイプライン ルート フォルダーがユーザーのホーム プランに作成され、パイプライン名と同じ名前が付けられます。

パイプライン アセット ブラウザーでルート フォルダーを変更できます。これは、フォルダー内にパイプラインを作成し、後ですべてを別のフォルダーに移動する場合に便利です。たとえば、通常のフォルダーにパイプラインを作成し、バージョン管理のためにソース コードを Git フォルダーに移動するとします。

1. クリックルート フォルダーのオーバーフロー メニュー。
2. 新しいルート フォルダーの構成を クリックします。
3. パイプライン ルート フォルダ で をクリックし、別のフォルダをパイプライン ルート フォルダとして選択します。
4. 保存 をクリックします。

の中でルート フォルダーの場合は、 [ルート フォルダーの名前を変更] をクリックしてフォルダー名を変更することもできます。ここで、 「ルート フォルダーの移動」 をクリックして、ルート フォルダーを Git フォルダーなどに移動することもできます。

設定でパイプラインのルート フォルダーを変更することもできます。

1. 設定 をクリックします。
2. コードアセット で、 パスの構成 をクリックします。
3. [ ] をクリックして、 パイプライン ルート フォルダー の下のフォルダーを変更します。
4. 保存 をクリックします。

ルートフォルダのない既存のパイプライン​

従来のノートブック編集エクスペリエンスを使用して作成された既存のパイプラインには、ルート フォルダーは構成されません。ルート フォルダーが設定されていないパイプラインを開くと、ルート フォルダーを作成し、その中にソース ファイルを整理するように求められます。

これを無視して、ルート フォルダーを設定せずにパイプラインの編集を続行できます。

後でパイプラインのルート フォルダーを構成したい場合は、次のステップに従ってください。

1. パイプラインアセットブラウザで、 設定 をクリックします。
2. [ ] をクリックして、 パイプライン ルート フォルダー の下のルート フォルダーを選択します。
3. 保存 をクリックします。

デフォルトのフォルダ構造​

新しいパイプラインを作成すると、デフォルトのフォルダー構造が作成されます。これは、以下で説明するように、パイプラインのソース コード ファイルと非ソース コード ファイルを整理するための推奨構造です。

このフォルダー構造には、少数のサンプル コード ファイルが作成されます。

ワークフローに合わせてフォルダー名を変更したり、構造を変更したりできます。新しいソース コード フォルダーを追加するには、次のステップに従います。

1. パイプラインアセットブラウザで 追加 をクリックします。
2. パイプライン ソース コード フォルダの作成 をクリックします。
3. フォルダ名を入力し、 「作成」 をクリックします。

ソースコードファイル​

ソース コード ファイルは、パイプラインのソース コード定義の一部です。 パイプラインを実行すると、これらのファイルが評価されます。ソース コード定義の一部であるファイルとフォルダーには、ミニ パイプライン アイコンが重ねて表示された特別なアイコンが表示されます。

新しいソース コード ファイルを追加するには、次のステップに従います。

1. パイプラインアセットブラウザで 追加 をクリックします。
2. 変換 をクリックします。
3. ファイルの 名前 を入力し、 言語 として Python または SQL を選択します。
4. 作成 をクリックします。

クリックすることもできますパイプライン アセット ブラウザー内の任意のフォルダーにソース コード ファイルを追加します。

新しいパイプラインを作成すると、ソース コード用のtransformationsフォルダーがデフォルトで作成されます。このフォルダーは、パイプライン テーブル定義を含む Python または SQL コード ファイルなどのパイプライン ソース コードの推奨される場所です。

ソースコード以外のファイル​

ソース コード ファイル以外のファイルは、パイプラインのルート フォルダー内に格納されますが、パイプラインのソース コード定義の一部ではありません。これらのファイルは、パイプラインの実行時には評価されません。ソース コード ファイル以外のファイルを 外部ファイルにすることはできません。

ソース コードと一緒に保存したいパイプラインでの作業に関連するファイルにこれを使用できます。例えば：

• 非Lakeflow 宣言型パイプライン コンピュートで実行されるアドホック探索に使用するノートブック パイプラインのライフサイクル外。
• ソース コード ファイル内にこれらのモジュールを明示的にインポートしない限り、ソース コードでは評価されない Python モジュール。

新しい非ソース コード ファイルを追加するには、次のステップに従います。

1. パイプラインアセットブラウザで 追加 をクリックします。
2. [Exploration] または [Utility] をクリックします。
3. ファイルの 名前 を入力します。
4. 作成 をクリックします。

クリックすることもできますパイプラインのルート フォルダーまたは非ソース コード ファイルを指定すると、非ソース コード ファイルがフォルダーに追加されます。

新しいパイプラインを作成すると、ソース コード以外のファイル用の次のフォルダーがデフォルトで作成されます。

ルート フォルダーの外部にある Python モジュールをインポートすることもできますが、その場合は Python コードのsys.pathにフォルダー パスを追加する必要があります。

import sys, os
sys.path.append(os.path.abspath('<alternate_path_for_utilities>/utilities'))
from utils import \*

外部ファイル​

パイプライン ブラウザーの 外部ファイル セクションには、ルート フォルダーの外部にあるソース コード ファイルが表示されます。

外部ファイルをtransformationsフォルダーなどのルート フォルダーに移動するには、次の手順に従います。

1. クリックアセット ブラウザでファイルを選択し、 [移動] をクリックします。
2. ファイルの移動先のフォルダを選択し、 移動 をクリックします。

複数のパイプラインに関連付けられたファイル​

ファイルが複数のパイプラインに関連付けられている場合は、ファイルのヘッダーにバッジが表示されます。関連付けられているパイプラインの数があり、他のパイプラインに切り替えることができます。

すべてのファイルセクション​

パイプライン セクションに加えて、ワークスペース内の任意のファイルを開くことができる すべてのファイル セクションがあります。ここでは次のことができます:

• ルートフォルダの外部にあるファイルをタブ内で開き、 Lakeflow Pipelines エディタを離れることなく開きます。
• 別のパイプラインのソース コード ファイルに移動して開きます。これにより、エディターでファイルが開き、エディターでフォーカスをこの 2 番目のパイプラインに切り替えるオプションを含むバナーが表示されます。
• ファイルをパイプラインのルート フォルダーに移動します。
• パイプラインのソース コード定義にルート フォルダー外のファイルを含めます。

パイプラインのソースファイルを編集する​

ワークスペース ブラウザーまたはパイプライン アセット ブラウザーからパイプライン ソース ファイルを開くと、 LakeFlow Pipelinesエディターのエディター タブで開きます。 複数のファイルを開くと個別のタブが開き、複数のファイルを一度に編集できるようになります。

パイプラインのソース コードには複数のファイルが含まれています。デフォルトでは、ソース ファイルはパイプライン アセット ブラウザーの 変換 フォルダーにあります。ソース コード ファイルは、Python ( *.py ) または SQL ( *.sql ) ファイルになります。ソースでは、1 つのパイプラインに Python ファイルと SQL ファイルの両方を混在させることができ、1 つのファイル内のコードは別のファイルで定義されたテーブルまたはビューを参照できます。

変換 フォルダーにマークダウン ( *.md )ファイルを含めることもできます。Markdown ファイルはドキュメントやメモに使用できますが、パイプラインの更新を実行するときには無視されます。

以下の機能はLakeFlow Pipelinesエディターに固有のものです。

1. 接続 - サーバーレスまたはクラシック コンピュートに接続してパイプラインを実行します。 パイプラインに関連付けられたすべてのファイルは同じコンピュート接続を使用するため、一度接続すると、同じパイプライン内の他のファイルに接続する必要はありません。 コンピュート オプションの詳細については、 「コンピュート構成オプション」を参照してください。

   探索的ノートブックなどのパイプライン以外のファイルの場合、接続オプションは使用できますが、その個々のファイルにのみ適用されます。

2. ファイルを実行 - コードを実行して、このソース ファイルで定義されているテーブルを更新します。次のセクションでは、パイプライン コードを実行するさまざまな方法について説明します。

3. 編集 - Databricks Assistantを使用して、ファイル内のコードを編集または追加します。

4. クイック修正 - コードにエラーがある場合は、アシスタントを使用してエラーを修正します。

下部のパネルも現在のタブに基づいて調整されます。下部パネルでパイプライン情報をいつでも表示できます。SQL エディター ファイルなどのパイプラインに関連しないファイルも、別のタブの下部パネルに出力が表示されます。次の画像は、下部のパネルでパイプライン情報の表示と選択したノートブックの情報の表示を切り替える垂直タブ セレクターを示しています。

パイプラインコードを実行する​

パイプライン コードを実行するには、次の 4 つのオプションがあります。

1. パイプライン内のすべてのソースコードファイルを実行する

   [パイプライン] または [完全なテーブル更新でパイプラインを実行] をクリックして、パイプライン ソース コードとして定義されているすべてのファイル内のすべてのテーブル定義を実行します。 更新タイプの詳細については、 「パイプライン更新セマンティクス」を参照してください。

   

   ドライラン をクリックして、データを更新せずにパイプラインを検証することもできます。

2. コードを1つのファイルで実行する

   [ファイル実行] または [完全なテーブル更新でファイルを実行] をクリックして、現在のファイル内のすべてのテーブル定義を実行します。 パイプライン内の他のファイルは評価されません。

   

   このオプションは、ファイルをすばやく編集して反復処理する場合のデバッグに役立ちます。単一のファイル内のコードのみを実行すると副作用が生じます。

   • 他のファイルが評価されない場合、それらのファイル内のエラーは見つかりません。
   • 他のファイルでマテリアライズされたテーブルでは、より新しいソース データが存在する場合でも、テーブルの最新のマテリアライズが使用されます。
   • 参照先のテーブルがまだマテリアライズされていない場合は、エラーが発生する可能性があります。
   • マテリアライズされていない他のファイル内のテーブルでは、DAG が正しくないか、分離されている可能性があります。Databricks はグラフを正確に保つために最善を尽くしますが、そのために他のファイルを評価することはありません。

   デバッグとファイルの編集が完了したら、 Databricks 、パイプラインを本番運用する前に、パイプライン内のすべてのソース コード ファイルを実行して、パイプラインがエンドツーエンドで動作することを確認することをお勧めします。

3. 単一のテーブルに対してコードを実行する

   ソース コード ファイル内のテーブル定義の横にある 実行テーブル アイコン をクリックします。次に、ドロップダウンから 「テーブルの更新」 または 「テーブルの完全更新」の いずれかを選択します。 単一のテーブルに対してコードを実行すると、単一のファイルでコードを実行した場合と同様の副作用が発生します。

   

4. テーブルセットのコードを実行する

   DAG からテーブルを選択して、実行するテーブルのリストを作成できます。DAGのテーブルにマウスを移動し、をクリックし、 更新するテーブルを選択 を選択します。更新するテーブルを選択したら、DAG の下部から [ 実行] または [完全更新で実行] オプションを選択します。

   

パイプライングラフ、有向非巡回グラフ（DAG）​

パイプライン内のすべてのソース コード ファイルを実行または検証すると、 パイプライン グラフ と呼ばれる有向非巡回グラフ (DAG) が表示されます。グラフにはテーブル依存関係グラフが表示されます。各ノードには、パイプラインのライフサイクルに沿って、検証済み、実行中、エラーなどのさまざまな状態があります。

右側のパネルのグラフ アイコンをクリックすると、グラフのオンとオフを切り替えることができます。グラフを最大化することもできます。右下にはズームオプションなどの追加オプションがあります。グラフを垂直または水平レイアウトで表示するための その他のオプション 。

ノードにマウスを移動すると、クエリの更新などのオプションを含むツールバーが表示されます。ノードを右クリックすると、コンテキスト メニューに同じオプションが表示されます。

ノードをクリックすると、データのプレビューとテーブル定義が表示されます。ファイルを編集すると、そのファイルで定義されているテーブルがグラフ内で強調表示されます。

データプレビュー​

データ プレビュー セクションには、選択したテーブルのサンプル データが表示されます。

有向非巡回グラフ (DAG) 内のノードをクリックすると、テーブルのデータのプレビューが表示されます。

テーブルが選択されていない場合は、 テーブル セクションに移動し、 データ プレビュー の表示 をクリックします。テーブルを選択した場合は、[ すべてのテーブル ] をクリックしてすべてのテーブルに戻ります。

テーブル データをプレビューすると、その場でデータをフィルター処理したり並べ替えたりすることができます。より複雑な分析を行う場合は、 Explorations フォルダー内のノートブックを使用または作成できます (デフォルトのフォルダー構造を維持していると仮定)。デフォルトでは、このフォルダー内のソース コードはパイプラインの更新中に実行されないため、パイプラインの出力に影響を与えずにクエリを作成できます。

処理に対する洞察​

エディターの下部にあるパネルで、最新のパイプライン更新に関するテーブル実行の知識を確認できます。

パイプライン構成​

パイプライン エディターからパイプラインを構成できます。パイプラインの設定、スケジュール、または権限を変更できます。

これらはそれぞれ、エディターのヘッダーにあるボタン、またはアセット ブラウザー (左側のサイドバー) のアイコンからアクセスできます。

• 設定 （または選択アセットブラウザ内):

  設定パネルからパイプラインの設定を編集できます。これには、一般情報、ルート フォルダーとソース コードの構成、コンピュートの構成、通知、詳細設定などが含まれます。

• スケジュール （または選択）アセットブラウザ内):

  スケジュール ダイアログから、パイプラインのスケジュールを 1 つ以上作成できます。たとえば、毎日実行したい場合は、ここで設定できます。選択したスケジュールでパイプラインを実行するジョブを作成します。スケジュール ダイアログから新しいスケジュールを追加したり、既存のスケジュールを削除したりできます。

• シェア （または、アセットブラウザのメニューから):

  パイプライン権限ダイアログから、ユーザーとグループのパイプラインの権限を管理できます。

イベントログ​

パイプラインのイベント ログを Unity Catalog に公開できます。デフォルトでは、パイプラインのイベント ログは UI に表示され、所有者がクエリのためにアクセスできます。

1. 設定 を開きます。
2. クリック 詳細設定の 横にある矢印。
3. 詳細設定の編集を クリックします。
4. [イベント ログ] の下で、 [カタログに公開] をクリックします。
5. イベント ログの名前、カタログ、スキーマを指定します。
6. 保存 をクリックします。

パイプライン イベントは、指定したテーブルに公開されます。

パイプライン イベント ログの使用の詳細については、 「イベント ログのクエリ」を参照してください。

パイプライン環境​

設定 で依存関係を追加することで、ソースコード用の環境を作成できます。

1. 設定 を開きます。
2. [環境] の下で、 [環境の編集] を クリックします。
3. 選択依存関係を追加するには、 requirements.txtファイルに追加するのと同じように依存関係 を追加します 。依存関係の詳細については、 「ノートブックに依存関係を追加する」を参照してください。

Databricks では、 ==を使用してバージョンをピン留めすることをお勧めします。PyPI パッケージを参照してください。

環境はパイプライン内のすべてのソース コード ファイルに適用されます。

通知​

パイプライン設定 を使用して通知を追加できます。

1. 設定 を開きます。
2. [通知] セクションで、 [通知を追加] をクリックします。
3. 1 つ以上の電子メール アドレスと、そのアドレスを送信するイベントを追加します。
4. [通知を追加]を クリックします。

モニタリングパイプライン​

Databricks は、実行中のパイプラインを監視する機能も提供します。エディターには、最新の実行に関する結果と実行に関する知識が表示されます。 パイプラインをインタラクティブに開発しながら効率的に反復できるように最適化されています。

パイプライン モニタリング ページでは、実行履歴を表示できます。これは、ジョブを使用してパイプラインがスケジュールに従って実行されている場合に役立ちます。

モニタリング体験は、ワークスペースの左側にある ジョブとパイプライン ボタンから利用できます。 パイプライン アセット ブラウザーで実行結果をクリックして、エディターからモニタリング ページに直接ジャンプすることもできます。

モニタリング ページの詳細については、 「UI でLakeFlow宣言型パイプラインを監視する」を参照してください。 モニタリング UI には、UI のヘッダーから [パイプラインの編集] を 選択することで、 LakeFlow Pipelinesエディターに戻る機能が含まれています。

LakeFlow Pipelines Editor と更新されたモニタリングを有効にする​

LakeFlow Pipelines Editor のプレビューは、当然により有効になります。 以下の手順に従って無効にしたり、再度有効にしたりすることができます。LakeFlow Pipelinesエディターのプレビューが有効になっている場合は、更新されたモニタリング エクスペリエンス (プレビュー) も有効にすることができます。

ワークスペースの LakeFlow Pipelines Editor オプションを設定して、プレビューを有効にする必要があります。 オプションの編集方法の詳細については、 Databricksプレビューの管理」を参照してください。

プレビューが有効になったら、 LakeFlow Pipelinesエディターを複数の方法で有効にできます。

• 新しいETLパイプラインを作成するときは、 LakeFlow LakeFlow Pipelines 宣言型パイプラインのエディターを有効にします。

  

  エディターを初めて有効にするときに、パイプラインの詳細設定ページが使用されます。次回新しいパイプラインを作成するときには、簡略化されたパイプライン作成ウィンドウが使用されます。

• 既存のパイプラインの場合は、パイプラインで使用されているノートブックを開き、ヘッダーで LakeFlow Pipelines Editor の 切り替えを有効にします。 パイプライン監視ページに移動し、 [設定] をクリックしてLakeFlow Pipelines Editor を有効にすることもできます。

• ユーザー設定からLakeFlow Pipelinesエディターを有効にすることができます。

  1. ワークスペースの右上にある ユーザー バッジ をクリックし、 [設定] と [開発者] をクリックします。
  2. LakeFlow Pipelinesエディター を有効にします。

LakeFlow Pipelinesエディターの 切り替えを有効にすると、すべてのETLパイプラインは事実上LakeFlow Pipelinesエディターを使用します。 LakeFlow Pipelinesエディターはエディターからオンとオフを切り替えることができます。

新しいパイプラインモニタリングページを有効にする​

LakeFlow Pipelines Editor プレビューの一部として、パイプラインの新しいパイプライン モニタリング ページを有効にすることもできます。 パイプラインモニタリングページを有効にするには、 LakeFlow Pipelines Editor プレビューを有効にする必要があります。 エディターのプレビューが有効になっていると、新しいモニタリング ページも当然有効になります。

1. [ジョブとパイプライン] をクリックします。

2. パイプラインの詳細を表示するには、パイプラインの名前をクリックします。

3. ページの上部で、 [新しいパイプライン] ページの 切り替えを使用して、更新されたモニタリング UI を有効にします。

   

制限事項と既知の問題​

宣言型パイプラインの ETL パイプライン エディターに関する次の制限事項と既知の問題 Lakeflow を参照してください。

1. explorationsフォルダー内のファイルまたはノートブックを開いて開始した場合、ワークスペース ブラウザのサイドバーはパイプラインにフォーカスしません。これらのファイルまたはノートブックはパイプライン ソース コード定義の一部ではないためです。

   ワークスペース ブラウザでパイプライン フォーカス モードに入るには、パイプラインに関連付けられているファイルを開きます。

2. 通常のビューではデータプレビューはサポートされていません。

3. Python モジュールは、ルート フォルダー内またはsys.path上にある場合でも、UDF 内からは見つかりません。これらのモジュールにアクセスするには、UDF 内からsys.pathにパスを追加します。次に例を示します。 sys.path.append(os.path.abspath(“/Workspace/Users/path/to/modules”))

4. %pip install ファイル (新しいエディターのデフォルトのアセット タイプ) からはサポートされません。設定で依存関係を追加できます。パイプライン環境を参照してください。

   あるいは、パイプラインに関連付けられたノートブックの%pip installソース コード定義で引き続き使用することもできます。

よくある質問​

1. ソースコードにノートブックではなくファイルを使用するのはなぜですか?

   ノートブックのセルベースの実行は、 LakeFlow宣言型パイプラインと互換性がありません。 LakeFlow宣言型パイプラインを使用する場合、ノートブックの標準機能が無効になるか変更されるため、ノートブックの動作に慣れているユーザーは混乱します。

   Lakeflow Pipelines エディタでは、ファイル エディタは Lakeflow 宣言型パイプラインのファーストクラス エディタの基盤として使用されます。機能は、さまざまな動作を持つ使い慣れた機能をオーバーロードするのではなく、Lakeflow 実行テーブル などの 宣言型パイプラインを明示的に対象としています。

2. ノートブックをソースコードとして使用できますか?

   はい、できます。ただし、 実行テーブル などの一部の機能はまたは 実行ファイル が存在しません。

   ノートブックを使用した既存のパイプラインがある場合、新しいエディターでも引き続き機能します。ただし、Databricks では、新しいパイプラインではファイルに切り替えることを推奨しています。

3. 新しく作成したパイプラインに既存のコードを追加するにはどうすればよいですか?

   既存のソース コード ファイルを新しいパイプラインに追加できます。既存のファイルを含むフォルダーを追加するには、次のステップに従います。

   1. 設定 をクリックします。
   2. [ソース コード] の下で [パスの構成] をクリックします。
   3. 「パスの追加」 をクリックし、既存のファイルのフォルダーを選択します。
   4. 保存 をクリックします。

   個々のファイルを追加することもできます。

   1. パイプライン アセット ブラウザで [すべてのファイル] をクリックします。
   2. ファイルに移動してクリックをクリックし、 パイプラインに含めるを クリックします。

   これらのファイルをパイプラインのルート フォルダーに移動することを検討してください。パイプラインのルート フォルダーの外側に残されている場合は、 外部ファイル セクションに表示されます。

4. パイプラインのソース コードをGitで管理できますか?

   パイプラインを最初に作成するときに Git フォルダーを選択することで、Git でパイプライン ソースを管理できます。

最初に Git フォルダーにパイプラインを作成しなかった場合は、ソースを Git フォルダーに移動できます。Databricks では、エディター アクションを使用してルート フォルダー全体を Git フォルダーに移動することをお勧めします。これにより、すべての設定がそれに応じて更新されます。ルートフォルダーを参照してください。

パイプライン アセット ブラウザでルート フォルダを Git フォルダに移動するには:

1. クリックルート フォルダー用。
2. ルートフォルダの移動を クリックします。
3. ルート フォルダーの新しい場所を選択し、 [移動] をクリックします。

詳細については、 「ルート フォルダー」セクションを参照してください。

移動後、ルート フォルダーの名前の横に、使い慣れた Git アイコンが表示されます。

5. 同じルート フォルダーに複数のパイプラインを配置できますか?

   可能ですが、Databricks ではルート フォルダーごとに 1 つのパイプラインのみを使用することをお勧めします。

6. ドライ実行はいつ実行すればよいですか?

   ドライラン をクリックして、テーブルを更新せずにコードを確認します。

7. コード内で一時ビューをいつ使用する必要がありますか?また、マテリアライズドビューを使用する必要があるのはどのような場合ですか?

   データをマテリアライズしたくない場合は、一時ビューを使用します。たとえば、これは、カタログに登録されているストリーミング テーブルやマテリアライズドビューを使用してデータを実体化する準備ができる前に、データを準備するための一連のステップの中のステップです。