claude-skills/

Anthropic公式スキル・プラグインの日本語ディレクトリ

last sync 22h ago
スキルOfficialdevelopment

🚀aidp-migration

プラグイン
oracle-ai-data-platform-workbench-engineer-agent
ソース
GitHub で見る ↗

説明

別のプラットフォーム（Databricks など）から AIDP へのノートブック／ジョブの移行をガイドします。 次のような場合に使用: - Databricks のノートブック／ジョブを AIDP に移植したい場合 - ワークロードを AIDP レイクハウスに移行したい場合 - 移行計画を立てたい場合 オーケストレーション専用 — 他の自己完結型 `aidp-*` スキルを組み合わせて動作するため、新たな API サーフェスは追加しません。

原文を表示

Guide a migration of notebooks/jobs from another platform (e.g. Databricks) into AIDP. Use when the user wants to port Databricks notebooks/jobs to AIDP, move workloads onto the AIDP lakehouse, or plan a migration. Orchestration-only — it composes the other self-contained aidp-* skills; it adds no new API surface.

ユースケース

  • ✓Databricksのノートブック/ジョブを移植したい
  • ✓ワークロードをAIDPレイクハウスに移行したい
  • ✓移行計画を立てたい

本文（日本語訳）

aidp-migration — AIDPへのガイド付きマイグレーション

他のスキルを組み合わせて、ノートブック／ジョブをAIDPへ移行するための計画と実行を行います。 新たなAPIサーフェスは追加せず、インジェスト・ノートブック・パイプライン・バリデーションを順に実行するオーケストレーターです。 このプラグイン内の他のスキルと同様に自己完結型で構成されています。コントロールプレーン操作は oci raw-request 経由で実行し、インタラクティブなSpark-SQL／セル実行はバンドル済みの scripts/aidp_sql.py 経由で行います。 MCPサーバーや ai-data-engineer-agent リポジトリは不要です。

次のような場合に使用

  • 「これらのDatabricksノートブック／ジョブをAIDPに移行したい」
  • 「このワークロードをAIDPへ移したい」
  • 「マイグレーション計画を立てたい」

ワークフロー

  1. インベントリ: 移行元のアセット（ノートブック、ジョブ／スケジュール、テーブル、ライブラリ）を棚卸しし、移行対象を列挙する。
  2. データの着地: 移行元のテーブル／ファイルをインジェスト（aidp-ingest-file-to-table；外部ソースはspark-connectorsプラグイン＋aidp-federate 経由）。
  3. ノートブックの移植: ワークスペース内にノートブックを再作成し（aidp-notebooks / aidp-workspace-files）、プラットフォーム固有の差異（パス、compute:/// defaultFSの注意点、クラスター／セッションAPI、DeltaフォーマットとそれPH以外のフォーマットの違いなど）を吸収する。 バンドル済みヘルパーを使ってセルの実行を検証する（python "$PLUGIN_DIR/scripts/aidp_sql.py" … --code …）。
  4. ジョブの再作成: タスクDAGとスケジュールを構築する（aidp-pipelines）。clusterName-UUIDの落とし穴や NOTEBOOK_TASK／dependsOn の構造に注意すること。
  5. バリデーション: 移行済みテーブルのプロファイリングと品質チェックを実施し（aidp-profiling-tables、aidp-data-quality）、移行元と行数／集計値を比較する。またジョブをドライランして出力を確認する。
  6. カットオーバー: バリデーション完了後にのみ実施。確認が取れるまでは移行元をフォールバックとして保持する。

エンジン（組み合わせるスキルから継承）

  • コントロールプレーン（ワークスペース、カタログ、テーブル、クラスター、ジョブ、ファイル） → AIDP REST API に対して oci raw-request を使用。 詳細は references/oci-raw-request.md および references/no-mcp-rest-map.md を参照。
  • インタラクティブSpark-SQL／セル実行（移植済みセルの検証、行数／集計値の比較） → python "$PLUGIN_DIR/scripts/aidp_sql.py" --region <r> --datalake <OCID> --workspace <ws> --cluster <key> --code <…>

注意事項

  • 移植時に対処すべきAIDPの代表的な注意点:
    • compute:/// defaultFS（エグゼキューターはドライバーのファイルシステムに書き込めない；サイズAPIは0を返すため oci:// 経由で計測すること）
    • 外部テーブルに対するマニフェストコミットのセマンティクス
    • ジョブ結線時の clusterName-UUID の落とし穴
  • スコープはAIDPネイティブの移行に限定する。OACおよびOCIネットワーキングはスコープ外。
  • 本スキルはガイド付き・人間確認型のプロセスであり、一括自動変換を保証するものではない。

参照

原文（English）を表示

aidp-migration — guided migration into AIDP

Plan and execute a migration of notebooks/jobs onto AIDP by composing the other skills. Adds no new API surface — it sequences ingestion, notebooks, pipelines, and validation. Like every skill in this plugin it is self-contained: control-plane ops run via oci raw-request and interactive Spark-SQL/cell execution runs via the bundled scripts/aidp_sql.py. No MCP server or ai-data-engineer-agent repo is required.

When to use

  • "Migrate these Databricks notebooks/jobs to AIDP", "move this workload onto AIDP", "plan a migration".

Workflow

  1. Inventory the source assets (notebooks, jobs/schedules, tables, libraries) — list what must move.
  2. Land data: ingest source tables/files (aidp-ingest-file-to-table; external sources via the spark-connectors plugin + aidp-federate).
  3. Port notebooks: recreate notebooks in the workspace (aidp-notebooks / aidp-workspace-files), adapting platform-specifics (paths, compute:/// defaultFS caveats, cluster/session APIs, Delta vs other formats). Validate cells run with the bundled helper (python "$PLUGIN_DIR/scripts/aidp_sql.py" … --code …).
  4. Recreate jobs: build the task DAG + schedule (aidp-pipelines), heeding the clusterName-UUID pitfall and NOTEBOOK_TASK/dependsOn shape.
  5. Validate: profile + quality-check migrated tables (aidp-profiling-tables, aidp-data-quality); compare row counts/aggregates against the source; dry-run the job and inspect output.
  6. Cut over: only after validation; keep the source as fallback until confirmed.

Engines (inherited from the composed skills)

  • Control-plane (workspaces, catalogs, tables, clusters, jobs, files) → oci raw-request against the AIDP REST API — see references/oci-raw-request.md and references/no-mcp-rest-map.md.
  • Interactive Spark-SQL / cell execution (validate ported cells, compare counts/aggregates) → python "$PLUGIN_DIR/scripts/aidp_sql.py" --region <r> --datalake <OCID> --workspace <ws> --cluster <key> --code <…>.

Notes

  • Common AIDP gotchas to apply during porting: compute:/// defaultFS (executors can't write the driver FS; size APIs return 0 — measure via oci://), manifest commit semantics for external tables, and the clusterName-UUID pitfall when wiring jobs.
  • Keep scope to AIDP-native migration. OAC and OCI networking are out of scope.
  • This is a guided, human-confirmed process — no bulk automated conversion claims.

References

原文・著作権は Anthropic および各プラグイン作者に帰属します。日本語訳は Claude API による自動翻訳です。