SKILLOfficialdevelopment

aidp-azuresql

プラグイン: oracle-ai-data-platform-workbench-spark-connectors
ソース: GitHub で見る ↗

説明

Azure SQL Database（マイクロソフトのクラウドデータベースサービス）のデータを、AIDP（Analytical Intelligence Data Platform）ノートブック内で読み書きできます。AIDP の `aidataplatform` Spark 形式ハンドラーを通じて処理されます。 **次のような場合に使用:** - ユーザーが Azure SQL、Azure SQL Database、AZURE_SQLSERVER、または database.windows.net のエンドポイントについて言及したとき認証には SQL ユーザー名とパスワードを使用します。

原文を表示

Read or write Azure SQL Database from an AIDP notebook through the AIDP `aidataplatform` Spark format handler. Use when the user mentions Azure SQL, Azure SQL Database, AZURE_SQLSERVER, or a database.windows.net endpoint. Auth is SQL username/password.

ユースケース

Azure SQL Database のデータを読み書きするとき
AIDP ノートブック内でデータ処理を行うとき
SQL ユーザー認証でデータベースに接続するとき

本文（日本語訳）

`aidp-azuresql` — AIDP経由でAzure SQL Databaseに接続

専用のAzure SQLコネクタタイプ AZURE_SQLSERVER を使用します。データの読み込み・書き込み、外部カタログへのアクセス、catalog.id、およびSQL処理の下推し（データベース側で実行）に対応しています。

使用する場合

AIDPノートブックからAzure SQL Databaseへのデータ読み込み・書き込みを行いたい
「Azure SQL」「Azure SQL Database」または database.windows.net が提示されている

使用しない場合

自社運用のMicrosoft SQL Serverの場合 → aidp-sqlserver
Azure Data Lake Storageの場合 → aidp-azure-adls

データ読み込み

import os
from oracle_ai_data_platform_connectors.aidataplatform import (
    AIDP_FORMAT, aidataplatform_options,
)

opts = aidataplatform_options(
    type="AZURE_SQLSERVER",
    host=os.environ["AZURE_SQL_HOST"],
    port=int(os.environ.get("AZURE_SQL_PORT", "1433")),
    database_name=os.environ["AZURE_SQL_DATABASE"],
    user=os.environ["AZURE_SQL_USER"],
    password=os.environ["AZURE_SQL_PASSWORD"],
    schema=os.environ.get("AZURE_SQL_SCHEMA", "dbo"),
    table=os.environ["AZURE_SQL_TABLE"],
)
df = spark.read.format(AIDP_FORMAT).options(**opts).load()
df.show(5)

データ書き込み

CREATE（新規作成）、APPEND（追加）、OVERWRITE（上書き）、MERGE（統合）に対応しています。MERGE を使う場合は write.merge.keys が必須です。

write_opts = aidataplatform_options(
    type="AZURE_SQLSERVER",
    host=os.environ["AZURE_SQL_HOST"],
    port=int(os.environ.get("AZURE_SQL_PORT", "1433")),
    database_name=os.environ["AZURE_SQL_DATABASE"],
    user=os.environ["AZURE_SQL_USER"],
    password=os.environ["AZURE_SQL_PASSWORD"],
    schema=os.environ.get("AZURE_SQL_SCHEMA", "dbo"),
    table=os.environ["AZURE_SQL_TARGET_TABLE"],
    extra={"write.mode": "CREATE"},
)
df.write.format(AIDP_FORMAT).options(**write_opts).save()

外部カタログと `catalog.id`

まず「マスターカタログ」でAzure SQL外部カタログを作成します。3部構成の名前でカタログの読み書きを行うか、catalog.id で保存済みの接続情報を再利用できます。

catalog_df = spark.table("<CATALOG_NAME>.<SCHEMA>.<TABLE_NAME>")
catalog_df.show(5)

catalog_id_df = (spark.read.format(AIDP_FORMAT)
    .option("catalog.id", "<CATALOG_ID>")
    .option("schema", "<SCHEMA>")
    .option("table", "<TABLE_NAME>")
    .load())

catalog_id_df.write.format(AIDP_FORMAT) \
    .option("catalog.id", "<CATALOG_ID>") \
    .option("schema", "<SCHEMA>") \
    .option("table", "<TARGET_TABLE_NAME>") \
    .option("write.mode", "APPEND") \
    .save()

SQL処理の下推し

pushdown_df = (spark.read.format(AIDP_FORMAT)
    .options(**opts)
    .option("pushdown.sql", "SELECT TOP 10 * FROM <SCHEMA>.<TABLE_NAME>")
    .load())
pushdown_df.show(5)

注意点

Azure SQL Databaseには SQLSERVER ではなく AZURE_SQLSERVER を使用する
Azure SQLは通常ポート 1433 を使用する。ホスト名は完全修飾形式 *.database.windows.net で指定する
スキーマ（テーブルの格納場所）は通常 dbo です。database.name はAzure SQLのデータベース名を指定する
AIDPがAzure SQLエンドポイントへの外部通信を必要とするため、AIDPのネットワークパスについてAzureファイアウォール設定を確認する

参考資料

公式サンプル：AzureSQL ノートブック

原文（English）を表示

`aidp-azuresql` — Azure SQL Database via AIDP `aidataplatform`

Use the dedicated Azure SQL connector type, AZURE_SQLSERVER. It supports ingestion reads and writes, external-catalog access, catalog.id, and SQL pushdown.

When to use

Read or write Azure SQL Database from an AIDP notebook.
Mentioned: "Azure SQL", "Azure SQL Database", or database.windows.net.

When NOT to use

For self-managed Microsoft SQL Server → aidp-sqlserver.
For Azure Data Lake Storage → aidp-azure-adls.

Ingestion read

import os
from oracle_ai_data_platform_connectors.aidataplatform import (
    AIDP_FORMAT, aidataplatform_options,
)

opts = aidataplatform_options(
    type="AZURE_SQLSERVER",
    host=os.environ["AZURE_SQL_HOST"],
    port=int(os.environ.get("AZURE_SQL_PORT", "1433")),
    database_name=os.environ["AZURE_SQL_DATABASE"],
    user=os.environ["AZURE_SQL_USER"],
    password=os.environ["AZURE_SQL_PASSWORD"],
    schema=os.environ.get("AZURE_SQL_SCHEMA", "dbo"),
    table=os.environ["AZURE_SQL_TABLE"],
)
df = spark.read.format(AIDP_FORMAT).options(**opts).load()
df.show(5)

Ingestion write

CREATE, APPEND, OVERWRITE, and MERGE are supported. write.merge.keys is required for MERGE.

write_opts = aidataplatform_options(
    type="AZURE_SQLSERVER",
    host=os.environ["AZURE_SQL_HOST"],
    port=int(os.environ.get("AZURE_SQL_PORT", "1433")),
    database_name=os.environ["AZURE_SQL_DATABASE"],
    user=os.environ["AZURE_SQL_USER"],
    password=os.environ["AZURE_SQL_PASSWORD"],
    schema=os.environ.get("AZURE_SQL_SCHEMA", "dbo"),
    table=os.environ["AZURE_SQL_TARGET_TABLE"],
    extra={"write.mode": "CREATE"},
)
df.write.format(AIDP_FORMAT).options(**write_opts).save()

External catalog and `catalog.id`

Create an Azure SQL external catalog in Master Catalogs first. Use a three-part name for catalog reads and writes, or catalog.id to reuse its saved connection.

catalog_df = spark.table("<CATALOG_NAME>.<SCHEMA>.<TABLE_NAME>")
catalog_df.show(5)

catalog_id_df = (spark.read.format(AIDP_FORMAT)
    .option("catalog.id", "<CATALOG_ID>")
    .option("schema", "<SCHEMA>")
    .option("table", "<TABLE_NAME>")
    .load())

catalog_id_df.write.format(AIDP_FORMAT) \
    .option("catalog.id", "<CATALOG_ID>") \
    .option("schema", "<SCHEMA>") \
    .option("table", "<TARGET_TABLE_NAME>") \
    .option("write.mode", "APPEND") \
    .save()

Pushdown SQL

pushdown_df = (spark.read.format(AIDP_FORMAT)
    .options(**opts)
    .option("pushdown.sql", "SELECT TOP 10 * FROM <SCHEMA>.<TABLE_NAME>")
    .load())
pushdown_df.show(5)

Gotchas

Use AZURE_SQLSERVER, not SQLSERVER, for Azure SQL Database.
Azure SQL normally uses port 1433; pass the fully-qualified *.database.windows.net host.
schema is usually dbo; database.name is the Azure SQL database.
AIDP needs egress to the Azure SQL endpoint. Configure Azure firewall rules for the AIDP network path.

References

Official sample: AzureSQL notebook

原文・著作権は Anthropic および各プラグイン作者に帰属します。日本語訳は Claude API による自動翻訳です。

SKILLOfficialdevelopment

aidp-azuresql

プラグイン: oracle-ai-data-platform-workbench-spark-connectors
ソース: GitHub で見る ↗

説明

原文を表示

ユースケース

Azure SQL Database のデータを読み書きするとき
AIDP ノートブック内でデータ処理を行うとき
SQL ユーザー認証でデータベースに接続するとき

本文（日本語訳）

`aidp-azuresql` — AIDP経由でAzure SQL Databaseに接続

使用する場合

AIDPノートブックからAzure SQL Databaseへのデータ読み込み・書き込みを行いたい
「Azure SQL」「Azure SQL Database」または database.windows.net が提示されている

使用しない場合

自社運用のMicrosoft SQL Serverの場合 → aidp-sqlserver
Azure Data Lake Storageの場合 → aidp-azure-adls

データ読み込み

import os
from oracle_ai_data_platform_connectors.aidataplatform import (
    AIDP_FORMAT, aidataplatform_options,
)

opts = aidataplatform_options(
    type="AZURE_SQLSERVER",
    host=os.environ["AZURE_SQL_HOST"],
    port=int(os.environ.get("AZURE_SQL_PORT", "1433")),
    database_name=os.environ["AZURE_SQL_DATABASE"],
    user=os.environ["AZURE_SQL_USER"],
    password=os.environ["AZURE_SQL_PASSWORD"],
    schema=os.environ.get("AZURE_SQL_SCHEMA", "dbo"),
    table=os.environ["AZURE_SQL_TABLE"],
)
df = spark.read.format(AIDP_FORMAT).options(**opts).load()
df.show(5)

データ書き込み

CREATE（新規作成）、APPEND（追加）、OVERWRITE（上書き）、MERGE（統合）に対応しています。MERGE を使う場合は write.merge.keys が必須です。

write_opts = aidataplatform_options(
    type="AZURE_SQLSERVER",
    host=os.environ["AZURE_SQL_HOST"],
    port=int(os.environ.get("AZURE_SQL_PORT", "1433")),
    database_name=os.environ["AZURE_SQL_DATABASE"],
    user=os.environ["AZURE_SQL_USER"],
    password=os.environ["AZURE_SQL_PASSWORD"],
    schema=os.environ.get("AZURE_SQL_SCHEMA", "dbo"),
    table=os.environ["AZURE_SQL_TARGET_TABLE"],
    extra={"write.mode": "CREATE"},
)
df.write.format(AIDP_FORMAT).options(**write_opts).save()

外部カタログと `catalog.id`

catalog_df = spark.table("<CATALOG_NAME>.<SCHEMA>.<TABLE_NAME>")
catalog_df.show(5)

catalog_id_df = (spark.read.format(AIDP_FORMAT)
    .option("catalog.id", "<CATALOG_ID>")
    .option("schema", "<SCHEMA>")
    .option("table", "<TABLE_NAME>")
    .load())

catalog_id_df.write.format(AIDP_FORMAT) \
    .option("catalog.id", "<CATALOG_ID>") \
    .option("schema", "<SCHEMA>") \
    .option("table", "<TARGET_TABLE_NAME>") \
    .option("write.mode", "APPEND") \
    .save()

SQL処理の下推し

pushdown_df = (spark.read.format(AIDP_FORMAT)
    .options(**opts)
    .option("pushdown.sql", "SELECT TOP 10 * FROM <SCHEMA>.<TABLE_NAME>")
    .load())
pushdown_df.show(5)

注意点

Azure SQL Databaseには SQLSERVER ではなく AZURE_SQLSERVER を使用する
Azure SQLは通常ポート 1433 を使用する。ホスト名は完全修飾形式 *.database.windows.net で指定する
スキーマ（テーブルの格納場所）は通常 dbo です。database.name はAzure SQLのデータベース名を指定する
AIDPがAzure SQLエンドポイントへの外部通信を必要とするため、AIDPのネットワークパスについてAzureファイアウォール設定を確認する

参考資料

公式サンプル：AzureSQL ノートブック

原文（English）を表示

`aidp-azuresql` — Azure SQL Database via AIDP `aidataplatform`

Use the dedicated Azure SQL connector type, AZURE_SQLSERVER. It supports ingestion reads and writes, external-catalog access, catalog.id, and SQL pushdown.

When to use

Read or write Azure SQL Database from an AIDP notebook.
Mentioned: "Azure SQL", "Azure SQL Database", or database.windows.net.

When NOT to use

For self-managed Microsoft SQL Server → aidp-sqlserver.
For Azure Data Lake Storage → aidp-azure-adls.

Ingestion read

import os
from oracle_ai_data_platform_connectors.aidataplatform import (
    AIDP_FORMAT, aidataplatform_options,
)

opts = aidataplatform_options(
    type="AZURE_SQLSERVER",
    host=os.environ["AZURE_SQL_HOST"],
    port=int(os.environ.get("AZURE_SQL_PORT", "1433")),
    database_name=os.environ["AZURE_SQL_DATABASE"],
    user=os.environ["AZURE_SQL_USER"],
    password=os.environ["AZURE_SQL_PASSWORD"],
    schema=os.environ.get("AZURE_SQL_SCHEMA", "dbo"),
    table=os.environ["AZURE_SQL_TABLE"],
)
df = spark.read.format(AIDP_FORMAT).options(**opts).load()
df.show(5)

Ingestion write

CREATE, APPEND, OVERWRITE, and MERGE are supported. write.merge.keys is required for MERGE.

write_opts = aidataplatform_options(
    type="AZURE_SQLSERVER",
    host=os.environ["AZURE_SQL_HOST"],
    port=int(os.environ.get("AZURE_SQL_PORT", "1433")),
    database_name=os.environ["AZURE_SQL_DATABASE"],
    user=os.environ["AZURE_SQL_USER"],
    password=os.environ["AZURE_SQL_PASSWORD"],
    schema=os.environ.get("AZURE_SQL_SCHEMA", "dbo"),
    table=os.environ["AZURE_SQL_TARGET_TABLE"],
    extra={"write.mode": "CREATE"},
)
df.write.format(AIDP_FORMAT).options(**write_opts).save()

External catalog and `catalog.id`

Create an Azure SQL external catalog in Master Catalogs first. Use a three-part name for catalog reads and writes, or catalog.id to reuse its saved connection.

catalog_df = spark.table("<CATALOG_NAME>.<SCHEMA>.<TABLE_NAME>")
catalog_df.show(5)

catalog_id_df = (spark.read.format(AIDP_FORMAT)
    .option("catalog.id", "<CATALOG_ID>")
    .option("schema", "<SCHEMA>")
    .option("table", "<TABLE_NAME>")
    .load())

catalog_id_df.write.format(AIDP_FORMAT) \
    .option("catalog.id", "<CATALOG_ID>") \
    .option("schema", "<SCHEMA>") \
    .option("table", "<TARGET_TABLE_NAME>") \
    .option("write.mode", "APPEND") \
    .save()

Pushdown SQL

pushdown_df = (spark.read.format(AIDP_FORMAT)
    .options(**opts)
    .option("pushdown.sql", "SELECT TOP 10 * FROM <SCHEMA>.<TABLE_NAME>")
    .load())
pushdown_df.show(5)

Gotchas

Use AZURE_SQLSERVER, not SQLSERVER, for Azure SQL Database.
Azure SQL normally uses port 1433; pass the fully-qualified *.database.windows.net host.
schema is usually dbo; database.name is the Azure SQL database.
AIDP needs egress to the Azure SQL endpoint. Configure Azure firewall rules for the AIDP network path.

References

Official sample: AzureSQL notebook

原文・著作権は Anthropic および各プラグイン作者に帰属します。日本語訳は Claude API による自動翻訳です。

aidp-azuresql

aidp-azuresql — AIDP経由でAzure SQL Databaseに接続

使用する場合

使用しない場合

データ読み込み

データ書き込み

外部カタログと catalog.id

SQL処理の下推し

注意点

参考資料

aidp-azuresql — Azure SQL Database via AIDP aidataplatform

When to use

When NOT to use

Ingestion read

Ingestion write

External catalog and catalog.id

Pushdown SQL

Gotchas

References

aidp-azuresql

aidp-azuresql — AIDP経由でAzure SQL Databaseに接続

使用する場合

使用しない場合

データ読み込み

データ書き込み

外部カタログと catalog.id

SQL処理の下推し

注意点

参考資料

aidp-azuresql — Azure SQL Database via AIDP aidataplatform

When to use

When NOT to use

Ingestion read

Ingestion write

External catalog and catalog.id

Pushdown SQL

Gotchas

References

`aidp-azuresql` — AIDP経由でAzure SQL Databaseに接続

外部カタログと `catalog.id`

`aidp-azuresql` — Azure SQL Database via AIDP `aidataplatform`

External catalog and `catalog.id`

`aidp-azuresql` — AIDP経由でAzure SQL Databaseに接続

外部カタログと `catalog.id`

`aidp-azuresql` — Azure SQL Database via AIDP `aidataplatform`

External catalog and `catalog.id`