Databricksの開発現場では、Notebook単位の実験的なコードが多くなりがちです。 その中で欠かせないのがpytest。これはPythonのテストフレームワークで、複雑なデータ変換ロジックを小さく検証し、誤差や副作用を早期に検出するための強力なツールです。

Databricksでは、Spark DataFrame上でPythonのPandas関数を並列実行できる Pandas UDF（User Defined Function） が強力なツールとして利用されます。 通常のUDFが1行ずつ処理するのに対し、Pandas UDFは 列（Series）単位で高速処理 する点が特徴です。Sparkの分散処理性能を保ち ...

# MAGIC このレッスンの終わりまでに、次のことができるようになります: # MAGIC * ノートブックをクラスターにアタッチする # MAGIC * ノートブックのセルを実行する # MAGIC * ノートブックの言語を設定する # MAGIC * マジックコマンドを説明し、使用する # MAGIC * SQL ...

日本発条（ニッパツ、本社：神奈川県横浜市）は、研究開発本部にクラウド型データ分析プラットフォーム「Databricks」を導入した。研究データの集約とアクセス性が向上し、必要な情報を数分で取得できるようになった。導入を支援したマクニカが2025年12月 ...

三菱UFJ銀行（本社：東京都千代田区）は、不正検知や業務効率化など、AIを用いたデータ分析の取り組みを加速させている。データ分析プラットフォーム「Databricks」を採用し、社内に点在するAI開発基盤やAIアプリケーションと連携させ、新たなAI ...

双日テックイノベーション株式会社（以下、STech I）は11月28日、企業のAI活用を加速する「データ＆AI構築パッケージ」の提供を開始した。 データ＆AI構築パッケージは、Microsoft Azureの最新AI技術と、統合データ基盤のDatabricksを融合することで、AI開発環境の ...

前回のブログ では、 Databricks CLI eXtensions と GitLab を使用して CI パイプラインを構築する方法を説明しました。 この記事では、最新の推奨される Databricks デプロイメント フレームワークで ある Databricks Asset Bundles を使用して同じ目的を達成する方法を説明します。

2024年11月13日、CData Software Japan 合同会社（本社：アメリカノースカロライナ州、日本オフィス：宮城県仙台市、代表社員 職務執行者：疋田 圭介、以下CData）は、データコネクティビティプラットフォーム『CData Connect Cloud』とデータブリックス･ジャパン ...