ニュースイミー

Microsoft FabricのメダリオンアーキテクチャにおけるWarehouseとLakehouseの選定基準

qiita.com

Microsoft Fabricのメダリオンアーキテクチャにおいて、Bronze、Silver、GoldレイヤーをWarehouseとLakehouseのどちらで実装するかを決定するための基準について解説します。 * WarehouseとLakehouseのアーキテクチャと運用上の違いを比較検討します。 * 各レイヤーの実装方式の選定に役立つ情報を提供します。 * Microsoft Fabricにおけるデータアーキテクチャ設計者、データエンジニア、およびデータサイエンティスト向けの記事です。

グラフデータベースでも全文検索がんばりたい

speakerdeck.com

グラフデータベースにおける全文検索の実装に関する技術イベントの告知です。 Sansan株式会社の南直人氏が登壇します。 バックエンドエンジニア、データベースエンジニア、インフラエンジニア、検索エンジニア向けの内容です。

dbt × Prefectで実現するパイプライン:モデル単位キャッシュとSlim CIの実践

zenn.dev

・dbtとPrefectを連携させ、データパイプラインの効率化を図る手法について解説。 ・モデル単位のキャッシュやSlim CIといった具体的な実践方法を紹介。 ・データパイプラインの構築・運用に課題を感じているエンジニアやデータアナリスト向け。

Spanner のマルチモデル アーキテクチャでエージェントの時代を加速

cloud.google.com

Google Spannerは、AIエージェント時代に対応するため、リレーショナル、ベクトル、グラフ、全文検索などの複数のデータモデルを統合したマルチモデルデータベースとして進化しています。 この統合により、AIはより深いコンテキストで推論できるようになり、パフォーマンスと経済的価値が向上します。 本記事は、データベースエンジニア、プラットフォームエンジニア、AI/MLエンジニア、そしてGoogle Cloudを利用する開発者向けです。

グーグル・クラウド・ジャパン合同会社<name>Vaibhav Govil</name><title>Director of Product Management, Databases</title><department></department><company></company>

Redashに「別のクエリの結果をテーブルとして参照できる」機能があるのを知った話

qiita.com

Redashに「Query Results」という、クエリの結果を別のクエリからテーブルとして参照できる便利な機能があることを紹介する記事です。 - 既存のクエリ結果を再利用することで、クエリ作成の効率化や可読性向上が期待できます。 - データ分析やレポート作成を行うエンジニアやデータサイエンティストに役立つ情報です。

カスタムダッシュボードのグラフで表示する系列を選択できるようになりました ほか4件のアップデート

mackerel.io

Mackerelのカスタムダッシュボード機能のアップデートについて。グラフウィジェットで表示する系列を選択できるようになり、Azure Cosmos DBのメトリック取得、メンテナンス/障害バナーの対象機能範囲表示、PromQL新構文対応、mackerel-agentプラグインのカスタムメトリック投稿時刻選択が可能になりました。 - Mackerelのカスタムダッシュボード機能におけるグラフ表示の利便性向上 - Azure Cosmos DB、PromQL、mackerel-agentに関する技術的なアップデート - システム運用における情報伝達の改善

AlloyDB AI 関数 - 革命的なパフォーマンス向上と費用削減を実現

cloud.google.com

* AlloyDB に、Gemini のインテリジェンスを直接適用できる新しい AI 関数が追加され、データ処理のパフォーマンスが劇的に向上し、コストが削減されました。 * ai.generate、ai.summarize、ai.analyze_sentiment などの関数により、非構造化データの分析や要約が容易になり、ai.if の最適化により、処理速度とコスト効率がさらに向上しました。 * この進化は、AI ネイティブなデータベースとしての AlloyDB の能力を強化し、開発者がよりインテリジェントなアプリケーションを迅速に構築できるよう支援します。 このアップデートは、Google Cloud のデータベースソリューションに関心のあるエンジニア、データサイエンティスト、およびプラットフォーム管理者にとって特に価値があります。AI 機能とパフォーマンスの向上に関心のある技術リーダーや意思決定者にも役立ちます。

グーグル・クラウド・ジャパン合同会社<name>Pushkar Khadilkar</name><title>Software Engineer</title><department></department><company></company>

CA DATA NIGHT #10 〜データ基盤の「正解」は、Databricksにあります〜 開催レポート

developers.cyberagent.co.jp

・CA DATA NIGHT #10の開催レポート記事です。 ・データ基盤の構築や運用における課題と、Databricksがその解決策としてどのように貢献できるかが解説されています。 ・データ基盤、データエンジニアリング、Databricksに関心のあるエンジニアやデータサイエンティスト向けです。

PostgreSQL 19ベータ版が登場。I/Oワーカーの自動スケール、Autovacuumの改善など新機能

www.publickey1.jp

PostgreSQL 19ベータ版がリリースされ、I/Oワーカーの自動スケールやAutovacuumの改善などが新機能として追加されました。 PostgreSQLは高い人気を誇るオープンソースデータベースです。 本記事は、データベースエンジニア、インフラエンジニア、SREなどの技術者向けの内容です。

Publickeyjniino

データ分析基盤の28期ゴールと挑戦 ~モデリング率向上・旧基盤CLOSE・AIエージェント開発~

qiita.com

・株式会社アイスタイルのデータ分析基盤の28期における目標と挑戦について解説。 ・モデリング率の向上、旧基盤のクローズ、AIエージェント開発といった具体的な取り組みを紹介。 ・データ分析基盤の改善や最新技術開発に関心のあるエンジニア、データサイエンティスト、プロダクトマネージャー向け。

Amazon Aurora の Blue Green Deployment はマネージドな切り戻しができない

zenn.dev

Amazon Aurora MySQLのエンジンバージョンアップにおけるBlue/Green Deploymentsの検証結果 Blue/Green Deploymentsは短時間での切り替えが可能だが、切り替え後のロールバック機能は提供されていない ロールバック戦略はユーザー自身で実装する必要があるため、注意が必要

BigQuery の AI.AGG 関数で全体像を把握し、傾向を分析する

cloud.google.com

BigQueryの新しいAI.AGG()関数は、SQLクエリ内で自然言語の指示を与えるだけで、数百万行の非構造化データやマルチモーダルデータを要約・分析できます。 システムログや商品カタログ、画像データなど、多様なデータソースからの洞察抽出を可能にします。 この関数は、データサイエンティスト、プラットフォームエンジニア、機械学習エンジニアなど、大量のデータを効率的に分析・活用したいと考えている開発者やアナリストを対象としています。

グーグル・クラウド・ジャパン合同会社<name>Alicia Williams</name><title>Developer Advocate</title><department></department><company></company>

SQL Server 2016 EOS 目前 ― Azure Arc で棚卸し・保護・ESU 延命・移行評価までを実機で確認する

qiita.com

SQL Server 2016 のサポート終了が近づく中、Azure Arc を活用してオンプレミスや他クラウドの SQL Server を Azure 上で一元管理する方法を解説します。棚卸し、保護、移行評価、ESU (延長サポート) の延長まで、実機での確認を通じて具体的な手順を示します。 対象読者: - SQL Server の運用・管理に携わるインフラエンジニア - Azure 環境でのデータベース管理を検討しているエンジニア - SQL Server のサポート終了対策や移行計画を立てている担当者

【入社エントリ】サブカル×働きやすさが決め手!仕事も趣味も楽しめる/エンジニア/10問10答

note.com

- サブカルチャーと働きやすさを両立させたいエンジニアの入社エントリ記事です。 - 仕事も趣味も楽しめる環境を求めている人におすすめです。 - 個人の経験を共有し、企業文化や働きがいについて語られています。

Atlas が Cloud SQL Enterprise Plus エディションにより数百の加盟店のデータベースをどうスケールしたか

cloud.google.com

Atlas は、Cloud SQL Enterprise Plus エディションを導入することで、数百の加盟店を抱える飲食ビジネスのデータベース管理を大幅にスケールさせました。これにより、運用オーバーヘッドが削減され、Query Insights による可視性向上、マネージド接続プーリング、データ キャッシュ、ダウンタイムのほぼないスケーリングが可能になりました。結果として、データベース運用にかかる時間が 30% 削減され、エンジニアはプロダクト開発に集中できるようになり、ビジネスは 200-300% の成長を遂げました。 この記事は、以下のような読者におすすめです。 * 大規模なデータベース管理やスケーリングに課題を抱えるエンジニアやアーキテクト。 * Google Cloud SQL の最新機能(Enterprise Plus エディション)に関心のあるインフラ担当者。 * データベースの運用負荷を軽減し、イノベーションにリソースを集中させたいと考えているエンジニアリングマネージャー。

グーグル・クラウド・ジャパン合同会社<name>Alok Srivastava</name><title>Senior Product Manager, Databases, Google Cloud</title><department></department><company></company>

BigQuery未使用テーブルをData Lineage APIで検出する監視システム

developers.cyberagent.co.jp

BigQueryの未使用テーブルをData Lineage APIを用いて検出する監視システムの構築について解説します。 ABEMAのData Platformチームが、コスト削減とデータガバナンス向上のために開発したシステムです。 データエンジニア、SRE、インフラエンジニア、データサイエンティスト向けの記事です。