障害の影響調査と報告のための履歴データモデル
zenn.dev
・障害発生時に影響を受けたユーザーを特定し、適切な連絡を行うためのデータ設計手法を解説します。 ・B2Bシステムにおいて、障害調査を考慮した履歴データモデルの構築がなぜ重要かを説明します。 ・障害対応の迅速化を目指すバックエンドエンジニアやアーキテクトに向けた内容です。
株式会社ログラスYuito Sato
pgvector の強化: AlloyDB で HNSW ベクトル検索が 4 倍高速化
cloud.google.com
AlloyDBのベクトル検索機能が強化され、カラム型エンジンによるHNSWインデックスの高速化でQPSが最大4倍に向上しました。既存のpgvectorのSQL構文をそのまま利用でき、アプリケーションの変更なしで検索精度とパフォーマンスを両立可能です。AIアプリケーションのインフラコスト削減や精度向上を目指すバックエンドエンジニアやデータベースエンジニアに最適な情報です。
グーグル・クラウド・ジャパン合同会社<name>Darshana Sivakumar</name><title>Group Product Manager</title><department></department><company></company>
BigQuery を使用して Gemini Enterprise app の大規模な使用状況を分析および管理する方法
cloud.google.com
Gemini Enterprise appの利用状況をBigQueryで分析・管理するための具体的なパイプライン構築手法を解説します。ログシンクを活用したテレメトリーの収集から、AIによる分析、ダッシュボード化までの手順を網羅しています。組織内のAI導入効果を可視化し、ガバナンスを強化したい管理者やデータエンジニアに最適です。
グーグル・クラウド・ジャパン合同会社<name>Sudipto Guha</name><title>Data Analytics & AI Tech Lead, Google Cloud</title><department></department><company></company>
Borderless Lakehouse: AWS、Databricks、Snowflake のデータを AI エージェントで活用
cloud.google.com
Google Cloudが「Borderless Lakehouse」を発表し、AWSやAzureなどの他クラウドやSaaS上のデータを移動なしにAIエージェントで活用可能にします。 Apache Icebergを基盤とし、データカタログ統合やゼロコピー分析、双方向の相互運用性、統合されたガバナンスを実現します。 データサイエンティスト、プラットフォームエンジニア、テックリード、インフラエンジニア、アーキテクト、マネジメント層向けの記事です。
グーグル・クラウド・ジャパン合同会社<name>Will Ochandarena</name><title>Group Product Manager</title><department></department><company></company>
Frontier and Center: 誰が評価ツールを評価するのか？
cloud.google.com
AIエージェントの評価手法に関する課題と、情報理論に基づいた新しい評価アプローチ「Discovery Bench」を紹介します。従来の固定ベンチマークではエージェントの能力を正確に把握できず、曖昧さが増すと機能しなくなる「崖」や、最適な性能を発揮する「スイートスポット」を見落とす可能性があります。Discovery Benchは、クエリの曖昧さを情報理論的に調整することで、エージェントの能力をより詳細に可視化し、評価ツールの信頼性も検証します。 この記事は、AIエージェントの評価手法に課題を感じているエンジニア、データサイエンティスト、テックリード、およびAIシステムの開発・評価に携わるすべての人々を対象としています。 AIエージェントの能力を正確に測定するための新しい評価手法「Discovery Bench」について解説し、従来の評価方法の限界と、情報理論を用いた曖昧性調整による詳細な分析の重要性を強調します。
グーグル・クラウド・ジャパン合同会社<name>Sunil Pedapudi</name><title>Technical Lead, Data Cloud Frontier AI</title><department></department><company></company>
タクシーアプリ『GO』の実践的データ活用〜位置情報データの収集とStreamlitでの可視化〜
speakerdeck.com
- タクシーアプリ『GO』のデータ基盤における、ユーザーアプリと乗務員アプリからのデータ活用について解説。 - 膨大な乗務員アプリの位置情報データを多層パイプラインで処理し、Streamlitを用いて可視化する手法を紹介。 - Streamlitと生成AIの親和性の高さを強調し、データ活用における可能性を示唆する記事。
Microsoft FabricのメダリオンアーキテクチャにおけるWarehouseとLakehouseの選定基準
qiita.com
Microsoft Fabricのメダリオンアーキテクチャにおいて、Bronze、Silver、GoldレイヤーをWarehouseとLakehouseのどちらで実装するかを決定するための基準について解説します。 * WarehouseとLakehouseのアーキテクチャと運用上の違いを比較検討します。 * 各レイヤーの実装方式の選定に役立つ情報を提供します。 * Microsoft Fabricにおけるデータアーキテクチャ設計者、データエンジニア、およびデータサイエンティスト向けの記事です。
日本マイクロソフト株式会社matayuuu
グラフデータベースでも全文検索がんばりたい
speakerdeck.com
グラフデータベースにおける全文検索の実装に関する技術イベントの告知です。 Sansan株式会社の南直人氏が登壇します。 バックエンドエンジニア、データベースエンジニア、インフラエンジニア、検索エンジニア向けの内容です。
dbt × Prefectで実現するパイプライン：モデル単位キャッシュとSlim CIの実践
zenn.dev
・dbtとPrefectを連携させ、データパイプラインの効率化を図る手法について解説。 ・モデル単位のキャッシュやSlim CIといった具体的な実践方法を紹介。 ・データパイプラインの構築・運用に課題を感じているエンジニアやデータアナリスト向け。
dely株式会社KOH
Spanner のマルチモデル アーキテクチャでエージェントの時代を加速
cloud.google.com
Google Spannerは、AIエージェント時代に対応するため、リレーショナル、ベクトル、グラフ、全文検索などの複数のデータモデルを統合したマルチモデルデータベースとして進化しています。 この統合により、AIはより深いコンテキストで推論できるようになり、パフォーマンスと経済的価値が向上します。 本記事は、データベースエンジニア、プラットフォームエンジニア、AI/MLエンジニア、そしてGoogle Cloudを利用する開発者向けです。
グーグル・クラウド・ジャパン合同会社<name>Vaibhav Govil</name><title>Director of Product Management, Databases</title><department></department><company></company>
Redashに「別のクエリの結果をテーブルとして参照できる」機能があるのを知った話
qiita.com
Redashに「Query Results」という、クエリの結果を別のクエリからテーブルとして参照できる便利な機能があることを紹介する記事です。 - 既存のクエリ結果を再利用することで、クエリ作成の効率化や可読性向上が期待できます。 - データ分析やレポート作成を行うエンジニアやデータサイエンティストに役立つ情報です。
Qiita株式会社yuta0709dev
カスタムダッシュボードのグラフで表示する系列を選択できるようになりました ほか4件のアップデート
mackerel.io
Mackerelのカスタムダッシュボード機能のアップデートについて。グラフウィジェットで表示する系列を選択できるようになり、Azure Cosmos DBのメトリック取得、メンテナンス/障害バナーの対象機能範囲表示、PromQL新構文対応、mackerel-agentプラグインのカスタムメトリック投稿時刻選択が可能になりました。 - Mackerelのカスタムダッシュボード機能におけるグラフ表示の利便性向上 - Azure Cosmos DB、PromQL、mackerel-agentに関する技術的なアップデート - システム運用における情報伝達の改善
AlloyDB AI 関数 - 革命的なパフォーマンス向上と費用削減を実現
cloud.google.com
* AlloyDB に、Gemini のインテリジェンスを直接適用できる新しい AI 関数が追加され、データ処理のパフォーマンスが劇的に向上し、コストが削減されました。 * ai.generate、ai.summarize、ai.analyze_sentiment などの関数により、非構造化データの分析や要約が容易になり、ai.if の最適化により、処理速度とコスト効率がさらに向上しました。 * この進化は、AI ネイティブなデータベースとしての AlloyDB の能力を強化し、開発者がよりインテリジェントなアプリケーションを迅速に構築できるよう支援します。 このアップデートは、Google Cloud のデータベースソリューションに関心のあるエンジニア、データサイエンティスト、およびプラットフォーム管理者にとって特に価値があります。AI 機能とパフォーマンスの向上に関心のある技術リーダーや意思決定者にも役立ちます。
グーグル・クラウド・ジャパン合同会社<name>Pushkar Khadilkar</name><title>Software Engineer</title><department></department><company></company>
CA DATA NIGHT #10 〜データ基盤の「正解」は、Databricksにあります〜 開催レポート
developers.cyberagent.co.jp
・CA DATA NIGHT #10の開催レポート記事です。 ・データ基盤の構築や運用における課題と、Databricksがその解決策としてどのように貢献できるかが解説されています。 ・データ基盤、データエンジニアリング、Databricksに関心のあるエンジニアやデータサイエンティスト向けです。
株式会社サイバーエージェント山田 瑠奈
PostgreSQL 19ベータ版が登場。I/Oワーカーの自動スケール、Autovacuumの改善など新機能
www.publickey1.jp
PostgreSQL 19ベータ版がリリースされ、I/Oワーカーの自動スケールやAutovacuumの改善などが新機能として追加されました。 PostgreSQLは高い人気を誇るオープンソースデータベースです。 本記事は、データベースエンジニア、インフラエンジニア、SREなどの技術者向けの内容です。
Publickeyjniino
データ分析基盤の28期ゴールと挑戦 ~モデリング率向上・旧基盤CLOSE・AIエージェント開発~
qiita.com
・株式会社アイスタイルのデータ分析基盤の28期における目標と挑戦について解説。 ・モデリング率の向上、旧基盤のクローズ、AIエージェント開発といった具体的な取り組みを紹介。 ・データ分析基盤の改善や最新技術開発に関心のあるエンジニア、データサイエンティスト、プロダクトマネージャー向け。
株式会社アイスタイルkonot
Amazon Aurora の Blue Green Deployment はマネージドな切り戻しができない
zenn.dev
Amazon Aurora MySQLのエンジンバージョンアップにおけるBlue/Green Deploymentsの検証結果 Blue/Green Deploymentsは短時間での切り替えが可能だが、切り替え後のロールバック機能は提供されていない ロールバック戦略はユーザー自身で実装する必要があるため、注意が必要
株式会社MIXIgecko655
BigQuery の AI.AGG 関数で全体像を把握し、傾向を分析する
cloud.google.com
BigQueryの新しいAI.AGG()関数は、SQLクエリ内で自然言語の指示を与えるだけで、数百万行の非構造化データやマルチモーダルデータを要約・分析できます。 システムログや商品カタログ、画像データなど、多様なデータソースからの洞察抽出を可能にします。 この関数は、データサイエンティスト、プラットフォームエンジニア、機械学習エンジニアなど、大量のデータを効率的に分析・活用したいと考えている開発者やアナリストを対象としています。
グーグル・クラウド・ジャパン合同会社<name>Alicia Williams</name><title>Developer Advocate</title><department></department><company></company>
SQL Server 2016 EOS 目前 ― Azure Arc で棚卸し・保護・ESU 延命・移行評価までを実機で確認する
qiita.com
SQL Server 2016 のサポート終了が近づく中、Azure Arc を活用してオンプレミスや他クラウドの SQL Server を Azure 上で一元管理する方法を解説します。棚卸し、保護、移行評価、ESU (延長サポート) の延長まで、実機での確認を通じて具体的な手順を示します。 対象読者： - SQL Server の運用・管理に携わるインフラエンジニア - Azure 環境でのデータベース管理を検討しているエンジニア - SQL Server のサポート終了対策や移行計画を立てている担当者
日本マイクロソフト株式会社ManabuYamamoto
【入社エントリ】サブカル×働きやすさが決め手！仕事も趣味も楽しめる／エンジニア／10問10答
note.com
- サブカルチャーと働きやすさを両立させたいエンジニアの入社エントリ記事です。 - 仕事も趣味も楽しめる環境を求めている人におすすめです。 - 個人の経験を共有し、企業文化や働きがいについて語られています。
Atlas が Cloud SQL Enterprise Plus エディションにより数百の加盟店のデータベースをどうスケールしたか
cloud.google.com
Atlas は、Cloud SQL Enterprise Plus エディションを導入することで、数百の加盟店を抱える飲食ビジネスのデータベース管理を大幅にスケールさせました。これにより、運用オーバーヘッドが削減され、Query Insights による可視性向上、マネージド接続プーリング、データ キャッシュ、ダウンタイムのほぼないスケーリングが可能になりました。結果として、データベース運用にかかる時間が 30% 削減され、エンジニアはプロダクト開発に集中できるようになり、ビジネスは 200-300% の成長を遂げました。 この記事は、以下のような読者におすすめです。 * 大規模なデータベース管理やスケーリングに課題を抱えるエンジニアやアーキテクト。 * Google Cloud SQL の最新機能（Enterprise Plus エディション）に関心のあるインフラ担当者。 * データベースの運用負荷を軽減し、イノベーションにリソースを集中させたいと考えているエンジニアリングマネージャー。
グーグル・クラウド・ジャパン合同会社<name>Alok Srivastava</name><title>Senior Product Manager, Databases, Google Cloud</title><department></department><company></company>
BigQuery未使用テーブルをData Lineage APIで検出する監視システム
developers.cyberagent.co.jp
BigQueryの未使用テーブルをData Lineage APIを用いて検出する監視システムの構築について解説します。 ABEMAのData Platformチームが、コスト削減とデータガバナンス向上のために開発したシステムです。 データエンジニア、SRE、インフラエンジニア、データサイエンティスト向けの記事です。
株式会社サイバーエージェントhkono