InfoQ ホームページ データベース に関するすべてのコンテンツ
-
メモリ効率のよい全文検索をRustとWebAssemblyで実現する
TrivagoのバックエンドエンジニアであるMatthias Endler氏が、クライアントサイドで動作する全文検索エンジンを公開した。Bloomフィルタを活用することで、メモリ効率の高い設計がされている。このTinysearchはRustで記述されており、WebAssemblyにトランスパイルされた後、ブラウザ内で使用される。50～100KBという小サイズをうたっており、フルワード(full word)のみをインデックスすることができる。
-
IBM Fully Homomorphic Encryption ToolkitがMacOSとiOSで利用可能に
IBMのFully Homomorphic Encryption (FHE) Toolkitの目的は、開発者がFHEを自らのソリューションに導入できるようにすることだ。暗号化されたデータを直接操作可能にするFHEには、高度に規制された産業におけるデータセキュリティとプライバシを劇的に変える影響力がある、とIBMは言う。
-
GitHubが2月中に複数回のサービスダウン - その理由は
GitHubはこの2月、同サービスに8時間以上の影響を与えた、複数回に及ぶサービス中断の原因に関する内部調査の完了を発表した。根本的な原因は、予期していなかったデータベースの負荷変動と、データベースの設定上の問題にあった。
-
Splice Machine Data Platform 3.0がKubernetesマネージドサービスと新たなML Managerをサポート
分散型SQLデータプラットフォームSplice Machineの最新バージョンでは、Kubernetesで管理される新形式のサービス、Machine Learning Managerの新バージョン(v2.0)、インデータベースモデルの自動デプロイメントがサポートされている。
-
コンプライアンスとカリフォルニア州プライバシ法 - ”帝国の逆襲”
2020年1月1日、カリフォルニア州プライバシ法(California Privacy Act)が施行された。だが、多くの企業が同法に準拠しておらず、法律の長期的な効果については未知数だ。
-
-
Dynein - Airbnbの開発した非同期バックグラウンドジョブサービス
Airbnbでは、大量のリソースと処理時間を要するタスクを非同期バックグラウンドジョブを移行することで、スケーラビリティの改善を測っている。ジョブスケジュールシステムは非常に重要なコンポーネントであるため、同チームでは、高度にスケーラブルなスケジューラを備えた分散型遅延ジョブキューサービスと���てDyneinを開発した。今回の記事では同社のAndy Fang氏が、このサービスの設計および開発に関する背景と課題について説明している。
-
Microsoftがデータウェアハウスおよび分析サービスのAzure Synapseを発表
年次開催されるIgniteカンファレンスで、Microsoftによる今年の発表のひとつとして、Azure Synapseという新しい分析サービスに関するものがあった。Azure SQL Data Warehouseの後継となるこのサービスは、企業規模のデータウェアハウスとビッグデータ解析をひとつの場所で実現するものだ。
-
AmazonがAWS Data Exchangeを導入し、オープンなデータ市場を提供
先日のブログ記事で、Amazonは、AWS Data Exchangeという名称の、データのパブリッシュ/サブスクライブを行う新たなマーケットサービスを公開した。このサービスは既存のAWS Marketplaceのアドオンで、80以上のデータプロバイダが提供する、1,000を越えるライセンスデータプロダクトを格納している。データは無償と有償で提供されるものがあり、その内容は金融サービスや医療、地理空間、気象、地図など多岐に渡る。
-
Googleが概念ベクトルを使用した画像検索を研究
Googleは先頃、医学画像の検索を目的とした、Similar Medical Images Like Yours(SMILY)と呼ばれるツールの開発に関する研究論文を発表した。この研究では、画像検索に埋め込み(embeddings)を使用することで、概念のインタラクティブな洗練(refinement)を通じた、ユーザによる検索への関与が可能になる。
-
AmazonがQuantum Ledger Databaseの一般提供開始を発表
Amazonは９月10日、ブロックチェーンテクノロジをベースとした台帳データベースQuantum Ledger Database(QLDB)の一般提供を開始すると発表した。QLDBは、複数のテーブルを格納可能な、フルマネージドな台帳サービスである。不変(immutable)なトランザクションジャーナルを実装し、暗号的な検証が可能であり、信頼性の高い機関によって一元的に所有される。
-
データの信頼性改善とビジネスアジリティを支援する”統計予測”
統計予測(statistical forecasting)は、デリバリ予想を改善し、従来の見積にあった問題を解決する上で、極めて効率的な方法だ。Piotr Leszczynski氏によるAgileByExample 2018でのケーススタディにおいて、氏は、自身のデータをより理解して信頼し、ビジネスアジリティの改善へと進む上での、統計計測の有用性について述べている。
-
Jagadish Venkatraman氏、LinkedInのSamza 1.0開発を語る
先日のApacheCon North AmericaでJagadish Venkatraman氏は、LinkedInが大規模なストリーム処理を行うためにApache Samza 1.0を開発した経緯について講演した。その中で氏は、兆単位のイベントと数ペタバイトのデータを抱えるLinkedInのユースケースについて説明し、ステートフル処理、高レベルAPI、柔軟な展開モデルといった、1.0リリースで追加された機能を強調した。
-
"Most Impactful Contribution"受賞ソフトウェアのImmerがバージョン4をリリース
Alec Larson氏は数日前、JavaScriptライブラリImmerの4回目となるメジャーイテレーションをリリースした。今回のリリースでは、重要なエッジケースに対する修正が行われている。Immerは、コピーオンライト機構を実装することによって、不変な状態を変更可能であるように操作可能にするJavaScriptパッケージである。Immerは先頃、今年の"Breakthrough of the year React open source award"を受賞している。
-
pacheCon 2019基調講演 - Google CloudによるKubernetesを使用したビッグデータ処理の拡張
ApacheCon North AmericaでChristopher Crosbie氏が、"Yet Another Resource Negotiator for Big Data? How Google Cloud is Enhancing Data Lake Processing with Kubernetes"と題した基調講演を行った。講演の中で氏が強調したのは、Kubernetesクラスタ内でApacheソフトウェアを動作させるためのコントロールプレーンを提供する、オープンソースのKubernetesオペレータを開発することによって、Apacheのビッグデータソフトウェアを"クラウドネイティブ"にするという、Googleの取り組みについてだった。