InfoQ ホームページ Big Data に関するすべてのコンテンツ
-
設計レベルでプライバシを実装するHyperledger Indy
ソーシャルメディアサイトやコンシューマ向けEメールサービスといった集中型IDプロバイダは、ユーザとって便利なものだ。しかしこのアプローチは、プライバシやセキュリティ上のリスクを発生させる。オープンソースのブロックチェーンプロジェクトであるHyerledger Indyは、このようなリスク解消のために‘プライバシ最優先’アプローチを採用し、現在の集中型IDプロバイダに存在する問題に対処する。
-
Redis 5.0は新しい「Streams」データタイプをリリース
Redisは最近、Redis 4のリリースから15カ月目に、その人気のデータベースのバージョン5を発表した。おそらく、このバージョンの最も重要な機能は、新しいデータ型Streamsのサポートである。ソートセット機能が改善され、Redisモジュールが拡張され、ClustersとTimers APIが導入された。LOLWUTとその他の改善点はこの記事でレビューされている。
-
NoSQL データベースのアジャイルなデータモデリング
Data Arachitecture Summit 2018 Conference にて Pascal Desmarets 氏が NoSQL データベースのためのアジャイルなモデリングとベストプラクティスについて語った。
-
カリフォルニア州が消費者プライバシ法を制定
カリフォルニア州は、カリフォルニア州消費者プライバシ法(California Consumer Privacy Act of 2018 / CCPA)を、2020年1月1日より施行する。この法律により、企業が収集、保管、売買、共有する消費者情報に対して、消費者にいくつかの権利が与えられる。この種の法律としては、米国内で初めてのものとなる。
-
ソフトウェア開発から機械学習へのチーム転換：QCon NYのGolestan Radwan
企業がビッグデータや機械学習の戦略をプロジェクトポートフォリオに追加する際、チームがソフトウェアエンジニアリングからデータエンジニアリングや機械学習へ移行することなど、いくつかの困難に直面する。Golestan "Sally" Radwan氏は最近QCon New York 2018で、伝統的なソフトウェアエンジニアリングチームの機械学習／AIジャーニーを先導した経験について講演した。
-
分散型メッセージングフレームワークApache Pulsar 2.0がスキーマレジストリとトピック圧縮をサポート
オープンソースの分散型pub-subメッセージングフレームワークApache Pulsarの最新バージョンによって、企業は、動いているデータを操作することによって「バッチでできることを超える」ことができる。 Streamlioは最近、Apache Pulsar 2.0ストリーミングメッセージングソリューションの利用できるようになったことを発表した。新しいバージョンでは、Pulsar関数、スキーマレジストリ、トピック圧縮がサポートされている。
-
並列実行とライブレコメンデーションを可能にするeBayのAcceleratorデータ処理フレームワーク
eBayのAcceleratorデータ処理フレームワークは、並列実行機能と、ソースコードと入力データ、結果の自動管理を可能にする。データ分析やアルゴリズム開発、さらにはライブレコメンデーションシステムでの利用が可能だ。
-
統合データAPIとGSQLを備えたPayPalのGimel分析プラットフォーム
PayPalのRomit Mehta氏とDeepak Chandramouli氏は、先日のQCon.aiカンファレンスで、Gimelデータ分析プラットフォームと、同プラットフォームを用いたデータアクセスのコモディティ化について講演した。Mehta、Chandramouli両氏に、同データプラットフォームのセキュリティ面のサポート、データのバージョニング、将来的なロードマップについて話を聞いた。
-
KubernetesでのKafkaクラスタの管理と運用
Amadeus社のプラットフォームソリューションアーキテクトであるNenad Bogojevic氏はKubeCon + CloudNativeCon North America 2017 Conferenceで、Kubernetes環境でKafkaクラスタを実行および管理する方法について講演した。彼は、Kafkaクラスタをプロビジョニングし、KubernetesカスタムリソースまたはConfigMapsを使用して設定することについて話した。
-
ZeroStackがDevOps Workbenchの提供開始
プライベートクラウドプロバイダのZeroStackは、開発者が独自のワークベンチを作成できるセルフサービス機能を発表した。ZerostackのIntelligent Cloud Platformを介して、DevOps Workbenchのユーザは、オープンソースと商用のプロバイダから提供されている40の開発ツールを利用できる。
-
Kubernetesによる最新のビッグデータパイプライン
Kubernetesのなどのコンテナ管理技術は、最新のビッグデータパイプラインの実装を可能にする。IguazioのビッグデータアーキテクトであるErian Bivas氏は、先日のKubeCon + CloudNativeCon North America 2017 Conferenceで、ビッグデータパイプラインとその開発におけるKubernetesのメリットについて講演した。
-
ビッグデータ/マシンラーニングおよびAIにおけるバイアスの影響 - Leslie Miley氏のQCon San Franciscoでの基調講演より
QCon San FranciscoでLeslie Miley氏が基調講演し、2016年の大統領選から米国の犯罪量刑に至るまで、データセットに内在するバイアスがいかに影響を及ぼしているかを説明した。
-
ConfluentがApache Kafka用分散ストリーミングSQLエンジンのKSQLをリリース
ConfluentがリリースしたKSQLは、Apache Kafkaのインタラクティブな分散ストリーミングエンジンだ。Apache Kafka内のトピックに対する集約やジョイン、ウィンドウニング、セッション化といったストリーミング処理操作をサポートする。このオープンソースのストリーミングSQLエンジンは、Kafka Summitカンファレンスで発表された。
-
Microsoft、データサイエンティストと開発者向けのAIサービスとツールをアップデート
先日のMicrosoft Igniteにて、AI関連サービスおよびツールのアップデートが発表された。今回のアップデートには、Azure ML Experimentation Service、Azure ML Model Management Service、Azure ML Workbench、Microsoft Cognitive Servicesの一般提供が含まれている。
-
DatameerのAndrew Brust氏に聞く - AIにおけるビッグデータの役割とは
InfoQのRags SrinivasがDatameerのAndrew Brust氏に、AIにおけるビッグデータの役割の拡大と、SmartAIを使ってそれを運用可能にする方法について聞いた。