BT

InfoQ ホームページ Big Data に関するすべてのコンテンツ

  • 業界におけるAI応用について、Christoph Windheuser氏とのQ&A

    ハードウェア能力の増大と膨大なデータにより、パターン認識、自然言語処理、強化学習など既存の機械学習アプローチが実現可能になった。人工知能は開発プロセスに影響を与えており、バージョン管理、CI/CD、テストなどは複雑さを増している。

  • Google CloudがEU内のクラウドデータ移行用にTransfer Applianceベータ版を発表

    Googleは、大容量データをGCP(Google Cloud Platform)に迅速かつ安全に移動可能な大容量サーバであるTransfer Applianceを発表した。EU(欧州連合)内でベータ版として提供される。データの転送はEU内のGCPのTransfer Applianceを使用して処理され、データがEUを離れることはない。

  • Amazon、Managed Streaming for Kafkaのパブリックプレビューを発表

    AmazonはAWS re:Invent 2018で、顧客がApache Kafkaを用いてストリーミングデータ処理を行うアプリケーションを簡単に構築および実行できるようにする新しいフルマネージドサービスを発表した。この新しいサービスはAmazon Managed Streaming for Kafka、略してAmazon MSKと呼ばれ、現在パブリックベータとして提供されている。

  • Tim Berners-Lee氏の分散IDプラットフォーム - Solid

    Solidは、WWWの考案者であるTim Berners-Lee氏の手による、新たな分散IDプラットフォームである。ユーザが自分自身の��ータを所有し、よりよく管理するためのメカニズムを提供する。

  • Uberのビッグデータプラットフォームが100ペタバイト超の規模に至るまで

    Uberのエンジニアリングチームは、同社のビッグデータプラットフォームが、リレーショナルデータベースを使用した旧来のETLジョブから、HadoopとSparkをベースとするものへと発展した状況に関する記事を書いた。スケーラブルな取り込みモデル、標準転送フォーマット、インクリメンタルアップデートのためのカスタムライブラリが、同社プラットフォームの主要なコンポーネントである。

  • Keystone - Netflixのリアルタイムストリーム処理プラットフォーム

    Netflixは先日、自社の技術ブログで、同社のリアルタイムストリーム処理プラットフォームであるKeystoneについて、その設計思想と洞察を論じた記事を公開した。Keystoneは2015年12月から運用されている。Netflixの加入者数が過去3年間で6,500万件から13,000万件以上へと増えたのに伴って、Keynoteも年を追って成長してきた。本記事ではKeynoteプラットフォームの最新情報を取り上げる。

  • 設計レベルでプライバシを実装するHyperledger Indy

    ソーシャルメディアサイトやコンシューマ向けEメールサービスといった集中型IDプロバイダは、ユーザとって便利なものだ。しかしこのアプローチは、プライバシやセキュリティ上のリスクを発生させる。オープンソースのブロックチェーンプロジェクトであるHyerledger Indyは、このようなリスク解消のために‘プライバシ最優先’アプローチを採用し、現在の集中型IDプロバイダに存在する問題に対処する。

  • Redis 5.0は新しい「Streams」データタイプをリリース

    Redisは最近、Redis 4のリリースから15カ月目に、その人気のデータベースのバージョン5を発表した。おそらく、このバージョンの最も重要な機能は、新しいデータ型Streamsのサポートである。ソートセット機能が改善され、Redisモジュールが拡張され、ClustersとTimers APIが導入された。LOLWUTとその他の改善点はこの記事でレビューされている。

  • NoSQL データベースのアジャイルなデータモデリング

    Data Arachitecture Summit 2018 Conference にて Pascal Desmarets 氏が NoSQL データベースのためのアジャイルなモデリングとベストプラクティスについて語った。

  • カリフォルニア州が消費者プライバシ法を制定

    カリフォルニア州は、カリフォルニア州消費者プライバシ法(California Consumer Privacy Act of 2018 / CCPA)を、2020年1月1日より施行する。この法律により、企業が収集、保管、売買、共有する消費者情報に対して、消費者にいくつかの権利が与えられる。この種の法律としては、米国内で初めてのものとなる。

  • ソフトウェア開発から機械学習へのチーム転換:QCon NYのGolestan Radwan

    企業がビッグデータや機械学習の戦略をプロジェクトポートフォリオに追加する際、チームがソフトウェアエンジニアリングからデータエンジニアリングや機械学習へ移行することなど、いくつかの困難に直面する。Golestan "Sally" Radwan氏は最近QCon New York 2018で、伝統的なソフトウェアエンジニアリングチームの機械学習/AIジャーニーを先導した経験について講演した。

  • 分散型メッセージングフレームワークApache Pulsar 2.0がスキーマレジストリとトピック圧縮をサポート

    オープンソースの分散型pub-subメッセージングフレームワークApache Pulsarの最新バージョンによって、企業は、動いているデータを操作することによって「バッチでできることを超える」ことができる。 Streamlioは最近、Apache Pulsar 2.0ストリーミングメッセージングソリューションの利用できるようになったことを発表した。新しいバージョンでは、Pulsar関数、スキーマレジストリ、トピック圧縮がサポートされている。

  • 並列実行とライブレコメンデーションを可能にするeBayのAcceleratorデータ処理フレームワーク

    eBayのAcceleratorデータ処理フレームワークは、並列実行機能と、ソースコードと入力データ、結果の自動管理を可能にする。データ分析やアルゴリズム開発、さらにはライブレコメンデーションシステムでの利用が可能だ。

  • 統合データAPIとGSQLを備えたPayPalのGimel分析プラットフォーム

    PayPalのRomit Mehta氏とDeepak Chandramouli氏は、先日のQCon.aiカンファレンスで、Gimelデータ分析プラットフォームと、同プラットフォームを用いたデータアクセスのコモディティ化について��演した。Mehta、Chandramouli両氏に、同データプラットフォームのセキュリティ面のサポート、データのバージョニング、将来的なロードマップについて話を聞いた。

  • KubernetesでのKafkaクラスタの管理と運用

    Amadeus社のプラットフォームソリューションアーキテクトであるNenad Bogojevic氏はKubeCon + CloudNativeCon North America 2017 Conferenceで、Kubernetes環境でKafkaクラスタを実行および管理する方法について講演した。彼は、Kafkaクラスタをプロビジョニングし、KubernetesカスタムリソースまたはConfigMapsを使用して設定することについて話した。

BT

あなたのプロファイルは最新ですか?プロフィールを確認してアップデートしてください。

Eメールを変更すると確認のメールが配信されます。

会社名:
役職:
組織規模:
国:
都道府県:
新しいメールアドレスに確認用のメールを送信します。このポップアップ画面は自動的に閉じられます。