InfoQ ホームページ AIと機械学習、データエンジニアリング に関するすべてのコンテンツ
-
Redis StreamsとApache Spark Structured Streamingを使用したリアルタイムデータ処理
Apache Spark 2.0で導入されたStructured Streamingは、ストリーミングデータのためのSQLライクなインターフェースを提供します。Redis Streamsによって、Redisがストリーミングデータを複数のプロデューサとコンシューマの間で消費、保持、配信することができるようになります。この記事では、著者のRoshan Kumar氏が、RedisおよびApache Spark Streamingテクノロジを使用してストリーミングデータをリアルタイムで処理する方法について説明します。
-
リレーショナル NoSQLによる"バックトゥザフューチャー"
この記事では、分散トランザクションを備えたNoSQLデータベースの一貫性に関するいくつかの問題を取り上げるとともに、FanuaDBがCalvinプロトコルと仮想クロックを使って、それらの問題をいかに解決しているかを紹介します。
-
Apache Kafka: デプロイメントを最適化するための10のベストプラクティス
筆者のBen Bromhead氏が、データストリーミングプラットフォームをより効率的に管理するための、開発者のKafkaのベストプラクティスとして、ログ設定、適切なハードウェア利用、ZooKeeper設定、レプリケー��ョン係数、パーティション数などについて論じます。
-
モナドを理解する - 迷える者への手引き
関数型プログラミングが急速に広まり、"モナド"という関数型の構造がまた初心者を心底恐れさせています。この記事では、関数型プログラミングコースのインストラクタBarry Burd博士がこの得体の知れないものを解明します。
-
エンタープライズ向けオープンソースのJava ORMフレームワークReladomoを導入する
Reladomoは業界をリードする投資銀行であるゴールドマン・サックスで主要なJava ORMとして使われ、現在はオープンソースとして公開されています。 この記事では、ゴールドマン・サックスのテックフェローであるMohammad RezaeiがReladomoについて詳しく説明いたします。
-
【QCon Tokyo 2016】マクニカネットワークス株式会社 根本 竜也 氏 セッション紹介：モダン化が進むソフトウェア開発環境に取り入れるべき最新のツール事情
2016年10月24日のQCon Tokyo 2016にてご講演いただきました根本竜也氏（マクニカネットワークス（株）所属／データインテリジェンス営業部）の講演「モダン化が進むソフトウェア開発環境に取り入れるべき最新のツール事情」について、ご紹介させていたきます。
-
【QCon Tokyo 2016 エンジニアトラック 鈴木雄介氏 本人による講演レポート】 アーキテクチャ設計のジレンマと拡張構造としてのマイクロサービスアーキテクチャ
2016年10月24日のQCon Tokyo 2016にてご講演いただきました鈴木雄介氏（グロースエクスパートナーズ（株）執行役員／日本Javaユーザーグループ 会長）の講演「今どきのアーキテクチャ設計戦略」について、以下ご紹介させていたきます。
-
【QCon Tokyo 2015 講演レポート】日々数十億レコードにおよぶログ情報を処理するビックデータ分析におけるApache Sparkの先進的活用
短期開発にて数々の新しいプロダクトを開発・提供し続けているサイバーエージェントのアドテクスタジオ。日々数十億レコードのログを処理する広告配信の現場で、いま最も注目を集めている「Apache Spark」の積極的な活用にチャレンジしている。自発的な研究開発体制として取り組んでいる「Sparkゼミ」の活動や成果にも触れながら、Apache Sparkが今後の分析環境にどう影響していくのかをデータサイエンティストの視点から語った。
-
Jepsen: PostgreSQL, Redis, MongDB および Riak の分割耐性をテストする
そのシステムは、もし確実に運用されていたとしても、ノードまたはネットワークの障害に対しても頑健でなければならないが、なぜなら全てのシステムが我々が好むような安全な不変性を満たすとは限らないのである。この記事では、分散データベースの設計で考慮すべき事項、そしてそれらがどのようにネットワーク分割に対応しているのかについて調べてみよう。
-
Datomic情報モデル
Clojureの作者であるRich Hickey氏が、Datomic情報モデルについて説明する。Datomicは、シンプルなサービスで組み立てられた新しいデータベースで、RDBMSの機能性とNoSQLのスケーラビリティを同時に実現している。
-
Datomicのアーキテクチャ
Clojureの作者であるRich Hickey氏がDatomicのアーキテクチャを説明します。Datomicは新しいデータベースで、シンプルなサービスで組み立てられており、従来のRDBMSの機能性とNoSQLの拡張性を取り得れようとしています。
-
12年後のCAP定理: "法則"はどのように変わったか
CAP定理は、共通のデータを扱うネットワークで繋がったシステムは3つの望ましい性質(一貫性,可用性,分割耐性)のうち、2つしか満たせないことを示します。IEEEの記事では、Eric Brewer氏が分割を明示的に扱いながら可用性と一貫性を最適化して、CAP定理の3つの属性の最良の釣り合いを取る方法を解説します。