Ron founded Think Big Analytics to help customers leverage new data processing technologies like Hadoop, NoSQL databases and R for statistical analysis. Ron works with customers to develop solutions that leverage unstructured data and new techniques. Previously Ron was the VP of Engineering for Quantcast. Each day Quantcast uses map-reduce to load 10 billion events and produce more than a petabyte of data for production reporting, ad hoc analysis, data mining and machine learning. Prior to that Ron was a founder of enterprise consulting companies C-bridge and New Aspects.
Hadoop Worldのキーノートにおいて、eBayは完全に再構築したサーチエンジンCassiniのアーキテクチャについて説明し、2012年に稼動させる予定であることを表明した。このシステムはランキング生成を改善するためにコンテンツとユーザメタデータをすべてインデックス化しており、毎時それらインデックスを更新する。毎時のインデックス更新にはApache Hadoopを、アイテム情報へのランダムアクセスにはApache HBaseが使われている。
Ed Anuff氏はCassandraのビルトインセカンダリインデックスをレビューし、それらがカーディナリティが高い場合にはうまく機能しないことや、少なくとも1度は等価比較を行わなければならないこと、ソートされていない結果を返すことに気がついた。Anuff氏は、ワイドローやCassandra 0.8.1で追加された複合コンパレータといった、これらの制限を打開するための代替インデクシングパターンについてプレゼンテーションを行った。
Johnathan Ellis氏はCassandra SF 2011で基調講演を行った。昨年の主なプロジェクト成果は、複数データセンターへのデプロイのサポートにおける改善、最適化された読み込みパフォーマンス、統合されたキャッシング、SQLに似た言語のCQLを含んだクライアントAPIの改善などである。 将来は、効率的なデータベース修復、ストレージの圧縮、最適化されたパフォーマンス、拡張されたCQL言語の全てに磨きをかけることである、と強調していた。
Yahooは中核Hadoopチームをスピンアウトし、新しくHortonworks社を作った。CEOのEric Baldeschwieler氏はHadoopの採用を容易にし、可用性、パフォーマンス、管理に関する同社の中核技術の改善に関するビジョンを発表した。Hortonworks社は主にパートナーを通じてサポート、トレーニング、保障が販売される。
MapR Technologies社は、Apache HadoopをベースとしHDFSの代わりとなる独自の分散ストレージを備えたビッグデータツールキットをリリースした。このソフトウェアは商用製品であり、無償バージョンであるM3と、有償バージョンであるM5が提供されている。M5には、データのスナップショット、ミラーリングのためのJob Tracker recoveryおよび商用サポートが含まれている。MapRのM5エディションはEMC Greenplumの近々リリースされるHD Enterprise Editionの基盤をなす。
DataStaxはBriskを新しいHadoopのディストリビューションでCassandraにデータを保持すると説明する。EMCは広告を出してHadoopとGreenplumに関する大きなニュースを約束した。GigaOmはMapR TechnologiesがプロプライエタリなHadoopのバージョンを構築していると報告した。DataStaxによればCassandraの700ノードのクラスタや数百テラバイトの保存、秒間200,000回の書き込みが既に運用されているという。
YahooはHadoopのMap-Reduceのアーキテクチャの中核部分を再設計し、簡単に更新でき、より多くのクラスタで動作し、高速回復をサポートすることを発表した。また、Map-Reduce以外のプログラミングパラダイムもサポートする予定だ。再設計されることでMap-Reduceを制御するHadoopの中核部分はリソースマネージャに切り出される。このリソースマネージャがさまざまな分散処理のパラダイムをサポートする。また、Map-Reduceはユーザが利用できるライブラリになるので、同じクラスタで複数のバージョンのMap-Reduceコードを実行できるようになる。新しい設計はクラスタマネジメントプロジェクトであるオープンソースのMesosに似ている。Yahoo!とMesosは両者の違いと利用機会についてコメントした。
InfoQは大規模データのカンファレンスであるStrataで、Revolution AnalyticsのコミュニティバイスプレジデントであるDavid Smith氏にインタビューした。同社はオープンソースのR統計プロジェクトの商用の拡張を提供する。そして、Rエンタープライズv4.2スイートとSASのユーザがRに移行するためのツールを発表した。
Big Dataの新しい O'Reilly Strataカンファレンスが今日アナウンスされ、登録が始まった。カンファレンス主催者のEdd Dumbilll氏にカンファレンスについてインタビューした。
