BT

如何利用碎片时间提升技术认知与能力? 点击获取答案

  • 他的粉丝

    Spark比拼Flink:下一代大数据计算引擎之争,谁主沉浮?

    作者 王海涛 关注 1 他的粉丝 发布于  2018年8月3日

    本文对 Spark 和 Flink 的技术与场景进行了全面分析与对比,且看下一代大数据计算引擎之争,谁主沉浮?后续作者还将撰写文章进一步探讨二者的开源生态、近期动态以及未来发展前景。

  • 他的粉丝

    利用已有的大数据技术,如何构建机器学习平台

    作者 冯煜策 关注 4 他的粉丝 发布于  2017年11月15日 4

    随着AI技术进一步发展,它将与越来越多的传统行业结合。作为新兴技术,AI的人才市场开始出现供不应求,新技术总有一定的壁垒,需要自我学习和用项目实践来掌握。技术的更替常常促不及防,例如现在的TensorFlow和前两年Spark,刚掌握好能熟练运用Spark了,主流又开始跟进TensorFlow了。技术人需要学习成本,企业项目开发也要考虑新技术采纳时间。有什么办法能在企业已有的大数据平台经验基础上进行AI开发?同程利用Spark对机器学习平台的思考和实现过程值得借鉴。

  • 他的粉丝

    分布式机器学习平台大比拼:Spark、PMLS、TensorFlow、MXNet

    作者 Murat Demirbas 关注 0 他的粉丝 ,译者 盖磊 关注 2 他的粉丝   发布于  2017年10月5日 2

    文章从分布式系统的角度开展针对当前一些机器学习平台的研究,分析了这些平台在通信和控制上的瓶颈,并考虑了这些平台的容错性和易编程性。文章最后提供了一些结论性要点,并对分布式机器学习平台的未来研究工作提出了一些建议。

他的粉丝

且谈Apache Spark的API三剑客:RDD、DataFrame和Dataset

作者 Jules S. Damji 关注 0 他的粉丝 ,译者 足下 关注 1 他的粉丝   发布于  2017年9月29日

本文将深入讲解Apache Spark 2.0的三种API——RDD、DataFrame和Dataset,在什么情况下该选用哪一种以及为什么,并概述它们的性能和优化点,列举那些应该使用DataFrame和Dataset而不是RDD的场景。

他的粉丝

Spark技术在京东智能供应链预测的应用

作者 郭景瞻 关注 0 他的粉丝 , 杨冬越 关注 1 他的粉丝 发布于  2017年8月11日

前段时间京东公开了面向第二个十二年的战略规划,表示京东将全面走向技术化,大力发展人工智能和机器人自动化技术,将过去传统方式构筑的优势全面升级。京东Y事业部顺势成立,该事业部将以服务泛零售为核心,着重智能供应能力的打造,核心使命是利用人工智能技术来驱动零售革新。

他的粉丝

Spark性能调优之道——解决Spark数据倾斜(Data Skew)的N种姿势

作者 郭俊 关注 101 他的粉丝 发布于  2017年4月13日

本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案。

他的粉丝

学会用Spark实现朴素贝叶斯算法

作者 汪榕 关注 4 他的粉丝 发布于  2016年12月20日

本文作者汪榕曾写过一篇文章:《以什么姿势进入数据挖掘会少走弯路》,是对想入行大数据的读者的肺腑之言,其中也表达了作者的一些想法,希望大家不要随便去上没有结合业务的收费培训班课程。课程的名称是“数据挖掘与数据产品的那些事”。这系列文章会在InfoQ上形成一个专栏,本文是专栏的第二篇。

他的粉丝

使用Apache Spark构建实时分析Dashboard

作者 abhinav 关注 0 他的粉丝 ,译者 王庆 关注 1 他的粉丝   发布于  2016年11月28日

本篇博文中,我们将学习如何使用Apache Spark streaming,Kafka,Node.js,Socket.IO和Highcharts构建实时分析Dashboard。 1

他的粉丝

大数据框架对比:Hadoop、Storm、Samza、Spark和Flink

作者 Justin Ellingwood 关注 1 他的粉丝 ,译者 大愚若智 关注 9 他的粉丝   发布于  2016年11月20日

本文将介绍大数据系统一个最基本组件:处理框架。处理框架负责对系统中的数据进行计算,例如处理从非易失存储中读取的数据,或处理刚刚摄入到系统中的数据。数据的计算则是指从大量单一数据点中提取信息和见解的过程。本文对Hadoop、Storm、Samza、Spark、Flink五种大数据框架进行了介绍和对比。 1

他的粉丝

简单之极,搭建属于自己的Data Mining环境(Spark版本)

作者 汪榕 关注 4 他的粉丝 发布于  2016年9月29日

本文是“数据挖掘与数据产品的哪些事”专栏课程系列的第一篇,面向大数据行业1-3年工作者或无经验却又想学习数据分析行业的读者。此文来自于笔者在实践项目开发中的记录,一步步指导大家构建一套大数据挖掘环境。 4

他的粉丝

Spark在GrowingIO数据无埋点全量采集场景下的实践

作者 付旗 关注 1 他的粉丝 发布于  2016年9月7日

GrowingIO每天处理的数据量已经超过了几百亿条,提供全量采集的数据,不需要埋点就能够获得想要的数据分析的结果。那么GrowingIO业务平台背后有哪些考验?数据平台如何搭建?Spark在数据平台上有什么样的实践?遇到哪些问题?做了哪些优化? 1

他的粉丝

京东基于Spark的风控系统架构实践和技术细节

作者 孟勐 关注 0 他的粉丝 , 张帅 关注 0 他的粉丝 , 陈诚 关注 0 他的粉丝 发布于  2016年8月29日

京东618大促之际,我们来看看京东如何用大数据技术应对机器注册账号、恶意下单等问题!

登陆InfoQ,与你最关心的话题互动。


找回密码....

Follow

关注你最喜爱的话题和作者

快速浏览网站内你所感兴趣话题的精选内容。

Like

内容自由定制

选择想要阅读的主题和喜爱的作者定制自己的新闻源。

Notifications

获取更新

设置通知机制以获取内容更新对您而言是否重要

BT