大数据应用

Kafka解惑之时间轮 (TimingWheel)

大数据应用Kafka解惑之时间轮 (TimingWheel)

Kafka中存在大量的延迟操作,比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能,而是基于时间轮自定义了一...

大数据应用 / 2018-06-06

数据科学“内战”:统计vs.机器学习

大数据应用数据科学“内战”:统计vs.机器学习

和武侠世界里有少林和武当两大门派一样,数据科学领域也有两个不同的学派:以统计分析为基础的统计学派,以及以机器学习为基础的人工智能派。而本文将从数据科学...

大数据应用 / 2018-06-05

零售业强竞争,大数据如何帮助弱者角逐

大数据应用零售业强竞争,大数据如何帮助弱者角逐

大数据A5,数据分析已经渗透到各行各业,这里也包括零售行业。目前,各大中小型零售商都在努力为客户提供更好的购物体验,用有限的预算为顾客提供满意的服务。...

大数据应用 / 2018-06-05

当大数据满足数据可视化时,如何使数据变得可操作

大数据应用当大数据满足数据可视化时,如何使数据变得可操作

如今,数据科学家可以使用数据可视化来使他们的信息更具可操作性插图、图表、图表和电子表格可以把枯燥的报告变成有启发性的内容,更容易收集洞察力和可操作的结...

大数据应用 / 2018-06-05

深度:Hadoop对Spark五大维度正面比拼报告!

大数据应用深度:Hadoop对Spark五大维度正面比拼报告!

为了增加混淆,Spark和Hadoop经常与位于HDFS,Hadoop文件系统中的Spark处理数据一起工作。但是,它们都是独立个体,每一个体都有自己的优点和缺点以及特定的商业...

大数据应用 / 2018-06-04

伯克利发布迄今为止最大驾驶数据集BDD100K,含10万段视频

大数据应用伯克利发布迄今为止最大驾驶数据集BDD100K,含10万段

日前,伯克利发布了迄今最大、最多样化的带有丰富注释的驾驶视频数据集 BDD100K。大家可以访问 http://bdd-data.berkeley.edu 获取该数据集。同时,他们也在 arX...

大数据应用 / 2018-06-04

用Python将数据写到CSV文件

大数据应用用Python将数据写到CSV文件

我们从网上爬取数据,最后一步会考虑如何存储数据。如果数据量不大,往往不会选择存储到数据库,而是选择存储到文件中,例如文本文件、CSV 文件、xls 文件等。因...

大数据应用 / 2018-06-04

一文理清Apache Spark内存管理脉络

大数据应用一文理清Apache Spark内存管理脉络

本文旨在梳理出 Spark 内存管理的脉络,抛砖引玉,文中阐述的原理基于 Spark 2.1 版本,阅读本文需要读者有一定的 Spark 和 Java 基础,了解 RDD、Shuffle、JVM...

大数据应用 / 2018-06-03

什么是预测分析技术?将数据转化为对未来的见解

大数据应用什么是预测分析技术?将数据转化为对未来的见解

根据Zion Market Research 市场研究机构2017年发布的报告,预测分析技术已获得众多组织的支持,预计到2022年全球市场将达到约109.5亿美元,2016年至2022年期间的...

大数据应用 / 2018-06-01

Facebook科学家:别给算法模型喂垃圾数据了…

大数据应用Facebook科学家:别给算法模型喂垃圾数据了…

在最近的一次谈话中,Facebook人工智能研究科学家Moustapha Cissé告诉我,“你吃什么你就是什么,而我们正在给算法模型喂垃圾食品。”如果你不知道食物中有什么...

大数据应用 / 2018-06-01

Amas:基于大数据平台技术开发的统一监控平台

大数据应用Amas:基于大数据平台技术开发的统一监控平台

Amas是基于大数据平台技术开发的统一监控平台,其特点包括:全维度监控指标,覆盖从操作系统、中间件、大数据平台(Hadoop/Spark/HBase/Kakfa等)到代码级别、可扩...

大数据应用 / 2018-06-01

短视频现状如何?大数据告诉你抖音最火,快手最赚钱!

大数据应用短视频现状如何?大数据告诉你抖音最火,快手最赚钱!

近年来,“短视频”的热度一直高居不下。截止2018年2月,短视频综合平台与短视频聚合平台活跃用户规模分别达到4.035亿人与1.655亿人。短视频对用户的生活方式正...

大数据应用 / 2018-06-01

WOT干货大放送:大数据架构发展趋势及探索实践分享

大数据应用WOT干货大放送:大数据架构发展趋势及探索实践分享

WOT大数据处理技术分会场,PingCAP CTO黄东旭、易观智库CTO郭炜、Mob开发者服务平台技术副总监林荣波、宜信技术研发中心高级架构师王东及商助科技(99Click)顾问...

大数据应用 / 2018-05-31

页面可视化搭建工具的前生今世

大数据应用页面可视化搭建工具的前生今世

页面可视化搭建, 是一个历久弥新的话题. 更广义上讲, 页面是 GUI 的一部分, GUI 的拖拉生成在各种开发工具上很常见, 如 Android Studio, Xcode, Visual Studio...

大数据应用 / 2018-05-31

可视化的三大误区,哪些可视化工具受欢迎?

大数据应用可视化的三大误区,哪些可视化工具受欢迎?

数据可视化主要旨在借助于图形化手段,清晰有效地传达与沟通信息。为了有效地传达思想概念,美学形式与功能需要齐头并进,通过直观地传达关键的方面与特征,从而...

大数据应用 / 2018-05-31

大数据的4大宏观趋势

大数据应用大数据的4大宏观趋势

一系列不同的趋势正在影响大数据举措,但四个总体主题正在成为2018年影响大数据的关键因素:云计算、机器学习、数据治理,以及对速度的需求。...

大数据应用 / 2018-05-30

深入浅出:大妈也能看懂的大数据分布式计算

大数据应用深入浅出:大妈也能看懂的大数据分布式计算

本文是一篇科普性质的文章,希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术,但分布式...

大数据应用 / 2018-05-30

数据科学目标、挑战以及门派

大数据应用数据科学目标、挑战以及门派

就像“一千个人眼里有一千个哈姆雷特”一样,对于什么是数据科学也有很多种不同的解读,并由此衍生出很多相关概念,比如数据驱动、大数据、分布式计算等。但这...

大数据应用 / 2018-05-30

大数据技术在金融行业的典型应用

大数据应用大数据技术在金融行业的典型应用

从发展特点和趋势来看,“金融云”快速建设落地奠定了金融大数据的应用基础,金融数据与其他跨领域数据的融合应用不断强化,人工智能正在成为金融大数据应用的新...

大数据应用 / 2018-05-29

全球大数据发展的新动向与新趋势

大数据应用全球大数据发展的新动向与新趋势

目前,伴随移动互联网、智能硬件和物联网的快速普及,全球数据总量呈现指数级增长态势,与此同时,机器学习等先进的数据分析技术创新也日趋活跃,使得大数据隐含...

大数据应用 / 2018-05-29

高效的数据压缩编码方式 Protobuf

大数据应用高效的数据压缩编码方式 Protobuf

Protocol buffers 很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式 。...

大数据应用 / 2018-05-29

十张图告诉你大数据的增长趋势

大数据应用十张图告诉你大数据的增长趋势

在McKinsey 2018年1月的研究报告 “Analytics Comes of Age”中,以大数据分析为代表的高级分析技术对于销售与营销、研究与开发(R&D)、包括分销在内的供应链管理...

大数据应用 / 2018-05-29

Teradata助力企业实现数字化转型 规避投资风险

大数据应用Teradata助力企业实现数字化转型 规避投资风险

全球领先的数据和分析解决方案供应商Teradata天睿公司在近日举办的“2018 Teradata大数据峰会”上正式发布Teradata Everywhere和感知型企业理念。...

大数据应用 / 2018-05-28

惊艳大数据: 100个帝都人是如何生活的

大数据应用惊艳大数据: 100个帝都人是如何生活的

北京,作为和上海并列争辉的明星城市,拥有着悠久的历史和深厚的文化底蕴,锦绣繁华的帝都生活吸引了全国各地怀揣梦想的年轻人。本文将用大数据可视化和漫画为你...

大数据应用 / 2018-05-28

工业大数据产业应用联盟携八家成员企业共同亮相数博会

大数据应用工业大数据产业应用联盟携八家成员企业共同亮相数博会

5月26日,由国家发改委、工信部、国家互联网信息办公室、贵州省人民政府共同主办的2018中国国际大数据产业博览会上,工业大数据产业应用联盟的八家联盟成员企业...

大数据应用 / 2018-05-27

深度揭秘Airbnb的跨洋大数据挑战及架构实战

大数据应用深度揭秘Airbnb的跨洋大数据挑战及架构实战

大数据A5,每个公司都会遇到一些共性的挑战,比如大数据的采集、整合、存储、计算。Airbnb 在大数据平台架构构建的过程中,也收获了很多宝贵的经验。...

大数据应用 / 2018-05-25

大妈也能看懂的大数据分布式计算图解

大数据应用大妈也能看懂的大数据分布式计算图解

本文是一篇科普性质的文章,希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术,但分布式...

大数据应用 / 2018-05-25

帮助你做高级数据分析的各类 ETL 工具比较

大数据应用帮助你做高级数据分析的各类 ETL 工具比较

如今对于数据的高级分析需要有一套最新的数据集成方法。如果需要整合来自数据库、流媒体服务、文件以及其他来源的数据,您可以通过本文的介绍,选择出一个合适的...

大数据应用 / 2018-05-24

大数据A5,这些专业人才最吃香

大数据应用大数据A5,这些专业人才最吃香

通过大数据,百度掌握你的隐私,微信知道你的社交圈子,淘宝了解你的购物习惯,移动电信联通三大运营商存有你的通话记录和上网记录……...

大数据应用 / 2018-05-24

最新发布:2018年五个大数据热门岗位

大数据应用最新发布:2018年五个大数据热门岗位

数据质量决定了数据对业务的内在价值。信息技术只是这个内在价值的放大镜。因此,高质量的数据与有效的技术相结合是一项巨大的资产,但低质量的数据与有效的技术...

大数据应用 / 2018-05-24

1
3