大数据应用

Kaggle放大招:简单几步实现海量数据分析及可视化

大数据应用Kaggle放大招:简单几步实现海量数据分析及可视化

近期,Kaggle发布了新的数据分析及可视化工具——Kaggle Kerneler bot,用户只需上传数据集,便可用Python为用户自动获取相关的深度数据分析结果。本文将带领读...

大数据应用 / 2018-08-06

Oracle与Hadoop对比:一致性和高性能不可兼得!

大数据应用Oracle与Hadoop对比:一致性和高性能不可兼得!

提起Hadoop,我们就可以想到大数据;提起Oracle,我们就可以想到数据库。国内确实有不少企业习惯于将Hadoop作为数据库使用,因此将其与数据库领域同样占据重要位...

大数据应用 / 2018-08-06

数据告诉你,中国的房子是不是已经“够”了

大数据应用数据告诉你,中国的房子是不是已经“够”了

今天我们就用这个道理来验证下大家最关心的房地产存量房问题(就是房子究竟有没有过多、有没有泡沫的问题)。...

大数据应用 / 2018-08-06

实时数据平台设计:解决从OLTP到OLAP实时流转缺失

大数据应用实时数据平台设计:解决从OLTP到OLAP实时流转缺失

本文我们探讨了实时数据平台RTDP的相关概念背景和架构设计方案。在架构设计方案中,我们尤其着重讲了RTDP的定位和目标,整体设计架构,以及涉及到的具体问题和考...

大数据应用 / 2018-08-03

想做大数据可视化?来看腾讯高手的实战案例!

大数据应用想做大数据可视化?来看腾讯高手的实战案例!

在过去一年中,潘洛斯(Penrose)团队参与了「灵鲲」态势感知系统、「麒麟」系统、「鹰眼」反电话诈骗系统等14个大数据可视化产品的设计。随着产品不断的探索和迭...

大数据应用 / 2018-08-03

美国的数据传输计划,是互联网数据大共享的开端吗?

大数据应用美国的数据传输计划,是互联网数据大共享的开端吗?

最近,一项由谷歌、微软、Facebook、Twitter四家美国科技巨头共同推出的数据传输计划引起了大家的关注。目前“数据传输计划”还处于白皮书阶段,白皮书中写到:...

大数据应用 / 2018-08-03

图文教程,8步教你变身数据科学家

大数据应用图文教程,8步教你变身数据科学家

那么数据科学家是干什么的呢?哪些地方需要数据科学家?怎么样才能成为数据科学家?如果你正因为这些问题而犹豫要不要开始学习数据科学,那么我可以告诉你,成为数...

大数据应用 / 2018-08-01

Gartner预测:90%的数据湖将毫无用处

大数据应用Gartner预测:90%的数据湖将毫无用处

Gartner此前曾预计,到2018年,90%的数据湖将毫无用处,因为它们充满了原始数据,很少有人会使用这些技术。在当前的技术领域,没有什么能像人工智能(AI)那样引起...

大数据应用 / 2018-08-01

分析了20万场吃鸡数据后,我有这些发现!

大数据应用分析了20万场吃鸡数据后,我有这些发现!

最近老板爱上了吃鸡(手游:全军出击),经常拉着我们开黑,只能放弃午休的时间,陪老板在沙漠里奔波。...

大数据应用 / 2018-08-01

干货 :数据分析师的完整流程与知识结构体系

大数据应用干货 :数据分析师的完整流程与知识结构体系

作为数据分析师,无论最初的职业定位方向是技术还是业务,最终发到一定阶段后都会承担数据管理的角色。因此,一个具有较高层次的数据分析师需要具备完整的知识结...

大数据应用 / 2018-07-31

Hadoop生态组件Yarn之长期运行服务支持篇!

大数据应用Hadoop生态组件Yarn之长期运行服务支持篇!

众所周知,Yarn是大数据核心调度组件,其使用覆盖率非常高。在“Hadoop是否已失宠”的选题调研中,不少专家都对Yarn这一核心组件的生命力表达了自己的看法。...

大数据应用 / 2018-07-31

干货:如何将Hadoop存储容量提升4倍?

大数据应用干货:如何将Hadoop存储容量提升4倍?

本文主要介绍如何通过Federation使用多个独立的Namenodes/Namespaces水平扩展命名空间。Namenodes彼此独立,互不通信,可以共享相同的Datanode存储。...

大数据应用 / 2018-07-30

对比解读五种主流大数据架构的数据分析能力

大数据应用对比解读五种主流大数据架构的数据分析能力

数据分析工作虽然隐藏在业务系统背后,但是具有非常重要的作用,数据分析的结果对决策、对业务发展有着举足轻重的作用。基于大数据架构的数据分析平台侧重于从以...

大数据应用 / 2018-07-30

数据科学家的命令行技巧

大数据应用数据科学家的命令行技巧

有意掌握命令行应该在每个开发人员的技能链上,特别是数据科学家。学习shell中的来龙去脉无可否认地会让你更高效。除此之外,命令行还在计算方面有一次伟大的历...

大数据应用 / 2018-07-27

数据分析师还吃香吗?用数据告诉你

大数据应用数据分析师还吃香吗?用数据告诉你

有人说,这个A5,只要站在了风口,猪都能飞起来,尤其互联网行业,千变万化,日异月殊,一不小心就错过了风口,有人甚至用币圈一日互联网十年来形容虚拟币和区...

大数据应用 / 2018-07-27

7000字深度总结:运营必备的几个数据分析方法

大数据应用7000字深度总结:运营必备的几个数据分析方法

提起数据分析,大家往往会联想到一些密密麻麻的数字表格,或是高级的数据建模手法,再或是华丽的数据报表。其实,“ 分析 ”本身是每个人都具备的能力;比如根据...

大数据应用 / 2018-07-26

数据可视化发现[吃鸡]秘密

大数据应用数据可视化发现[吃鸡]秘密

今天跟朋友玩了几把吃鸡,经历了各种死法,还被嘲笑说论女生吃鸡的100种死法。这种游戏对我来说就是一个让我明白原来还有这种死法的游戏。但是玩归玩,还是得假...

大数据应用 / 2018-07-26

残酷!如果你35岁破产,你还有多大可能逆袭?(数据分析)

大数据应用残酷!如果你35岁破产,你还有多大可能逆袭?(数据分

房间里有100个人,每人都有100元钱,他们在玩一个游戏。每轮游戏中,每个人都要拿出一元钱随机给另一个人,最后这100个人的财富分布是怎样的?...

大数据应用 / 2018-07-26

高德地图宣布易行平台升级 发布一站式全域出行服务平台

大数据应用高德地图宣布易行平台升级 发布一站式全域出行服务平

在今日举行的2018未来交通峰会上,高德地图宣布易行平台全面升级,推出一站式全域出行服务平台,可以为用户提供包含“去哪儿”“怎么去”以及目的地服务在内的出...

大数据应用 / 2018-07-26

高德地图公布中国十大堵点,北京大山子当

大数据应用高德地图公布中国十大堵点,北京大山子当

2018年7月26日,在今日举行的2018未来交通峰会上,高德地图公布了网友票选的中国十大堵点,其中大山子——望京街路口、珠江北岸-沿江西路、无影山-小清河南路获...

大数据应用 / 2018-07-26

《邪不压正》究竟算不算好电影?通过爬取豆瓣上万条影评告诉你

大数据应用《邪不压正》究竟算不算好电影?通过爬取豆瓣上万条影

今年的暑期《我不是药神》一骑绝尘,而姜文的《邪不压正》却褒贬不一,虽然上映当天豆瓣评分便由8.2跌到7.1,但单日票房却依旧过亿。作为掌握技术Pythoner,我们...

大数据应用 / 2018-07-25

大数据处理引擎Spark与Flink大比拼

大数据应用大数据处理引擎Spark与Flink大比拼

正在Spark如日中天高速发展的时候,2016年左右Flink开始进入大众的视野并逐渐广为人知。为什么呢?原来在人们开始使用Spark之后,发现Spark虽然支持各种常见场景...

大数据应用 / 2018-07-25

使用Numpy和Opencv完成基本图像的数据分析(Part I)

大数据应用使用Numpy和Opencv完成基本图像的数据分析(Part I)

随着科技的进步,使用Python包访问数字图像的内部变得更容易理解其属性和性质,掌握对数字图像处理的能力显得是十分有必要。下面将向大家介绍如何使用NumPy和Ope...

大数据应用 / 2018-07-24

使用Numpy和Opencv完成图像的基本数据分析(Part II)

大数据应用使用Numpy和Opencv完成图像的基本数据分析(Part II)

本文主要介绍使用Numpy和Opencv完成图像的基本数据分析后续部分,主要包含逻辑运算符操作、掩膜以及卫星图像数据分析等操作。...

大数据应用 / 2018-07-24

搞懂5种数据可视化方法,胜任90%热门信息图设计

大数据应用搞懂5种数据可视化方法,胜任90%热门信息图设计

借助于图形化的手段,清晰、快捷有效的传达与沟通信息。从用户的角度,数据可视化可以让用户快速抓住要点信息,让关键的数据点从人类的眼睛快速通往心灵深处。数...

大数据应用 / 2018-07-23

推荐 :大数据下的用户与价值分析

大数据应用推荐 :大数据下的用户与价值分析

RFM方法是国际上最成熟、最为接受的客户价值分析方法,RFM实际上是一整套分析方法中的部分内容,但最具代表性,其它还包括客户购买行为随机模型、马可夫链状态移...

大数据应用 / 2018-07-23

让传达更有效!7个提升数据可视化的实用技巧

大数据应用让传达更有效!7个提升数据可视化的实用技巧

今天的文章不长,但是干货还是不少的。对于数据可视化,我觉得在设计原理上其实是相通的,都是为了更好的传达信息。所以,同样的,关注核心信息,剔除信息杂质,...

大数据应用 / 2018-07-23

大数据A5,如何防止“数据裸奔”?

大数据应用大数据A5,如何防止“数据裸奔”?

“每个人在网络中都无所遁形。”中国互联网协会个人信息保护工作委员会秘书长李美燕谈到,“数据爬虫”爬进了千家万户,人们发出的每一条信息,浏览的每一个痕迹...

大数据应用 / 2018-07-23

年薪百万的大数据开发工程师的入门书单

大数据应用年薪百万的大数据开发工程师的入门书单

大数据开发工程师是当今技术行业中最受欢迎的工作之一。事实上,如今这些专家供不应求,如果你打算在大数据领域开展职业生涯,不妨先看看这些书,在本文中,我罗...

大数据应用 / 2018-07-20

大数据专业成新宠, 232 所高校竞相布局大数据相关专业

大数据应用大数据专业成新宠, 232 所高校竞相布局大数据相关专业

站在互联网数字经济A5的“风口”,聚焦大数据、人工智能、无人驾驶汽车、中国制造2025、“互联网+”等公认的“暴涨”行业,直接催热了国内各大高校的大数据专...

大数据应用 / 2018-07-20

1
3