前言日志服务作为一站式的日志的采集与分析平台，提供了各种用户场景的日志采集能力，通过日志服务提供的各种与·与SDK，采集客户端，Producer，用户可以非常容易的把各种数据源中的数据采集到日志服务的Logstore中。同时为了便于用户对日志进行处理，提供

什么是Ray之前花了大概两到三天把Ray相关的论文，官网文档看了一遍，同时特意去找了一些中文资料看Ray当前在国内的发展情况。先来简单介绍下我对Ray的认知。Ray的论文显示，它最早是为了解决增强学习的挑战而设计的。所以Ray在系统层面，是一个通用的以ta

第十届CDA数据分析师认证考试，在2019年6月底圆满地落下了帷幕。之前我们采访了CDA认证考试 Level 1中的几位优秀考生，为大家分享了他们备考中的心路历程。今天我们带来的是Level 2 大数据和建模方向中取得优异成绩的几位考生，他们当中有学校在读

欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~本文将帮助您使用基于HBase的Apache Spark Streaming。Spark Streaming是Spark API核心的一个扩展，支持连续的数据流处理。数据流是连续到达的无穷序列。流处

Spark有几种部署的模式，单机版、集群版等等，平时单机版在数据量不大的时候可以跟传统的java程序一样进行断电调试、但是在集群上调试就比较麻烦了...远程断点不太方便，只能通过Log的形式进行数据分析，利用spark ui做性能调整和优化。那么本篇就介绍

Spark 系列：『 Spark 』1. spark 简介things you need know before you touch Spark and before you decide to use spark in your next project

Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。Spark SQL如今有了三种不同的API：SQL语句、DataFrame API和最

本文主要记录 CDH5 集群中 Spark 集群模式的安装过程配置过程并测试 Spark 的一些基本使用方法。

近日网上关于大疆即将发布的全新小型无人机Spark的消息逐渐多了起来。继真机外观谍照和云台运行视频之后，现在又有一大批Spark的拆解照片被曝光，从中我们可以更加深入了解这款代号MM1A的无人机的设计。↑↑↑Spark的大小只相当于一个普通iPad min

前言Spark是非常流行的大数据处理引擎，数据科学家们使用Spark以及相关生态的大数据套件完成了大量又丰富场景的数据分析与挖掘。Spark目前已经逐渐成为了业界在数据处理领域的行业标准。随着Kubernetes的快速发展，数据科学家们开始考虑是否可以用K

Spark一个重要的功能该特性就是将RDD持久化到内存中。当对RDD进行持久化操作时，每个节点都会将自己操作的RDD的partition持久化到内存中，并在之后对RDD的反复使用中，直接使用内存中缓存的partition。这样的话，对于一个RDD反复执行的

近几年随着移动互联网的发展和智能移动终端的普及，用户在使用时间上的碎片化趋势更加明显，使得用户行为数据呈现爆炸性增长。以此同时，在大数据技术背景下，更加有效的利用这些海量的数据进行加工分析，从而了解用户的行为特征，更好的给用户提供最佳的服务体验。“大数据”