YARN是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster。其中ResourceMana

1，修改配置文件。3,两个ResourceManager相互免密钥。ssh-keygen -t dsa -P ‘‘ -f ./id_dsa. 相互访问没问题ok. jps 查看 0003，0004 都有ResourceManager进程

// 使用react-app-rewired customize-cra就不用暴露webpack等配置文件。const { override, fixBabelImports, addLessLoader } = require;// style: tru

Taro是由京东凹凸实验室出品，书写一套代码通过 Taro 的编译工具，将源代码分别编译出可以在不同端运行的代码。废话不多说，先从hello-world开始吧。如果想生成支付宝小程序则control+z 再 yarn dev:alipay, 生成的dist

近期接触了下前端项目，记录下学习过程。原来会点js，jQuery 前后端一个人全搞定了，现在前后端分离，后端主要提供接口，前端主要负责交互。对于个人来说会更专注自己的业务，当然对于企业来说会多了一个人力成本。后面有时间再说说语法。没接触之前感觉不会用，未知

指定一下resourcemanager webapp address 否则会 BindException

cluster 模式：Driver 程序在 YARN 中运行，应用的运行结果不能在客户端显示，所以最好运行那些将结果最终保存在外部存储介质而非 stdout 输出的应用程序，客户端的终端显示的仅是作为 YARN 的 job的简单运行状况。Spark Dri

　　　　输入命令yarn global /cli[@3.9.2]为了和老师版本保持一致我也下载了3.9.2的。　　　　通过vue create[项目名]创建自己的项目　　　　　　如果用.，则表示是以当前文件夹为名项目

spark-shell --master yarn --deploy-mode client --queue $realtime_queue #总的executors数 根据数据量与自己的集群资源来分配。使用未公开的Unsafe和NIO包下ByteBuff

下面我们来看一下spark的运行模式，根据上一篇博客我们知道spark的运行模式分为以下几种：local、standalone、hadoop yarn。我们说本地开发最好用local模式，直接搭建一个spark环境就可以跑了，因为测试的话本地是最方便的。h

“Yarn是由Facebook、Google、Exponent 和 Tilde 联合推出了一个新的 JS 包管理工具 ,Yarn 是为了弥补 npm 的一些缺陷而出现的。

在提交任务之后，发现executor运行少量几台nodemanager，而其他nodemanager没有executor分配。spark2-shell --driver-memory 1G --executor-memory 2G --num-execut

flink on yarn模式下两种提交job方式

安装流程：https://yarn.bootcss.com/docs/install/#centos-stable

注，使用npm install webpack -g 也就是使用npm全局安装webpack时不会报错。是因为，安装node 时，会自动把npm的环境变量加入系统变量中。window系统 运行 yarn global bin 查看yarn 的全局目录 然后

初始化Centos7vi /etc/sysconfig/network-scripts/ifcfg-ens33DEVICE=ens33TYPE=EthernetONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADD

# kadmin.local -q “xst -norankey -k /etc/spark.keytab spark/yjt”

在这篇博客中，主要介绍了Yarn对MRv1的改进，以及Yarn简单的内存配置和Yarn的资源抽象container。我么知道MRv1存在的主要问题是：在运行时，JobTracker既负责资源管理又负责任务调度，这导致了它的扩展性、资源利用率低等问题。之所以

Namenode ports: 50470 --> 9871, 50070 --> 9870, 8020 --> 9820. Secondary NN ports: 50091 --> 9869, 50090 --> 9868