scheduler
node Application：用户编写的Spark应用程序，由一个或多个Job组成。提交到Spark之后，Spark会为- Application分配资源，将程序进行转换并执行。 Job（作业）：由Action算子触发生成的由一个或多个Stage组成的计算作业。 Stage（
selenium
installpip install selenium https://www.selenium.dev/documentation/webdriver/getting_started/install_drivers/ play12345678910111213141516171
pandas
Miniforge/micromamba1234567https://micro.mamba.pm/api/micromamba/win-64/latest micromamba.tar.bz2pip install jupyterjupyter notebookjup
mvn
https://developer.aliyun.com/mvn/search setting文件vi ~/.m2/settings.xml //修改maven配置 可解决 org.pentaho:pentaho-aggdesigner-algorithm:p
java
run jar主类必须是在cp第一个包中，支持*匹配 更新jar包内class文件jar -uvf hadoop-common-2.8.3-lg.jar org/apache/hadoop/fs/FileUtil.class jar: 包是
scala
闭包闭包在英文中表达是Closure，闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。 闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。 12var factor = 3 val multiplier = (i:Int) => i
Scriptis-Linkis
Scriptis是基于Linkis开发的数据分析工具 Linkis定位： 计算存储引擎中间件 启动用户会默认作为管理员权限Linkis支持指定提交、执行的用户linkis主要进程服务会通过sudo -u ${linkis-user} 切换到对应用户下，然后执行
raft
解决的问题： 一致性用途：Fault Tolerant 在部分节点宕机后仍能正常服务 按照论文所述，原生的Paxos算法使用了一种点对点（peer-to-peer）的方式，所有节点地位是平等的。在理想情况下，算法的目的是制定一个决策，这对于简化的模型比较有意义。但在工业界很少会有
你有我也有 反正是第一
背景集群HDFS机器硬盘故障，运维请求更换RAID卡，更换后合作方称无法启动Namenode，报错类似如下： Safe mode is ON. The reported blocks 3 needs additional 2 blocks to reach the thresh
手机尾号hugeJoin
各个输入按号码尾号分区后关联，在输入数据已知分布均匀的情况可以比hash更有效避免倾斜 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525
