mvn
https://developer.aliyun.com/mvn/search setting文件//修改maven配置 可解决 org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde的问题 1234
java
run jar主类必须是在cp第一个包中，支持*匹配 更新jar包内class文件jar uvf hadoop-common-2.8.3-lg.jar org/apache/hadoop/fs/FileUtil.class jar: 包是J
scala
闭包闭包在英文中表达是Closure，闭包是一个函数，返回值依赖于声明在函数外部的一个或多个变量。 闭包通常来讲可以简单的认为是可以访问一个函数里面局部变量的另外一个函数。 12var factor = 3 val multiplier = (i:Int) => i
Scriptis-Linkis
Scriptis是基于Linkis开发的数据分析工具 Linkis定位： 计算存储引擎中间件 启动用户会默认作为管理员权限Linkis支持指定提交、执行的用户linkis主要进程服务会通过sudo -u ${linkis-user} 切换到对应用户下，然后执行
raft
解决的问题： 一致性用途：Fault Tolerant 在部分节点宕机后仍能正常服务 按照论文所述，原生的Paxos算法使用了一种点对点（peer-to-peer）的方式，所有节点地位是平等的。在理想情况下，算法的目的是制定一个决策，这对于简化的模型比较有意义。但在工业界很少会有
你有我也有 反正是第一
背景集群HDFS机器硬盘故障，运维请求更换RAID卡，更换后合作方称无法启动Namenode，报错类似如下： Safe mode is ON. The reported blocks 3 needs additional 2 blocks to reach the thresh
手机尾号hugeJoin
各个输入按号码尾号分区后关联，在输入数据已知分布均匀的情况可以比hash更有效避免倾斜 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525
iceberg
用途场景： schema演进： 增删改列，重新排序，只修改元数据而不动数据文件 内部使用唯一ID代替列 隐式分区： 无须显式指定分区列作为条件 若分区来自某字段转换，两个字段均可生效分区过滤 时间格式自动转换 不通过目录划分分区 分区演进：只修改元数据，旧数据不变（新分
Delta Lake
https://docs.delta.io/1.2.1/delta-utility.html ReleaseDelta Lake 2.0.x - for spark 3.2 Delta Lake 2.1/2.x - for spark 3.3 入口sql123456
zeppelin
https://zeppelin.apache.org/download.html cp conf/zeppelin-site.xml.template conf/zeppelin-site.xmlvi conf/zeppelin-site.xml修
