raft

解决的问题： 一致性用途：Fault Tolerant 在部分节点宕机后仍能正常服务 按照论文所述，原生的Paxos算法使用了一种点对点（peer-to-peer）的方式，所有节点地位是平等的。在理想情况下，算法的目的是制定一个决策，这对于简化的模型比较有意义。但在工业界很少会有

2023-12-13

你有我也有 反正是第一

背景集群HDFS机器硬盘故障，运维请求更换RAID卡，更换后合作方称无法启动Namenode，报错类似如下： Safe mode is ON. The reported blocks 3 needs additional 2 blocks to reach the thresh

2023-02-27

iceberg

用途场景： schema演进： 增删改列，重新排序，只修改元数据而不动数据文件 内部使用唯一ID代替列 隐式分区： 无须显式指定分区列作为条件 若分区来自某字段转换，两个字段均可生效分区过滤 时间格式自动转换 不通过目录划分分区 分区演进：只修改元数据，旧数据不变（新分

2022-05-30

Delta Lake

https://docs.delta.io/1.2.1/delta-utility.html ReleaseDelta Lake 2.0.x - for spark 3.2 Delta Lake 2.1/2.x - for spark 3.3 入口sql1234sp

2022-05-26

clickhouse

启动clickhouse start clickhouse-client docker12docker pull clickhouse/clickhouse-server:22.8.14.53docker run -di --name=clickhouse-server -p 8

2022-05-10

zeppelin

https://zeppelin.apache.org/download.html cp conf/zeppelin-site.xml.template conf/zeppelin-site.xmlvi conf/zeppelin-site.xml修

2022-03-30

Shell

读取文件为参数12ans_lines=`sed -n 1p ${verf_file}`ans_md5=`sed -n 2p ${verf_file}` if-else1234567891011121314# value equalif

2022-02-24

Daily

Auto Hot Key快捷替换输入 123::pop::SendInput 13800138000return

2022-02-21

OptTechs

HDFS Short-Circuit Local Reads dfs.client.read.shortcircuit co-located client read data file directly bypass DataNode process YARN Multi

2022-01-28

hive

提取数据为csv1insert overwrite directory '/tmp/blog' row format delimited fields terminated by ',' STORED AS TEXTFILE select

2022-01-25