iceberg

用途场景： schema演进： 增删改列，重新排序，只修改元数据而不动数据文件 内部使用唯一ID代替列 隐式分区： 无须显式指定分区列作为条件 若分区来自某字段转换，两个字段均可生效分区过滤 时间格式自动转换 不通过目录划分分区 分区演进：只修改元数据，旧数据不变（新分

2022-05-30

Delta Lake

https://docs.delta.io/1.2.1/delta-utility.html ReleaseDelta Lake 2.0.x - for spark 3.2 Delta Lake 2.1/2.x - for spark 3.3 入口sql123456

2022-05-26

zeppelin

https://zeppelin.apache.org/download.html cp conf/zeppelin-site.xml.template conf/zeppelin-site.xmlvi conf/zeppelin-site.xml修

2022-03-30

Shell

读取文件为参数12ans_lines=`sed -n 1p ${verf_file}`ans_md5=`sed -n 2p ${verf_file}` if-else1234567891011121314# value equalif

2022-02-24

Daily

Auto Hot Key快捷替换输入 123::pop::SendInput 13800138000return

2022-02-21

OptTechs

HDFS Short-Circuit Local Reads dfs.client.read.shortcircuit co-located client read data file directly bypass DataNode process YARN Multi

2022-01-28

hive

提取数据为csv1insert overwrite directory '/tmp/blog' row format delimited fields terminated by ',' STORED AS TEXTFILE select

2022-01-25

TF-ML

https://tensorflow.google.cn/resources/learn-ml/theoretical-and-advanced-machine-learning?hl=zh-cn https://tensorflow.google.cn/tutorials/ke

2022-01-20

python

pip curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py python get-pip.py C:\python27\scirpts下运行 easy_install pip 修改更新源linux ~/.pip/p

2022-01-20

qt

版本说明PyQt6和PySide6都是用于调用Qt6API的Python库，使用它们可以轻松在Python语言中创建基于Qt的GUI程序；PyQt6和PySide6最大的不同表现在发行许可上； PyQt6是由RiverbankComputing公司开发，出现的比较早；它采用GPL

2022-01-20