Oceanbase
JDBC连接Maven Repository: com.oceanbase » oceanbase-client (mvnrepository.com) 引入oceanbase-client-1.1.10.jar到spark的jars目录，使用Beeline连接!connnect
sqlite3
usageyum install sqlite 123456789101112sqlite3 test.db.header oncreate table stu(id int, name char, sex char , score int);insert into stu va
dataTable
dim补数时使用历史版本表名增加时间信息 / 增加含时间信息的分区， 通过函数根据时间获取对应的表/分区，默认返回最新版本 以下为表名增加时间信息的示例 1234567891011121314151617181920212223242526def getCha
hadoop3
123456789#JAVAexport JAVA_HOME=/data/soft/jdkexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
yarn
调度模式 常驻 还是 任务 队列 资源配额 任务管理 yarn黑入-学习手动向yarn申请资源并调度脚本运行
JIT
JIT的动机基于“二八定律”，20%的热点代码占据了程序80%的执行时间 即使开启了JIT，也少不了代码编译和字节码解释的过程。JIT处理的是热点代码（hotspot code，或叫热门代码）。 热点代码就是频繁执行的代码块，比如循环里面的代码。JIT有一套逻辑判断是否热点代码。
hdfs
写盘策略节点-磁盘 偏好位置 IO隔离
copy-on-write
写时复制（Copy-on-write，简称COW） 性能优化策略 if you modify the second variable, Swift takes a full copy at that point so that only the second variable
spark
多counter性能问题 - whole stage codegen，生成的代码长度超过JIT 开窗counter - spark context 外包一层 任务调度本地性 任务数量
protobuf-storetypes
信息传递数据结构
