YARN CheatSheet

rack 机架感知 配置相关参数：在core-site.xml配置文件中设置net.topology.node.switch.mapping.impl为org.apache.hadoop.net.ScriptBasedMapping，并指定net.topology.script.

2024-03-19

ClickHouse CheatSheet

启动默认绑定端口9000 与hdfs冲突，修改tcp_port默认配置文件/etc/clickhouse-server/config.xml自定义配置文件目录 /etc/clickhouse-server/config.d/ clickhouse startclickhouse

2024-03-19

Apache Arrow CheatSheet

相关概念包括ValueVector、Field、Schema、VectorSchemaRoot以及Table 1234567891011<dependency> <groupId>org.apache.arrow</groupId>

2024-03-19

JDK Requirement

wget https://repo.huaweicloud.com/java/jdk/8u202-b08/jdk-8u202-linux-x64.tar.gz wget https://repo.huaweicloud.com:8443/artifactory/java-loca

2024-03-18

Oceanbase

JDBC连接Maven Repository: com.oceanbase » oceanbase-client (mvnrepository.com) 引入oceanbase-client-1.1.10.jar到spark的jars目录，使用Beeline连接!connnect

2024-02-28

mermaid画图

About Mermaid | Mermaid 1234567891011graph TD;    A-->B;    A-->C;    B-->D;    C-->D; 12345678910111213141516171819202122gra

2024-02-25

sqlite3

usageyum install sqlite 123456789101112sqlite3 test.db.header oncreate table stu(id int, name char, sex char , score int);insert into stu va

2024-02-01

dataTable

dim补数时使用历史版本表名增加时间信息 / 增加含时间信息的分区， 通过函数根据时间获取对应的表/分区，默认返回最新版本 以下为表名增加时间信息的示例 1234567891011121314151617181920212223242526def getCha

2024-01-23

hadoop3

123456789#JAVAexport JAVA_HOME=/data/soft/jdkexport PATH=$JAVA_HOME/bin:$PATHexport CLASSPATH=$CLASSPATH:.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

2024-01-23

yarn

调度模式 常驻 还是 任务 队列 资源配额 任务管理 yarn黑入-学习手动向yarn申请资源并调度脚本运行

2024-01-23