kylin
在126搭建新组件服务： kylin 4.0.0hadoop 3.2.2spark 3.2.0 - 代码写死支持spark2.4/3.1. 修改kylin.sh 环境变量的SPARK_HOME=/data/soft/kylin
android
https://developer.android.google.cn/studio/releases/platform-tools?hl=zh-cn#downloads.html uiautomator获取控件信息 连接(Nox)C:\Users\Manhua\AppData\
hdfs
shell直接写文件12dfs dfs -appendToFile - HDFSfile# 按ctrl+C结束写入 启停命令123456789$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode $HADOOP_HOME/sbin/
parquet
df.write.mode(“overwrite”).format(“parquet”).save(path) org.apache.spark.sql.DataFrameWriter#save 定位table 获得relation 12runCommand(df.sparkSe
vm
编译环境1 new vm(vbox)同时连通本机和外网-(两张网卡nat + hostonly) 添加新NAT网络 ip addr 修改ip： vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 G
metabase
应用只用于单纯查询数据+展示，诸如报表、元数据，可实现浏览器式的数据探索 若连接上SparkSQL会逐一表进行扫描，不太合适。 所以使用场景更多在用户直接对每个数据都感兴趣 且 数据量不大，类似Excel的使用方式，但数据存储在数据 => 通过计算处理写入数据库，
dolphinscheduler
dolphinschedulerSite Is：分布式 工作流 调度平台，带DAG可视化 For：复杂任务依赖 去中心化（动态主，zk选） DolphinScheduler本身不依赖Hadoop、Hive、Spark,仅是会调用他们的Client，用于对应任务的提交 基
windows
本机外网ipwindows/linux通用 123456curl ip.sb # 只显示ipv4 curl cip.cc #显示ipv4和地址信息# 指定ip信息curl ifconfig.me/ip --resolve 'ifconfig.me:80:34
Carbondata文件格式
数据格式定义carbondata的文件格式使用thrift定义，在源码目录中：format/src/main/thrift/*.thrift，编译之后会在format/target/gen-java生成对应的类，并有setter和getter。 使用Thrift定义数据格式容易理
Carbondata加载逻辑
入口加载命令的入口在CarbonLoadDataCommand，command的处理主要分为meta和data两部分的处理。数据加载主要在org.apache.carbondata.spark.rdd.CarbonDataRDDFactory#loadCarbonData实现，还
