「 CHEATSHEET 」
January 20, 2022
Words count
1.2k
Reading time
1 mins.
baiscindex → dbtype → tabledocument → row https://www.cnblogs.com/TianFang/p/12945202.htmltext支持分词 keyword不进行分词 installhttps://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html node.namediscovery.seed_hostscluster.ini...
Read article
「 CHEATSHEET 」
January 20, 2022
Words count
393
Reading time
1 mins.
create ‘UserActiveDate’, {NAME=>’lastActive’, VERSIONS=>3, MIN_VERSIONS => 1, TTL=>15552000, COMPRESSION => ‘SNAPPY’}, {NUMREGIONS => 20, SPLITALGO => ‘DecimalStringSplit’}– 保留最新一个状态. TTL设置后即使有M...
Read article
「 CHEATSHEET 」
January 20, 2022
Words count
634
Reading time
1 mins.
在126搭建新组件服务： kylin 4.0.0hadoop 3.2.2spark 3.2.0 - 代码写死支持spark2.4/3.1. 修改kylin.sh 环境变量的SPARK_HOME=/data/soft/kylin/sparkhttp://mirrors.ustc.edu.cn/apache/spark/spark-3.1.2/ conf/kylin.properties kylin.metadata.url ky...
Read article
「 CHEATSHEET 」
January 20, 2022
Words count
13k
Reading time
11 mins.
https://developer.android.google.cn/studio/releases/platform-tools?hl=zh-cn#downloads.html uiautomator获取控件信息 连接(Nox)C:\Users\Manhua\AppData\Local\Android\Sdk\platform-tools\adb.exe connect 127.0.0.1:62001连接(Mumu root权限开启)C:\Users\Manhua\AppData\Local...
Read article
「 CHEATSHEET 」
January 20, 2022
Words count
84k
Reading time
1:17
shell直接写文件12dfs dfs -appendToFile - HDFSfile# 按ctrl+C结束写入 启停命令123456789$HADOOP_HOME/sbin/hadoop-daemon.sh start namenode $HADOOP_HOME/sbin/hadoop-daemon.sh stop namenode$HADOOP_HOME/sbin/hadoop-daemon.sh start datanode $HADOOP_HOME/sbin/hadoop-daemon...
Read article
「 CHEATSHEET 」
January 20, 2022
Words count
878
Reading time
1 mins.
df.write.mode(“overwrite”).format(“parquet”).save(path) org.apache.spark.sql.DataFrameWriter#save 定位table 获得relation 12runCommand(df.sparkSession, "save") { AppendData.byName(relation, df.logicalPlan, extraOptions.toMap) LoadDataComman...
Read article
「 CHEATSHEET 」
January 20, 2022
Words count
5.2k
Reading time
5 mins.
编译环境1 new vm(vbox)同时连通本机和外网-(两张网卡nat + hostonly) 添加新NAT网络 ip addr 修改ip： vi /etc/sysconfig/network-scripts/ifcfg-enp0s3 GATEWAY=10.0.2.1 IPADDR=10.0.2.100 NETMASK=255.255.255.0 重启systemctl restart network install: jd...
Read article
「 CHEATSHEET 」
January 20, 2022
Words count
7.1k
Reading time
6 mins.
应用只用于单纯查询数据+展示，诸如报表、元数据，可实现浏览器式的数据探索 若连接上SparkSQL会逐一表进行扫描，不太合适。 所以使用场景更多在用户直接对每个数据都感兴趣 且 数据量不大，类似Excel的使用方式，但数据存储在数据 => 通过计算处理写入数据库，然后metabase连接进行查询探索 对应地，MB也提供上传CSV入库数据库进行探索的能力 查询方式jdbc连接现有查询引擎 账号邮箱+密码 日志创建自定义配置文件 log4j2.xml 1234567891011121...
Read article
「 CHEATSHEET 」
January 20, 2022
Words count
74k
Reading time
1:08
dolphinschedulerSite Is：分布式 工作流 调度平台，带DAG可视化 For：复杂任务依赖 去中心化（动态主，zk选） DolphinScheduler本身不依赖Hadoop、Hive、Spark,仅是会调用他们的Client，用于对应任务的提交 基于cron表达式调度 quartz 分布式调度器 调度情况报表t_ds_process_instance关键字段 name(流程名+时间戳) process_definition_id （可关联得流程名） state （流程实例状...
Read article
「 CHEATSHEET 」
January 19, 2022
Words count
21k
Reading time
19 mins.
本机外网ipwindows/linux通用 123456curl ip.sb # 只显示ipv4 curl cip.cc #显示ipv4和地址信息# 指定ip信息curl ifconfig.me/ip --resolve 'ifconfig.me:80:34.117.118.44' 进程参数1234tasklist|findstr 21692wmic process get caption,commandline /value |findStr mstscwmic ...
Read article
