Manhua

Manhua

Never Say Die

    • 主页 | Home
    • 归档 | Archives
    • 简介 | About

Carbondata文件格式

数据格式定义carbondata的文件格式使用thrift定义,在源码目录中:format/src/main/thrift/*.thrift,编译之后会在format/target/gen-java生成对应的类,并有setter和getter。 使用Thrift定义数据格式容易理

2021-04-10

Carbondata加载逻辑

入口加载命令的入口在CarbonLoadDataCommand,command的处理主要分为meta和data两部分的处理。数据加载主要在org.apache.carbondata.spark.rdd.CarbonDataRDDFactory#loadCarbonData实现,还

2021-04-10

Carbondata查询逻辑

入口CarbonSession继承SparkSession,查询时我们使用的是CarbonSession。 12345678override def sql(sqlText: String): DataFrame = { withProfiler( sqlTex

2021-04-10

RDMA

计算和存储都在想方设法地提高速度,谁都不想成为性能瓶颈,而在分布式架构下,网络带宽也是一个优化的地方。 带宽,是做性能估算时常用的一个单位。 在单机的情况下,我们学过DMA (直接内存访问)是一种能力,允许在计算机主板上的设备直接把数据发送到内存中去,数据搬运不需要CPU的参与。

2021-04-10

Day 1 to Carbondata

What is carbonCarbondata is an indexed columnar data format for fast analytics on big data platform, like parquet, orc. Reference Site Offic

2021-04-09

Carbondata PR

CarbonFor each column stored in carbon, we will record min-max value in meta space called DataChunk. It is recommanded to set a proper colum

2021-04-09

Spark

Spark简单之美 | RDD:基于内存的集群计算容错抽象 Spark on YarnSpark 官方提供了三种集群部署方案: Standalone, Mesos, YARN,区别就在于资源管理调度平台不同。 想在已有的Hadoop集群上使用Spark,实现Spark on Ya

2017-04-13

Docker

Infomoby、docker-ce与docker-ee最早的时候docker就是一个开源项目,主要由docker公司维护。 2017年年初,docker公司将原先的docker项目改名为moby,并创建了docker-ce和docker-ee。 这三者的关系是: moby是继承

2017-04-13

Resources常用资源

常用软件OS MSDN itellyou USTC Mirror Maven Repository alibabaMavenRepo Internet Firefox 123456789wget https://dl.google.com/linux/direct/googl

2017-04-12

QA-on-Linux

Linux ProblemsI’m in Mint可以把 http://www.cnblogs.com/manhua/p/3631046.html 删除了 Install终端间通信linux里有自带的终端间通信命令:write、wall 使用who命令,查看目前登入系统的用户信

2017-04-12
<span></span>Prev1…891011Next<span></span>

Github Card

Categories

  • 2.10.24
  • AI1
  • Application2
  • BigData7
  • CheatSheet42
  • Computing2
  • Database2
  • Development1
  • Info1
  • Infrastructure1
  • System1
  • ai1
  • cluster1
  • database3
  • os2
  • spark2
  • storage1
  • virtualization1
  • visualization1
  • 慢话1

Tags

  • BigData4
  • carbondata4
  • project2
  • Hadoop2
  • Database2
  • rdma1
  • software1
  • recommendation1
  • RAG1
  • LLM1
  • Langchain1
  • Ollama1
  • Git1
  • Version Control1
  • Development1
  • Cluster1
  • HDFS1
  • Infrastructure1
  • Flink1
  • Stream Processing1

Links

  • cnBlogs

Hello ,I'm Manhua Jiang.
This is my blog,believe it or not.

Powered by hexo and Theme by Jacman © 2025 Manhua