By

Contents
  1. 1. 区别
  2. 2. 数据转换xlsx2parquet

区别

简而言之：DuckLake 简化了 Lakehouse，它使用标准 SQL 数据库存储所有元数据，而不是复杂的基于文件的系统，同时仍然以 Parquet 等开放格式存储数据。这使得它更可靠、更快速、更易于管理。

DuckLake 的架构 DuckLake 的架构：只有一个数据库和一些 Parquet 文件

具体使用哪种 SQL 数据库取决于用户，唯一的要求是系统支持 ACID 操作和主键以及标准 SQL 支持。DuckLake 内部表模式刻意保持简单，以最大限度地兼容不同的 SQL 数据库。以下是通过示例展示的核心模式。

数据转换xlsx2parquet

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
INSTALL excel;
LOAD excel;

--浏览数据
DESCRIBE 
SELECT *
FROM read_xlsx('待提取开销户时间用户.xlsx', sheet='Sheet1')
LIMIT 5;

--字段信息
SELECT column_name, column_type
FROM (DESCRIBE SELECT * FROM read_xlsx('待提取开销户时间用户.xlsx', sheet='Sheet1'));

--转换存储
COPY (
    SELECT
        "手机号" AS msisdn
    FROM read_xlsx('待提取开销户时间用户.xlsx', sheet='Sheet1')
)
TO 'sheet1.parquet'
(FORMAT PARQUET);

--检查
select count(*) from read_parquet('sheet1.parquet');
DESCRIBE 
select * from read_parquet('sheet1.parquet') limit 5;