Quick BI支持将本地的Excel文件和CSV文件上传至数据库中,作为文件数据源,满足您不断变化和增长的业务分析需求。本文介绍上传文件的入口、如何创建并修改文件数据源。
使用限制
限制说明 | 适用文件类型 |
单个文件表头必须放第一行,Sheet1不能有合并单元格。 | Excel |
单个文件列数不超过100列。 | Excel和CSV |
文件大小建议不超过50 MB。 若某文件为98列100万行,大小为80 MB,则需要拆成多个文件,以追加行的形式上传。 | Excel和CSV |
注意事项
上传文件时,需要注意以下几点:
上传CSV文件时,建议您将CSV文件的格式转换为UTF-8格式。
UTF-8格式的CSV文件可以准确识别编码,GBK、GB2312格式的CSV文件的编码可能不能被智能识别出来,从而导致上传的文件为乱码。
上传文件时,建议您使用Chrome浏览器。
上传的文件中,列的类型根据前100行确定:
如果前100行均为数字,则系统会识别此列为数值型。
如果有1行为字符串,则系统会识别此列为字符串型。
数值型字段不兼容字符串类型数据,字符串类型可以兼容数值型数据。
功能入口
请登录Quick BI控制台,并按照图示的任意一种方式,进入上传本地数据。
在数据源中上传本地文件
当连接数据源为MySQL、MaxCompute(ODPS)、AnalyticDB for MySQL 3.0、SQL Server、PostgreSQL、Hologres、ClickHouse、AnalyticDB for PostgreSQL、PolarDB for MySQL、Oracle、Alibaba PolarDB分布式版(DRDS、Alibaba PolarDB-X)、PolarDB for PostgreSQL、PolarDB for Oracle(原PPAS)、Apache Doris、和StarRocks,且您拥有该数据源的读写权限时,可以上传本地文件至数据库中。
在数据集编辑页面上传本地文件
上传文件
支持上传本地Excel文件和CSV文件。
上传Excel文件时,仅支持上传第一个Sheet的内容。
上传CSV文件时,CSV文件的格式推荐为UTF-8格式。
在上传文件对话框,配置以下参数。
配置项
说明
请选择文件
从本地上传CSV、XLSX或XLS格式文件。
自定义文件名称
上传文件后,系统会自动识别文件名作为自定义文件的名称,您可以修改文件名称。
文件名称只能由中英文、数字及下划线(_)、斜线(/)、反斜线(\)、竖线(|)、小括号(())、中括号([])组成,不超过50个字符。
物理表名
文件上传至数据库后,在数据库中自动创建的表名称。您可以修改物理表名。
物理表名只能由英文、数字和下划线(_)组成,长度不超过150个字符。
字段预览
文件上传至数据库后,会以数据库表的形式存储,数据库字段名称和字段类型为生成数据库表的字段名和类型,而文件列名为上传文件的表头名,会变成数据库表的字段备注。您可以在文件上传时,修改文件字段名、数据库字段名称和字段类型。
单击保存,完成文件上传。
当出现导入成功字样时,您可以在文件上传页签,看到上传的文件。
更改上传文件
在完成第一次的业务数据文件上传后,如果由于业务变化,产生了新的业务数据文件,您可以将新文件写入到已有的文件数据源所对应的物理表中,实现对业务数据连贯的、长期的跟踪分析需求。
单击目标文件右侧的图表进入文件上传修改界面。
在文件上传记录进行以下操作。
操作项
应用场景
实现原理
说明
①追加文件
由于业务增长,产生了新的业务数据文件,您可以将新文件追加到已有的文件数据源所对应的表中。
追加文件是在物理表中写入行。
新追加或替换的本地文件类型可以与历史上传的文件类型不相同。
已有CSV文件,如果需要追加或替换Excel文件中的某个Sheet下的数据时,只要保持新数据文件的字段名和字段数据类型与历史上传数据文件的字段名和字段数据类型一致即可。
在完成第一次的业务数据文件上传后,新追加或替换的文件字段顺序及数据类型需跟原来保持一致。
②替换文件
由于业务变更,新的业务数据需要取代旧的业务,您可以更换旧文件。
更换文件是在物理表中更换行和列。
③删除文件
如果追加的某个业务数据文件存在脏数据,您可以在表对应的上传文件列表中删除有脏数据的文件。则该业务数据文件的内容会自动同步至下游仪表板,从而确保业务数据分析结果的精确性。
删除文件是在物理表中删除行。
无
在高级配置里进行以下操作。
操作项
应用场景
实现原理
说明
①添加字段
由于分析需求的维度不同,您需要在物理表中增加新的字段。
添加字段是在物理表中写入列。
无
②删除字段
由于分析需求的维度变化,您需要在物理表中删除字段。
删除字段是在物理表中删除列。
无
上传后的CSV文件字段内容为乱码,该如何操作?
目前UTF-8格式的CSV文件可以准确识别编码。GBK、GB2312格式的CSV文件的编码一般也能智能识别出来,但是某些特殊情形下,可能不能被智能识别出来,需要转换编码格式为UTF-8。
用记事本工具打开一个CSV文件。
选择另存为。
单击编码的下拉箭头。
从编码列表中,选择UTF-8。
本地文件数据源学习示例
销售数据的结构如下表所示。
字段名称 | 字段类型 | 字段描述 |
order_id | varchar | 订单编号 |
report_date | datetime | 订单日期 |
customer_name | varchar | 客户名称 |
order_level | varchar | 订单等级 |
order_number | double | 订单数量 |
order_amt | double | 订单金额 |
back_point | double | 折扣点 |
shipping_type | varchar | 运输方式 |
profit_amt | double | 利润金额 |
price | double | 单价 |
shipping_cost | double | 运输成本 |
area | varchar | 区域 |
province | varchar | 省份 |
city | varchar | 城市 |
product_type | varchar | 产品类型 |
product_sub_type | varchar | 产品小类 |
product_name | varchar | 产品名称 |
product_box | varchar | 产品包箱 |
shipping_date | datetime | 运输日期 |