阿里云助力您在中国加快取得成功
一站式安全合规咨询服务
MLPS 2.0 一站式合规解决方案
依托我们的网络进军中国市场
提升面向互联网应用的性能和安全性
保障您的中国业务安全无忧
通过强大的数据安全框架保护您的数据资产
申请 ICP 备案的流程解读和咨询服务
面向大数据建设、管理及应用的全域解决方案
企业内大数据建设、管理和应用的一站式解决方案
将您的采购和销售置于同一企业级全渠道数字平台上
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人
快速搭建在线教育平台
提供域名注册、分析和保护服务
即时部署可伸缩的虚拟云服务器
完全托管、本地部署的阿里云基础架构和服务。
阿里云开放给企业应用服务商和其客户的服务管理PaaS平台
助您构建公共云上的专有资源池
富弹性可伸缩的高性能计算服务
易用、安全、高效的云上桌面服务
高效运维、稳定安全和操作流畅的云端虚拟手机
基于GPU的弹性计算服务
可快速搭建应用且易于管理的轻量级云服务器
根据用户的业务需求和策略,自动调整其弹性计算资源的管理服务
为虚拟机和容器提供高可靠性、高性能、低时延的块存储服务
一款海量、安全、低成本、高可靠的云存储服务
可靠、弹性、高性能、多共享的文件存储服务
全托管、可扩展的并行文件系统服务。
全托管的 NoSQL 结构化数据实时存储服务
可抵扣多种存储产品的容量包,兼具灵活性和长期成本优化
让您的应用跨不同可用区资源自动分配访问量
随时绑定和解绑 VPC ECS
云网络公网、跨域流量统一计费
高性价比,可抵扣按流量计费的流量费用
创建云上隔离的网络,在专有环境中运行资源
在 VPC 环境下构建公网流量的出入口
具备网络状态可视化、故障智能诊断能力的自助式网络运维服务。
安全便捷的云上服务专属连接
基于阿里云专有网络的私有 DNS 解析服务
保障在线业务不受大流量 DDoS 攻击影响
系统运维和安全审计管控平台
业务上云的第一个网络安全基础设施
提供7X24小时安全运维平台
防御常见 Web 攻击,缓解 HTTP 泛洪攻击
实现全站 HTTPS,呈现可信的 WEB 访问
为云上应用提供符合行业标准和密码算法等级的数据加解密、签名验签和数据认证能力
一款发现、分类和保护敏感数据的安全服务
创建、控制和管理您的加密密钥
快速提高应用高可用能力服务
围绕应用和微服务的 PaaS 平台
兼容主流开源微服务生态的一站式平台
多集群环境下微服务应用流量统一管理
企业级全托管实时数据流平台
全托管,开箱即用的Apache Kafka全托管服务
提供物联网移动端和云交互的消息队列
开箱即用的全托管 RabbitMQ 服务
提供基于消息的可靠异步通信机制
应用之间的消息队列和通知
无服务器事件总线服务
Super MySQL 和 PostgreSQL,高度兼容 Oracle 语法
全托管 MySQL、PostgreSQL、SQL Server、MariaDB
兼容 Redis® 的缓存和KV数据库
兼容Apache Cassandra、Apache HBase、Elasticsearch、OpenTSDB 等多种开源接口
文档型数据库,支持副本集和分片架构
100%兼容 Apache HBase 并深度扩展,稳定、易用、低成本的NoSQL数据库。
低成本、高可用、可弹性伸缩的在线时序数据库服务
专为搜索和分析而设计,成本效益达到开源的两倍,采用最新的企业级AI搜索和AI助手功能。
一款兼容PostgreSQL协议的实时交互式分析产品
一种快速、完全托管的 TB/PB 级数据仓库
基于 Flink 为大数据行业提供解决方案
基于Qwen和其他热门模型的一站式生成式AI平台,可构建了解您业务的智能应用程
一站式机器学习平台,满足数据挖掘分析需求
高性能向量检索服务,提供低代码API和高成本效益
帮助您的应用快速构建高质量的个性化推荐服务能力
提供定制化的高品质机器翻译服务
全面的AI计算平台,满足大模型训练等高性能AI计算的算力和性能需求
具备智能会话能力的会话机器人
基于机器学习的智能图像搜索产品
基于阿里云深度学习技术,为用户提供图像分割、视频分割、文字识别等离线SDK能力,支持Android、iOS不同的适用终端。
语音识别、语音合成服务以及自学习平台
一站式智能搜索业务开发平台
助力金融企业快速搭建超低时延、高质量、稳定的行情数据服务
帮助企业快速测算和分析企业的碳排放和产品碳足迹
企业工作流程自动化,全面提高效率
金融级云原生分布式架构的一站式高可用应用研发、运维平台
eKYC 数字远程在线解决方案
可智能检测、大数据驱动的综合性反洗钱 (AML) 解决方案
强大、灵活、安全的全网域名智能解析服务
亚洲 No.1 的域名注册商,注册量超 2000 万
帮助企业高效实现GoChina备案合规
域名注册者、到期日、所属注册商等信息查询
阿里云APM类监控产品
实时云监控服务,确保应用及服务器平稳运行
为系统运维人员管理云基础架构提供全方位服务的云上自动化运维平台
面向您的云资源的风险检测服务
提升分布式环境下的诊断效率
日志类数据一站式服务,无需开发就能部署
ECS 预留实例
让弹性计算产品的成本和灵活性达到最佳平衡的付费方式。云原生 AI 套件
加速AI平台构建,提高资源效率和交付速度FinOps
实时分析您的云消耗并实现节约SecOps
实施细粒度安全控制DevOps
快速、安全地最大限度提高您的DevOps优势自带IP上云
自带公网 IP 地址上云全球网络互联
端到端的软件定义网络解决方案,可推动跨国企业的业务发展全球应用加速
提升面向互联网应用的性能和安全性全球互联网接入
将IDC网关迁移到云端云原生 AI 套件
加速AI平台构建,提高资源效率和交付速度FinOps
实时分析您的云消耗并实现节约SecOps
实施细粒度安全控制DevOps
快速、安全地最大限度提高您的DevOps优势金融科技云数据库解决方案
利用专为金融科技而设的云原生数据库解决方案游戏行业云数据库解决方案
提供多种成熟架构,解决所有数据问题Oracle 数据库迁移
将 Oracle 数据库顺利迁移到云原生数据库数据库迁移
加速迁移您的数据到阿里云阿里云上的数据湖
实时存储、管理和分析各种规模和类型的数据数码信贷
利用大数据和 AI 降低信贷和黑灰产风险面向企业数据技术的大数据咨询服务
帮助企业实现数据现代化并规划其数字化未来人工智能对话服务
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人EasyDispatch 现场服务管理
为现场服务调度提供实时AI决策支持在线教育
快速搭建在线教育平台窄带高清 (HD) 转码
带宽成本降低高达 30%广电级大型赛事直播
为全球观众实时直播大型赛事,视频播放流畅不卡顿直播电商
快速轻松地搭建一站式直播购物平台用于供应链规划的Alibaba Dchain
构建和管理敏捷、智能且经济高效的供应链云胸牌
针对赛事运营的创新型凭证数字服务数字门店中的云 POS 解决方案
将所有操作整合到一个云 POS 系统中元宇宙
元宇宙是下一代互联网人工智能 (AI) 加速
利用阿里云 GPU 技术,为 AI 驱动型业务以及 AI 模型训练和推理加速DevOps
快速、安全地最大限度提高您的DevOps优势数据迁移解决方案
加速迁移您的数据到阿里云企业 IT 治理
在阿里云上构建高效可控的云环境基于日志管理的AIOps
登录到带有智能化日志管理解决方案的 AIOps 环境备份与存档
数据备份、数据存档和灾难恢复用阿里云金融服务加快创新
在云端开展业务,提升客户满意度
为全球资本市场提供安全、准确和数字化的客户体验
利用专为金融科技而设的云原生数据库解决方案
利用大数据和 AI 降低信贷和黑灰产风险
建立快速、安全的全球外汇交易平台
新零售时代下,实现传统零售业转型
利用云服务处理流量波动问题,扩展业务运营、降低成本
快速轻松地搭建一站式直播购物平台
面向大数据建设、管理及应用的全域解决方案
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人
利用自动化、数字化、智能化的物流解决方案,平衡成本和用户体验
构建和管理敏捷、智能且经济高效的供应链
为现场服务调度提供实时AI决策支持
以数字化媒体旅程为当今的媒体市场准备就绪您的内容
带宽成本降低高达 30%
快速轻松地搭建一站式直播购物平台
为全球观众实时直播大型赛事,视频播放流畅不卡顿
使用阿里云弹性高性能计算 E-HPC 将本地渲染农场连接到云端
构建发现服务,帮助客户找到最合适的内容
保护您的媒体存档安全
通过统一的数据驱动平台提供一致的全生命周期客户服务
在钉钉上打造一个多功能的电信和数字生活平台
在线存储、共享和管理照片与文件
提供全渠道的无缝客户体验
面向中小型企业,为独立软件供应商提供可靠的IT服务
打造最快途径,助力您的新云业务扬帆起航
先进的SD-WAN平台,可实现WAN连接、实时优化并降低WAN成本
通过自动化和流程标准化实现快速事件响应
针对关键网络安全威胁提供集中可见性并进行智能安全分析
提供大容量、可靠且高度安全的企业文件传输
用智能技术数字化体育赛事
基于人工智能的低成本体育广播服务
专业的广播转码及信号分配管理服务
基于云的音视频内容引入、编辑和分发服务
在虚拟场馆中模拟关键运营任务
针对赛事运营的创新型凭证数字服务
智能和交互式赛事指南
轻松管理云端背包单元的绑定直播流
通过数据加强您的营销工作
元宇宙是下一代互联网
加速迁移您的数据到阿里云
在阿里云上建立一个安全且易扩容的环境,助力高效率且高成本效益的上云旅程
迁移到完全托管的云数据库
将 Oracle 数据库顺利迁移到云原生数据库
自带公网 IP 地址上云
利用阿里云强大的安全工具集,保障业务安全、应用程序安全、数据安全、基础设施安全和帐户安全
保护、备份和还原您的云端数据资产
MLPS 2.0 一站式合规解决方案
快速高效地将您的业务扩展到中国,同时遵守适用的当地法规
实现对 CloudOps、DevOps、SecOps、AIOps 和 FinOps 的高效、安全和透明的管理
构建您的原生云环境并高效管理集群
快速、安全地最大限度提高您的DevOps优势
实施细粒度安全控制
提供运维效率和总体系统安全性
实时分析您的云消耗并实现节约
利用生成式 AI 加速创新,创造新的业务佳绩
阿里云高性能开源大模型
探索阿里云人工智能和数据智能的所有功能、新优惠和最新产品
该体验中心提供广泛的用例和产品帮助文档,助您开始使用阿里云 AI 产品和浏览您的业务数据。
利用阿里云 GPU 技术,为 AI 驱动型业务以及 AI 模型训练和推理加速
元宇宙是下一代互联网
构建发现服务,帮助客户找到最合适的内容
全渠道内置 AI 驱动、拟人化、多语言对话的聊天机器人
实时存储、管理和分析各种规模和类型的数据
登录到带有智能化日志管理解决方案的 AIOps 环境
帮助企业实现数据现代化并规划其数字化未来
帮助零售商快速规划数字化之旅
将全球知名的 CRM 平台引入中国
在线存储、共享和管理照片与文件
构建、部署和管理高可用、高可靠、高弹性的应用程序
快速、安全地最大限度提高您的DevOps优势
将您的采购和销售置于同一企业级全渠道数字平台上
企业内大数据建设、管理和应用的一站式解决方案
帮助企业简化 IT 架构、实现商业价值、加速数字化转型的步伐
快速高效地将您的业务扩展到中国,同时遵守适用的当地法规
快速搜集、处理、分析联网设备产生的数据
0.0.201
本文为您介绍如何使用JindoDistCp。
JindoDistCp是阿里云数据湖存储团队开发的大规模集群内部和集群之间分布式文件拷贝的工具。其使用MapReduce实现文件分发、错误处理和恢复,把文件和目录的列表作为MapReduce任务的输入,每个任务会完成源列表中部分文件的拷贝。目前全量支持HDFS、OSS-HDFS、OSS和S3之间的数据拷贝场景,提供多种个性化拷贝参数和多种拷贝策略。重点优化HDFS到OSS-HDFS的数据拷贝,通过定制化CopyCommitter,实现No-Rename拷贝,并保证数据拷贝落地的一致性。功能全量对齐S3 DistCp和HDFS DistCp,性能较HDFS DistCp有较大提升,致力于提供高效、稳定、安全的数据拷贝工具。
JDK 1.8.0及以上。
Hadoop 2.3+版本,请下载最新版的jindo-distcp-tool-x.x.x.jar,该JAR包含在jindosdk-${version}.tar.gz内,解压缩后可在tools/目录下找到,单击进入JindoData下载。
EMR-5.6.0及以上版本、EMR-3.40.0及以上版本的集群已部署JindoDistCp,可在/opt/apps/JINDOSDK/jindosdk-current/tools目录下找到jindo-distcp-tool-x.x.x.jar。
JindoDistCp提供JAR包形式使用,您可以使用hadoop jar命令配合一系列参数来完成迁移操作。
参数 | 参数类型 | 说明 | 默认值 | 版本 | OSS | OSS-HDFS |
参数 | 参数类型 | 说明 | 默认值 | 版本 | OSS | OSS-HDFS |
必选 | 设置源目录,支持的前缀有:
| 无 | 4.3.0+ | 支持 | 支持 | |
必选 | 设置目标目录,支持的前缀有:
| 无 | 4.3.0+ | 支持 | 支持 | |
可选 | 设置单个节点的带宽限制,单位:MB。 | -1 | 4.3.0+ | 支持 | 支持 | |
可选 | 设置压缩类型,支持的编解码器包括 gzip、gz、lzo、lzop和snapp。 | keep(不更改压缩类型) | 4.3.0+ | 支持 | 支持 | |
可选 | 设置目标存储策略,支持Standard、IA、Archive、ColdArchive。 | Standard | 4.3.0+ | 支持 | 不支持 | |
可选 | 设置包含过滤规则的文件。 | 无 | 4.3.0+ | 支持 | 支持 | |
可选 | 设置包含符合规则的文件。 | 无 | 4.3.0+ | 支持 | 支持 | |
可选 | 设置DistCp任务的并发度,对应MR任务中的 mapreduce.job.maps。 | 10 | 4.3.0+ | 支持 | 支持 | |
可选 | 设置每个distcp job处理的文件数量。 | 10000 | 4.5.1+ | 支持 | 支持 | |
可选 | 设置每个distcp task处理的文件数量。 | 1 | 4.3.0+ | 支持 | 支持 | |
可选 | 设置临时目录。 | /tmp | 4.3.0+ | 支持 | 支持 | |
可选 | 设置Configuration。 | 无 | 4.3.0+ | 支持 | 支持 | |
可选 | 设置是否关闭Checksum检查。 | false | 4.3.0+ | 支持 | 支持 | |
可选 | 设置是否删除源文件,用于移动数据。 | false | 4.3.0+ | 支持 | 支持 | |
可选 | 设置是否开启事务,以保证Job级别的原子性。 | false | 4.3.0+ | 支持 | 支持 | |
可选 | 设置是否忽略拷贝任务中抛出的异常,避免中断任务。 | false | 4.3.0+ | 支持 | 支持 | |
可选 | 是否开启监控告警。 | false | 4.5.1+ | 支持 | 支持 | |
可选 | 设置DistCp模式为DIF,查看src和dest的文件差异。 | DistCpMode.COPY | 4.3.0+ | 支持 | 支持 | |
可选 | 设置DistCp模式为UPDATE,指定增量同步功能,跳过完全相同的文件和目录,直接将src中新增或发生改变的文件和目录同步到dest上。 | DistCpMode.COPY | 4.3.0+ | 支持 | 支持 | |
可选 | 设置是否开启保存元数据信息。 | false | 4.4.0+ | 不支持 | 支持 |
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--src:表示指定源文件的路径。
--dest:表示目标文件的路径。
示例命令如下:
hadoop jar jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table
您可以通过指定dest路径来确定拷贝后的文件目录。如果您需要将/data/hourly_table下的文件拷贝到example-oss-bucket这个bucket下的hourly_table目录下,则可以使用上述语句来完成。此处和Hadoop的DistCp行为有所不同,JindoDistCp会默认将src目录下的所有文件拷贝到您指定dest路径下,并不包括当前的根目录名称。您可以在dest中指定拷贝路径的根目录,如果不存在会自动创建。
如果您需要拷贝单个文件,dest需指定为目录。
hadoop jar jindo-distcp-tool-${version}.jar --src /test.txt --dest oss://example-oss-bucket/tmp
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--bandWidth:表示本次distcp任务所用的单机带宽(单位:MB),避免单机占用过大带宽。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --bandWidth 6
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
原始文件通常以未压缩的文本格式进入OSS或OSS-HDFS。无论是存储成本还是对该数据进行分析,此格式都不太理想。JindoDistCp可以使用--codec选项帮助您在线高效地存储数据和压缩文件。
--codec用来指定文件压缩编解码器,支持gzip、gz、lzo、lzop和snappy编码器以及关键字none和keep(默认值)。关键字含义如下:
none:保存为未压缩的文件。如果文件已压缩,则JindoDistCp会将其解压缩。
keep(默认值):不更改文件压缩形态,按原样复制。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --codec gz
命令执行后,检查目标文件夹中的文件。可以看到这些文件现在已经使用gz编解码器压缩了。
[root@emr-header-1 opt]# hdfs dfs -ls oss://example-oss-bucket/hourly_table/2017-02-01/03
Found 6 items
-rw-rw-rw- 1 938 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/000151.sst.gz
-rw-rw-rw- 1 1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/1.log.gz
-rw-rw-rw- 1 1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/2.log.gz
-rw-rw-rw- 1 1956 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/OPTIONS-000109.gz
-rw-rw-rw- 1 506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp01.txt.gz
-rw-rw-rw- 1 506 2020-04-17 20:58 oss://example-oss-bucket/hourly_table/2017-02-01/03/emp06.txt.gz
如果您想在开源Hadoop集群环境中使用编解码器lzo,则需要安装gplcompression的native库和hadoop-lzo包。如果您缺少相关环境,建议使用其他压缩方式进行压缩。
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--filters:指定有过滤规则的文件。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --filters filter.txt
假设filter.txt的内容如下为.*test.*
,则不会将路径中带有test字符的文件拷贝到OSS。
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--srcPrefixesFile:指定有符合规则的文件。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --srcPrefixesFile prefixes.txt
假设prefixes.txt的内容为.*test.*
,则只有路径中带有test字符的文件才会拷贝到OSS。
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--parallelism:指定MapReduce任务里的mapreduce.job.maps参数,该参数在E-MapReduce环境中默认为10,您可以根据集群的资源情况自定义parallelism的大小来控制distcp任务的并发度。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /opt/tmp --dest oss://example-oss-bucket/tmp --parallelism 20
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--taskBatch:指定每个distcp task处理的文件数量,默认为1。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --taskBatch 1
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--tmp:指定一个临时目录在hdfs上传存放临时数据,默认值为/tmp,即hdfs:///tmp/。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --tmp /tmp
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--hadoopConf:在E-MapReduce外或免密服务出现问题的情况下,您可以通过指定AccessKey来获得访问OSS/OSS-HDFS服务的权限。您可以在命令中使用--hadoopConf选项来指定AccessKey。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --hadoopConf fs.oss.accessKeyId=yourkey --hadoopConf fs.oss.accessKeySecret=yoursecret
您也可以将OSS/OSS-HDFS服务的AccessKey ID和AccessKey Secret预先配置在Hadoop的core-site.xml文件里 ,避免每次使用时临时填写AccessKey。您可以在EMR控制台Hadoop-Common服务的core-site.xml页面添加如下配置。
<configuration>
<property>
<name>fs.oss.accessKeyId</name>
<value>xxx</value>
</property>
<property>
<name>fs.oss.accessKeySecret</name>
<value>xxx</value>
</property>
</configuration>
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--disableChecksum:关闭检查文件checksum。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --disableChecksum
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--deleteOnSuccess:指定移动数据而不是复制数据。此选项类似于mv操作,首先复制文件,然后从源位置删除文件。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --deleteOnSuccess
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--enableTransaction:JindoDistCp默认使用Task级别完整性,如果您需要保证Job级别的完整性以及保证Job之间的事务支持,您可以使用该参数指定。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --enableTransaction
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--ignore:指定有符合规则的文件。忽略数据迁移期间发生的异常,相关报错不会中断任务,并最终以JindoCounter的形式透出(如果开启CMS,也会以指定方式进行通知)。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --ignore
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--diff:查看src和dest的文件差异。如果src的文件未能同步到dest上,则会在当前目录下生成一个包含文件内容差异的文件。如果您的JindoDistCp任务包含压缩或者解压缩,则--diff不能显示正确的文件差异,因为压缩或者解压缩会改变文件的大小。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff
如果文件有差异,则会在当前目录下生成一个包含文件内容差异的文件,并会提示如下信息:
JindoCounter
DIFF_FILES=1
如果您的--dest为HDFS路径,现支持/path、hdfs://hostname:ip/path、hdfs://headerIp:ip/path的写法,暂不支持hdfs:///path、hdfs:/path和其他自定义写法。
如果您想查看文件元数据的差异,您可以使用--diff --preserveMeta
命令:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --diff --preserveMeta
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 支持 |
--update:指定增量同步功能,跳过完全相同的文件和目录,直接将src中新增或发生改变的文件和目录同步到dest上。
如果JindoDistCp任务因为各种原因中间失败了,而此时您想进行断点续传,只复制剩下未复制成功的文件,或者源端文件新增了部分文件,此时需要您在上一次JindoDistCp任务完成后指定该参数。
示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --update
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.3.0及以上版本 | 支持 | 不支持 |
--policy:指定以冷归档、归档和低频的模式写入OSS,进行数据存储。如果不指定,则默认以standard标准模式写入,不进行冷归档、归档和低频操作。
使用冷归档写入OSS(coldArchive)
目前只在部分地域可用,具体请参见OSS存储类型介绍。使用示例命令如下:
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy coldArchive --parallelism 20
使用归档写入OSS(archive)
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy archive --parallelism 20
使用低频写入OSS(ia)
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-bucket/hourly_table --policy ia --parallelism 20
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.4.0及以上版本 | 不支持 | 支持 |
--preserveMeta:指定迁移数据的同时迁移包括Owner、Group、Permission、Atime、Mtime、Replication、BlockSize、XAttrs和ACL在内的元数据信息。
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --preserveMeta
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.5.1及以上版本 | 支持 | 支持 |
--jobBatch:在您的distcp任务写入OSS时,您可以通过--jobBatch来指定每个distcp job处理的文件数量,默认为10000。
jindo-distcp-tool-${version}.jar --src /data/hourly_table --dest oss://example-oss-bucket/hourly_table --jobBatch 50000
版本 | OSS | OSS-HDFS |
版本 | OSS | OSS-HDFS |
4.5.1及以上版本 | 支持 | 支持 |
--enableCMS:开启云监控告警功能。
JindoDistCp Counters信息汇总了JindoDistCp执行的结果。信息内容如下表所示。
参数 | 说明 |
参数 | 说明 |
COPY_FAILED | 拷贝失败的文件数。 |
CHECKSUM_DIFF | Checksum校验失败的文件数,并计入COPY_FAILED。 |
FILES_EXPECTED | 预期的拷贝的文件数。 |
BYTES_EXPECTED | 预期的拷贝的字节数。 |
FILES_COPIED | 拷贝成功的文件数。 |
BYTES_COPIED | 拷贝成功的字节数。 |
FILES_SKIPPED | 增量更新时跳过的文件数。 |
BYTES_SKIPPED | 增量更新时跳过的字节数。 |
DIFF_FILES | 源路径与目标路径下不相同的文件数。 |
SAME_FILES | 源路径与目标路径下完全相同的文件数。 |
DST_MISS | 目标路径不存在的文件数,并计入DIFF_FILES。 |
LENGTH_DIFF | 源文件和目标文件大小不一致的数量,并计入DIFF_FILES。 |
CHECKSUM_DIFF | Checksum校验失败的文件数,并计入DIFF_FILES。 |
DIFF_FAILED | 文件比较操作异常的文件数。 |