全部产品
Search

搜索本产品

    开源大数据平台E-MapReduce：JindoData版本已知问题

    文档中心

    开源大数据平台E-MapReduce：JindoData版本已知问题

    更新时间：Dec 20, 2023

    本文为您介绍JindoData 4.x版本的已知问题。

    4.6.x版本

    4.6.2版本

    JindoSDK 4.6.0及以上版本支持对写路径进行CRC64校验，即默认打开fs.oss.checksum.crc64.enable。

    该配置目前对写入OSS-HDFS性能有较大影响，在性能优先的场景下可以考虑关闭该配置。如需关闭，请在EMR控制台Hadoop-Common服务的配置页签，在 core-site.xml中新增参数为fs.oss.checksum.crc64.enable，参数值为false的配置项。新增配置项的操作，请参见管理配置项。

    4.6.1版本

    • JindoSDK 4.6.1版本在EMR集群使用免密访问OSS-HDFS出现等待Token更新，导致部分作业中断的问题。

      您可以使用固定AccessKey或者升级到4.6.2及以上版本，EMR集群JindoSDK升级请参见EMR集群JindoSDK升级流程（新版控制台）。

    • JindoSDK 4.6.1版本在EMR集群通过免密使用JindoUtil工具时，会产生权限错误问题。

      您可以使用固定AccessKey或者升级到4.6.2及以上版本，EMR集群JindoSDK升级请参见EMR集群JindoSDK升级流程（新版控制台）。

    • JindoSDK 4.6.0及以上版本支持对写路径进行CRC64校验，即默认打开fs.oss.checksum.crc64.enable。

      该配置目前对写入OSS-HDFS性能有较大影响，在性能优先的场景下可以考虑关闭该配置。如需关闭，请在EMR控制台Hadoop-Common服务的配置页签，在 core-site.xml中新增参数为fs.oss.checksum.crc64.enable，参数值为false的配置项。新增配置项的操作，请参见管理配置项。

    4.6.0版本

    • JindoSDK 4.6.0版本在EMR集群使用免密访问OSS-HDFS出现等待Token更新，导致部分作业卡住的问题。

      您可以使用固定AccessKey或者升级到4.6.2及以上版本，EMR集群JindoSDK升级请参见EMR集群JindoSDK升级流程（新版控制台）。

    • JindoSDK 4.6.0和 JindoFSx 4.6.0版本在Kerberos集群配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider时，存在JindoFSx Namespace Service内存泄露问题。

      您需要将JindoFSx和JindoSDK升级到4.6.2及以上版本，具体请参见EMR集群JindoData升级流程（新版控制台）和EMR集群JindoSDK升级流程（新版控制台）。

    • JindoSDK 4.6.0版本在EMR集群使用免密下JindoUtil工具时，会产生权限错误问题。

      您可以使用固定AccessKey或者升级到4.6.2及以上版本，EMR集群JindoSDK升级请参见EMR集群JindoSDK升级流程（新版控制台）。

    • JindoSDK 4.6.0及以上版本支持对写路径进行CRC64校验，即默认打开fs.oss.checksum.crc64.enable。

      该配置目前对写入OSS-HDFS性能有较大影响，在性能优先的场景下可以考虑关闭该配置。如需关闭，请在EMR控制台Hadoop-Common服务的配置页签，在 core-site.xml中新增参数为fs.oss.checksum.crc64.enable，参数值为false的配置项。新增配置项的操作，请参见管理配置项。

    4.5.x版本

    4.5.2版本

    4.5.1版本

    4.5.0版本

    4.4.x版本

    4.3.x版本

    • JindoSDK 4.3.0版本（EMR-3.40.0或EMR-5.6.0版本集群）由于显示目录时间会导致ls性能出现一定程度退化，暂不显示目录时间情况。

      如果您需要显示时间，可以将JindoSDK升级到4.3.1及以上版本，EMR集群JindoSDK升级请参见EMR集群JindoSDK升级流程（新版控制台）。

    • JindoSDK 4.3.0版本（EMR-3.40.0或EMR-5.6.0版本集群）使用MagicCommitter时，会有频繁调用uploadPart问题，出现“Part number must be an integer between 1 and 10000”异常。

      您可以将JindoSDK升级到4.3.1及以上版本，EMR集群JindoSDK升级请参见EMR集群JindoSDK升级流程（新版控制台）。

    • JindoFSx 4.3.0版本服务端读取缓存数据在部分路径下存在出错处理异常，相关错误未能正确返回客户端，导致客户端返回错误的数据内容。

      您可以将JindoFSx升级到4.3.1及以上版本，具体请参见EMR集群JindoData升级流程（新版控制台）。

    • JindoFSx 4.3.0版本服务端处理内存缓存预加载命令存在问题，导致加载到内存中的数据内容可能发生错误，造成后续读取到错误的数据内容。

      您可以将JindoFSx升级到4.3.1及以上版本，具体请参见EMR集群JindoData升级流程（新版控制台）。

    • JindoFSx 4.3.0和4.3.1版本服务端存在文件句柄泄漏问题，长时间运行后可能达到操作系统规定的进程上限，导致服务无法打开新的文件句柄，造成服务不可用。

      您可以将JindoFSx升级到4.3.2及以上版本，具体请参见EMR集群JindoData升级流程（新版控制台）。

    4.2.x版本

    JindoSDK 4.2.0版本在大文件SEEK时存在溢出问题，会导致部分使用SEEK的任务出现读取OSS大文件失败。

    4.1.x版本

    JindoSDK 4.1.0版本在大文件SEEK时存在溢出问题，会导致部分使用SEEK的任务出现读取OSS大文件失败。

    4.0.x版本

    JindoSDK 4.0.0版本 （EMR-3.39.0或EMR-5.5.0版本集群） 在大文件SEEK时存在溢出问题，会导致部分使用SEEK的任务出现读取OSS大文件失败。

    其他问题

    • JindoSDK暂不支持OSS上超大文件写入（大于80 GB）。

    • JindoSDK暂不支持OSS append方式写入。

    • JindoSDK暂不支持OSS客户端加密。

    • JindoSDK暂不支持旧版本JindoFS Block模式和Cache模式。

    • 阿里云OSS-HDFS服务（JindoFS 服务）暂不支持旧版本JindoFS Block模式系统升级。

      您可以通过JindoDistCp迁移工具将数据从旧系统迁移到新服务。