全部產品
Search
文件中心

E-MapReduce:JindoData版本已知問題

更新時間:Jul 01, 2024

本文為您介紹JindoData 4.x版本的已知問題。

4.6.x版本

4.6.2版本

JindoSDK 4.6.0及以上版本支援對寫路徑進行CRC64校正,即預設開啟fs.oss.checksum.crc64.enable

該配置目前對寫入OSS-HDFS效能有較大影響,在效能優先的情境下可以考慮關閉該配置。如需關閉,請在EMR控制台Hadoop-Common服務的配置頁簽,在 core-site.xml中新增參數為fs.oss.checksum.crc64.enable,參數值為false的配置項。新增配置項的操作,請參見管理配置項

4.6.1版本

  • JindoSDK 4.6.1版本在EMR叢集使用免密訪問OSS-HDFS出現等待Token更新,導致部分作業中斷的問題。

    您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程

  • JindoSDK 4.6.1版本在EMR叢集通過免密使用JindoUtil工具時,會產生許可權錯誤問題。

    您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程

  • JindoSDK 4.6.0及以上版本支援對寫路徑進行CRC64校正,即預設開啟fs.oss.checksum.crc64.enable

    該配置目前對寫入OSS-HDFS效能有較大影響,在效能優先的情境下可以考慮關閉該配置。如需關閉,請在EMR控制台Hadoop-Common服務的配置頁簽,在 core-site.xml中新增參數為fs.oss.checksum.crc64.enable,參數值為false的配置項。新增配置項的操作,請參見管理配置項

4.6.0版本

  • JindoSDK 4.6.0版本在EMR叢集使用免密訪問OSS-HDFS出現等待Token更新,導致部分作業卡住的問題。

    您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程

  • JindoSDK 4.6.0和 JindoFSx 4.6.0版本在Kerberos叢集配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時,存在JindoFSx Namespace Service記憶體泄露問題。

    您需要將JindoFSx和JindoSDK升級到4.6.2及以上版本,具體請參見EMR叢集JindoData升級流程EMR叢集JindoSDK升級流程

  • JindoSDK 4.6.0版本在EMR叢集使用免密下JindoUtil工具時,會產生許可權錯誤問題。

    您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程

  • JindoSDK 4.6.0及以上版本支援對寫路徑進行CRC64校正,即預設開啟fs.oss.checksum.crc64.enable

    該配置目前對寫入OSS-HDFS效能有較大影響,在效能優先的情境下可以考慮關閉該配置。如需關閉,請在EMR控制台Hadoop-Common服務的配置頁簽,在 core-site.xml中新增參數為fs.oss.checksum.crc64.enable,參數值為false的配置項。新增配置項的操作,請參見管理配置項

4.5.x版本

4.5.2版本

  • JindoSDK 4.5.2和JindoFSx 4.5.2版本在Kerberos叢集配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時,存在JindoFSx Namespace Service記憶體泄露問題。

    您需要將JindoFSx和JindoSDK升級到4.6.2及以上版本,具體請參見EMR叢集JindoData升級流程EMR叢集JindoSDK升級流程

  • JindoSDK 4.5.2版本在EMR叢集通過免密使用JindoUtil工具時,會產生許可權錯誤問題。

    您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程

4.5.1版本

  • JindoSDK 4.5.1和JindoFSx 4.5.1版本在Kerberos叢集配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時,存在JindoFSx Namespace Service記憶體泄露問題。

    您需要將JindoFSx和JindoSDK升級到4.6.2及以上版本,具體請參見EMR叢集JindoData升級流程EMR叢集JindoSDK升級流程

  • JindoSDK 4.5.1版本在EMR叢集通過免密使用JindoUtil工具時,會產生許可權錯誤問題。

    您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程

4.5.0版本

  • JindoSDK 4.5.0和JindoFSx 4.5.0版本在Kerberos叢集配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時,存在JindoFSx Namespace Service記憶體泄露問題。

    您需要將JindoFSx和JindoSDK升級到4.6.2及以上版本,具體請參見EMR叢集JindoData升級流程EMR叢集JindoSDK升級流程

  • JindoSDK 4.5.0版本在EMR叢集使用免密訪問OSS、OSS-HDFS失敗重試時無法進行Token更新,會導致部分作業卡住的問題。

    您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程

  • JindoSDK 4.5.0版本在EMR叢集通過免密使用JindoUtil工具時,會產生許可權錯誤問題。

    您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程

4.4.x版本

  • JindoSDK 4.4.0、4.4.1、4.4.2版本和JindoFSx 4.4.0、4.4.1、4.4.2版本在Kerberos叢集配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時,存在JindoFSx Namespace Service記憶體泄露問題。

    您需要將JindoFSx和JindoSDK升級到4.6.2及以上版本,具體請參見EMR叢集JindoData升級流程EMR叢集JindoSDK升級流程

  • JindoSDK 4.4.0版本在EMR叢集使用免密高並發訪問OSS和OSS-HDFS時,可能會出現coredump。

    您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程

4.3.x版本

  • JindoSDK 4.3.0版本(EMR-3.40.0或EMR-5.6.0版本叢集)由於顯示目錄時間會導致ls效能出現一定程度退化,暫不顯示目錄時間情況。

    如果您需要顯示時間,可以將JindoSDK升級到4.3.1及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程

  • JindoSDK 4.3.0版本(EMR-3.40.0或EMR-5.6.0版本叢集)使用MagicCommitter時,會有頻繁調用uploadPart問題,出現“Part number must be an integer between 1 and 10000”異常。

    您可以將JindoSDK升級到4.3.1及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程

  • JindoFSx 4.3.0版本服務端讀取快取資料在部分路徑下存在出錯處理異常,相關錯誤未能正確返回用戶端,導致用戶端返回錯誤的資料內容。

    您可以將JindoFSx升級到4.3.1及以上版本,具體請參見EMR叢集JindoData升級流程

  • JindoFSx 4.3.0版本服務端處理記憶體緩衝預先載入命令存在問題,導致載入到記憶體中的資料內容可能發生錯誤,造成後續讀取到錯誤的資料內容。

    您可以將JindoFSx升級到4.3.1及以上版本,具體請參見EMR叢集JindoData升級流程

  • JindoFSx 4.3.0和4.3.1版本服務端存在檔案控制代碼泄漏問題,長時間運行後可能達到作業系統規定的進程上限,導致服務無法開啟新的檔案控制代碼,造成服務不可用。

    您可以將JindoFSx升級到4.3.2及以上版本,具體請參見EMR叢集JindoData升級流程

4.2.x版本

JindoSDK 4.2.0版本在大檔案SEEK時存在溢出問題,會導致部分使用SEEK的任務出現讀取OSS大檔案失敗。

4.1.x版本

JindoSDK 4.1.0版本在大檔案SEEK時存在溢出問題,會導致部分使用SEEK的任務出現讀取OSS大檔案失敗。

4.0.x版本

JindoSDK 4.0.0版本 (EMR-3.39.0或EMR-5.5.0版本叢集) 在大檔案SEEK時存在溢出問題,會導致部分使用SEEK的任務出現讀取OSS大檔案失敗。

其他問題

  • JindoSDK暫不支援OSS上超大檔案寫入(大於80 GB)。

  • JindoSDK暫不支援OSS append方式寫入。

  • JindoSDK暫不支援OSS用戶端加密。

  • JindoSDK暫不支援舊版本JindoFS Block模式和Cache模式。

  • 阿里雲OSS-HDFS服務(JindoFS 服務)暫不支援舊版本JindoFS Block模式系統升級。

    您可以通過JindoDistCp遷移工具將資料從舊系統遷移到新服務。