本文為您介紹JindoData 4.x版本的已知問題。
4.6.x版本
4.6.2版本
JindoSDK 4.6.0及以上版本支援對寫路徑進行CRC64校正,即預設開啟fs.oss.checksum.crc64.enable。
該配置目前對寫入OSS-HDFS效能有較大影響,在效能優先的情境下可以考慮關閉該配置。如需關閉,請在EMR控制台Hadoop-Common服務的配置頁簽,在 core-site.xml中新增參數為fs.oss.checksum.crc64.enable,參數值為false的配置項。新增配置項的操作,請參見管理配置項。
4.6.1版本
JindoSDK 4.6.1版本在EMR叢集使用免密訪問OSS-HDFS出現等待Token更新,導致部分作業中斷的問題。
您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程。
JindoSDK 4.6.1版本在EMR叢集通過免密使用JindoUtil工具時,會產生許可權錯誤問題。
您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程。
JindoSDK 4.6.0及以上版本支援對寫路徑進行CRC64校正,即預設開啟fs.oss.checksum.crc64.enable。
該配置目前對寫入OSS-HDFS效能有較大影響,在效能優先的情境下可以考慮關閉該配置。如需關閉,請在EMR控制台Hadoop-Common服務的配置頁簽,在 core-site.xml中新增參數為fs.oss.checksum.crc64.enable,參數值為false的配置項。新增配置項的操作,請參見管理配置項。
4.6.0版本
JindoSDK 4.6.0版本在EMR叢集使用免密訪問OSS-HDFS出現等待Token更新,導致部分作業卡住的問題。
您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程。
JindoSDK 4.6.0和 JindoFSx 4.6.0版本在Kerberos叢集配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時,存在JindoFSx Namespace Service記憶體泄露問題。
您需要將JindoFSx和JindoSDK升級到4.6.2及以上版本,具體請參見EMR叢集JindoData升級流程和EMR叢集JindoSDK升級流程。
JindoSDK 4.6.0版本在EMR叢集使用免密下JindoUtil工具時,會產生許可權錯誤問題。
您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程。
JindoSDK 4.6.0及以上版本支援對寫路徑進行CRC64校正,即預設開啟fs.oss.checksum.crc64.enable。
該配置目前對寫入OSS-HDFS效能有較大影響,在效能優先的情境下可以考慮關閉該配置。如需關閉,請在EMR控制台Hadoop-Common服務的配置頁簽,在 core-site.xml中新增參數為fs.oss.checksum.crc64.enable,參數值為false的配置項。新增配置項的操作,請參見管理配置項。
4.5.x版本
4.5.2版本
JindoSDK 4.5.2和JindoFSx 4.5.2版本在Kerberos叢集配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時,存在JindoFSx Namespace Service記憶體泄露問題。
您需要將JindoFSx和JindoSDK升級到4.6.2及以上版本,具體請參見EMR叢集JindoData升級流程和EMR叢集JindoSDK升級流程。
JindoSDK 4.5.2版本在EMR叢集通過免密使用JindoUtil工具時,會產生許可權錯誤問題。
您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程。
4.5.1版本
JindoSDK 4.5.1和JindoFSx 4.5.1版本在Kerberos叢集配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時,存在JindoFSx Namespace Service記憶體泄露問題。
您需要將JindoFSx和JindoSDK升級到4.6.2及以上版本,具體請參見EMR叢集JindoData升級流程和EMR叢集JindoSDK升級流程。
JindoSDK 4.5.1版本在EMR叢集通過免密使用JindoUtil工具時,會產生許可權錯誤問題。
您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程。
4.5.0版本
JindoSDK 4.5.0和JindoFSx 4.5.0版本在Kerberos叢集配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時,存在JindoFSx Namespace Service記憶體泄露問題。
您需要將JindoFSx和JindoSDK升級到4.6.2及以上版本,具體請參見EMR叢集JindoData升級流程和EMR叢集JindoSDK升級流程。
JindoSDK 4.5.0版本在EMR叢集使用免密訪問OSS、OSS-HDFS失敗重試時無法進行Token更新,會導致部分作業卡住的問題。
您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程。
JindoSDK 4.5.0版本在EMR叢集通過免密使用JindoUtil工具時,會產生許可權錯誤問題。
您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程。
4.4.x版本
JindoSDK 4.4.0、4.4.1、4.4.2版本和JindoFSx 4.4.0、4.4.1、4.4.2版本在Kerberos叢集配置使用fs.oss.credentials.provider=com.aliyun.jindodata.oss.auth.RangerCredentialsProvider時,存在JindoFSx Namespace Service記憶體泄露問題。
您需要將JindoFSx和JindoSDK升級到4.6.2及以上版本,具體請參見EMR叢集JindoData升級流程和EMR叢集JindoSDK升級流程。
JindoSDK 4.4.0版本在EMR叢集使用免密高並發訪問OSS和OSS-HDFS時,可能會出現coredump。
您可以使用固定AccessKey或者升級到4.6.2及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程。
4.3.x版本
JindoSDK 4.3.0版本(EMR-3.40.0或EMR-5.6.0版本叢集)由於顯示目錄時間會導致ls效能出現一定程度退化,暫不顯示目錄時間情況。
如果您需要顯示時間,可以將JindoSDK升級到4.3.1及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程。
JindoSDK 4.3.0版本(EMR-3.40.0或EMR-5.6.0版本叢集)使用MagicCommitter時,會有頻繁調用uploadPart問題,出現“Part number must be an integer between 1 and 10000”異常。
您可以將JindoSDK升級到4.3.1及以上版本,EMR叢集JindoSDK升級請參見EMR叢集JindoSDK升級流程。
JindoFSx 4.3.0版本服務端讀取快取資料在部分路徑下存在出錯處理異常,相關錯誤未能正確返回用戶端,導致用戶端返回錯誤的資料內容。
您可以將JindoFSx升級到4.3.1及以上版本,具體請參見EMR叢集JindoData升級流程。
JindoFSx 4.3.0版本服務端處理記憶體緩衝預先載入命令存在問題,導致載入到記憶體中的資料內容可能發生錯誤,造成後續讀取到錯誤的資料內容。
您可以將JindoFSx升級到4.3.1及以上版本,具體請參見EMR叢集JindoData升級流程。
JindoFSx 4.3.0和4.3.1版本服務端存在檔案控制代碼泄漏問題,長時間運行後可能達到作業系統規定的進程上限,導致服務無法開啟新的檔案控制代碼,造成服務不可用。
您可以將JindoFSx升級到4.3.2及以上版本,具體請參見EMR叢集JindoData升級流程。
4.2.x版本
JindoSDK 4.2.0版本在大檔案SEEK時存在溢出問題,會導致部分使用SEEK的任務出現讀取OSS大檔案失敗。
4.1.x版本
JindoSDK 4.1.0版本在大檔案SEEK時存在溢出問題,會導致部分使用SEEK的任務出現讀取OSS大檔案失敗。
4.0.x版本
JindoSDK 4.0.0版本 (EMR-3.39.0或EMR-5.5.0版本叢集) 在大檔案SEEK時存在溢出問題,會導致部分使用SEEK的任務出現讀取OSS大檔案失敗。
其他問題
JindoSDK暫不支援OSS上超大檔案寫入(大於80 GB)。
JindoSDK暫不支援OSS append方式寫入。
JindoSDK暫不支援OSS用戶端加密。
JindoSDK暫不支援舊版本JindoFS Block模式和Cache模式。
阿里雲OSS-HDFS服務(JindoFS 服務)暫不支援舊版本JindoFS Block模式系統升級。
您可以通過JindoDistCp遷移工具將資料從舊系統遷移到新服務。