当上传超过5GB的大文件到OSS时,若遇网络中断或程序异常退出,建议使用断点续传。此方法将大文件分割成多个分片并发上传,加速进程。若某个分片上传失败,可从Checkpoint文件记录的断点继续上传,无需重传所有分片。上传完成后,所有分片将自动合并为完整文件。
注意事项
本文以华东1(杭州)外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS,请使用内网Endpoint。关于OSS支持的Region与Endpoint的对应关系,请参见OSS访问域名、数据中心、开放端口。
本文以从环境变量读取访问凭证为例。如何配置访问凭证,请参见配置访问凭证。
本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建OSSClient,请参见初始化。
要断点续传上传,您必须有
oss:PutObject
权限。具体操作,请参见为RAM用户授权自定义的权限策略。SDK会将上传的状态信息记录在Checkpoint文件中,所以要确保程序对Checkpoint文件有写权限。
请勿修改Checkpoint文件中携带的校验信息。如果Checkpoint文件损坏,则会重新上传所有分片。
如果上传过程中本地文件发生了改变,则会重新上传所有分片。
实现方法
您可以使用Bucket.UploadFile方法实现断点续传上传。可设置的参数及选项如下:
参数 | 说明 |
objectKey | 上传到OSS的文件名称,等同于objectName。 |
filePath | 待上传的本地文件路径。 |
partSize | 上传的分片大小,取值范围为100 KB~5 GB。默认值为100 KB。 |
options | 包含如下可选项:
说明 更多信息,请参见设置文件元数据。 |
示例代码
您可以使用以下代码进行断点续传上传。
package main
import (
"log"
"github.com/aliyun/aliyun-oss-go-sdk/oss"
)
func main() {
// 从环境变量中获取访问凭证。运行本代码示例之前,请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
provider, err := oss.NewEnvironmentVariableCredentialsProvider()
if err != nil {
log.Fatalf("Failed to create credentials provider: %v", err)
}
// 创建OSSClient实例。
// yourEndpoint填写Bucket对应的Endpoint,以华东1(杭州)为例,填写为https://oss-cn-hangzhou.aliyuncs.com。其它Region请按实际情况填写。
// yourRegion填写Bucket所在地域,以华东1(杭州)为例,填写为cn-hangzhou。其它Region请按实际情况填写。
clientOptions := []oss.ClientOption{oss.SetCredentialsProvider(&provider)}
clientOptions = append(clientOptions, oss.Region("yourRegion"))
// 设置签名版本
clientOptions = append(clientOptions, oss.AuthVersion(oss.AuthV4))
client, err := oss.New("yourEndpoint", "", "", clientOptions...)
if err != nil {
log.Fatalf("Failed to create OSS client: %v", err)
}
// 填写Bucket名称,例如examplebucket。
bucket, err := client.Bucket("examplebucket")
if err != nil {
log.Fatalf("Failed to get bucket: %v", err)
}
// 通过UploadFile实现断点续传上传时,限制分片数量不能超过10000。
// 您需要结合上传文件的大小,合理设置每个分片的大小。每个分片大小的取值范围为100 KB~5 GB。默认值为100 KB(即100*1024)。
// 通过oss.Routines指定分片上传并发数为3。
// yourObjectName填写Object完整路径,完整路径中不能包含Bucket名称,例如exampledir/exampleobject.txt。
// yourLocalFile填写本地文件的完整路径,例如D:\\localpath\\examplefile.txt。如果未指定本地路径,则默认从示例程序所属项目对应本地路径中上传文件。
err = bucket.UploadFile("exampledir/exampleobject.txt", "D:\\localpath\\examplefile.txt", 100*1024, oss.Routines(3), oss.Checkpoint(true, ""))
if err != nil {
log.Fatalf("Failed to upload file: %v", err)
}
log.Println("File uploaded successfully.")
}
常见问题
相关文档
关于断点续传上传的完整示例代码,请参见GitHub示例。
关于断点续传上传的API接口说明,请参见UploadFile