对象存储 OSS：Python使用签名URL上传

1. 获取简单上传的签名URL：

   # -*- coding: utf-8 -*-
   import oss2
   from oss2.credentials import EnvironmentVariableCredentialsProvider
   
   # 从环境变量中获取访问凭证。运行本代码示例之前，请确保已设置环境变量OSS_ACCESS_KEY_ID和OSS_ACCESS_KEY_SECRET。
   auth = oss2.ProviderAuthV4(EnvironmentVariableCredentialsProvider())
   
   # 填写Bucket所在地域对应的Endpoint。以华东1（杭州）为例，Endpoint填写为https://oss-cn-hangzhou.aliyuncs.com。
   endpoint = "https://oss-cn-hangzhou.aliyuncs.com"
   
   # 填写Endpoint对应的Region信息，例如cn-hangzhou。注意，v4签名下，必须填写该参数
   region = "cn-hangzhou"
   
   # yourBucketName填写存储空间名称。
   bucket = oss2.Bucket(auth, endpoint, "yourBucketName", region=region)
   
   # 填写Object完整路径，例如exampledir/exampleobject.txt。Object完整路径中不能包含Bucket名称。
   object_name = 'exampledir/exampleobject.txt'
   
   # 指定Header。
   headers = dict()
   # 指定Content-Type。
   headers['Content-Type'] = 'text/plain'
   # 指定存储类型。
   headers["x-oss-storage-class"] = "Standard"
   
   # 指定元数据
   metadata = {'key1': 'value1', 'key2': 'value2'}
   # 更新headers，添加元数据前缀
   for key, value in metadata.items():
       headers[f'x-oss-meta-{key}'] = value
   
   # 生成上传文件的签名URL，有效时间为60秒。
   # 生成签名URL时，OSS默认会对Object完整路径中的正斜线（/）进行转义，从而导致生成的签名URL无法直接使用。
   # 设置slash_safe为True，OSS不会对Object完整路径中的正斜线（/）进行转义，此时生成的签名URL可以直接使用。
   url = bucket.sign_url('PUT', object_name, 60, slash_safe=True, headers=headers)
   print('签名URL的地址为：', url)

2. 使用获取的URL简单上传文件：

   Java

   import org.apache.http.HttpEntity;
   import org.apache.http.client.methods.CloseableHttpResponse;
   import org.apache.http.client.methods.HttpPut;
   import org.apache.http.entity.FileEntity;
   import org.apache.http.impl.client.CloseableHttpClient;
   import org.apache.http.impl.client.HttpClients;
   import java.io.*;
   import java.net.URL;
   import java.util.*;
   
   public class SignUrlUpload {
       public static void main(String[] args) throws Throwable {
           CloseableHttpClient httpClient = null;
           CloseableHttpResponse response = null;
   
           // 将<signedUrl>替换为授权URL。
           URL signedUrl = new URL("<signedUrl>");
   
           // 填写本地文件的完整路径。如果未指定本地路径，则默认从示例程序所属项目对应本地路径中上传文件。
           String pathName = "C:\\Users\\demo.txt";
   
           // 设置请求头，这里的请求头信息需要与生成URL时的信息一致。
           Map<String, String> headers = new HashMap<String, String>();
           /*// 指定Object的存储类型。
           headers.put(OSSHeaders.STORAGE_CLASS, StorageClass.Standard.toString());
           // 指定ContentType。
           headers.put(OSSHeaders.CONTENT_TYPE, "text/txt");*/
   
           // 设置用户自定义元数据，这里的用户自定义元数据需要与生成URL时的信息一致。
           Map<String, String> userMetadata = new HashMap<String, String>();
           /*userMetadata.put("key1","value1");
           userMetadata.put("key2","value2");*/
   
           try {
               HttpPut put = new HttpPut(signedUrl.toString());
               System.out.println(put);
               HttpEntity entity = new FileEntity(new File(pathName));
               put.setEntity(entity);
               // 如果生成签名URL时设置了header参数，例如用户元数据，存储类型等，则调用签名URL上传文件时，也需要将这些参数发送至服务端。如果签名和发送至服务端的不一致，会报签名错误。
               for(Map.Entry header: headers.entrySet()){
                   put.addHeader(header.getKey().toString(),header.getValue().toString());
               }
               for(Map.Entry meta: userMetadata.entrySet()){
                   // 如果使用userMeta，sdk内部会为userMeta拼接"x-oss-meta-"前缀。当您使用其他方式生成签名URL进行上传时，userMeta也需要拼接"x-oss-meta-"前缀。
                   put.addHeader("x-oss-meta-"+meta.getKey().toString(), meta.getValue().toString());
               }
   
               httpClient = HttpClients.createDefault();
   
               response = httpClient.execute(put);
   
               System.out.println("返回上传状态码："+response.getStatusLine().getStatusCode());
               if(response.getStatusLine().getStatusCode() == 200){
                   System.out.println("使用网络库上传成功");
               }
               System.out.println(response.toString());
           } catch (Exception e){
               e.printStackTrace();
           } finally {
               response.close();
               httpClient.close();
           }
       }
   }       

   Python

   import requests
   from requests.auth import HTTPBasicAuth
   import os
   
   def upload_file(signed_url, file_path, headers=None, metadata=None):
       """
       使用预签名的URL上传文件到OSS。
   
       :param signed_url: 预签名的URL。
       :param file_path: 要上传的文件的完整路径。
       :param headers: 可选，自定义HTTP头部。
       :param metadata: 可选，自定义元数据。
       :return: None
       """
       if not headers:
           headers = {}
       if not metadata:
           metadata = {}
   
       # 更新headers，添加元数据前缀
       for key, value in metadata.items():
           headers[f'x-oss-meta-{key}'] = value
   
       try:
           with open(file_path, 'rb') as file:
               response = requests.put(signed_url, data=file, headers=headers)
               print(f"返回上传状态码：{response.status_code}")
               if response.status_code == 200:
                   print("使用网络库上传成功")
               else:
                   print("上传失败")
               print(response.text)
       except Exception as e:
           print(f"发生错误：{e}")
   
   if __name__ == "__main__":
       # 将<signedUrl>替换为授权URL。
       signed_url = "<signedUrl>"
      
       # 填写本地文件的完整路径。如果未指定本地路径，则默认从脚本所在目录中上传文件。
       file_path = "C:\\Users\\demo.txt"
   
       # 设置请求头，这里的请求头信息需要与生成URL时的信息一致。
       headers = {
            "Content-Type": "text/txt",
            "x-oss-storage-class": "Standard"
       }
   
       # 设置用户自定义元数据，这里的用户自定义元数据需要与生成URL时的信息一致。
       metadata = {
            "key1": "value1",
            "key2": "value2"
       }
   
       upload_file(signed_url, file_path, headers, metadata)
   

   Android-Java

   import android.os.AsyncTask;
   import android.util.Log;
   
   import java.io.DataOutputStream;
   import java.io.File;
   import java.io.FileInputStream;
   import java.io.IOException;
   import java.io.InputStream;
   import java.net.HttpURLConnection;
   import java.net.URL;
   import java.util.HashMap;
   import java.util.Map;
   import java.util.Map.Entry;
   
   public class SignUrlUploadActivity extends AppCompatActivity {
   
       private static final String TAG = "SignUrlUploadActivity";
   
       @Override
       protected void onCreate(Bundle savedInstanceState) {
           super.onCreate(savedInstanceState);
           setContentView(R.layout.activity_main);
   
           // 将<signedUrl>替换为授权URL。
           String signedUrl = "<signedUrl>";
   
           // 填写本地文件的完整路径。如果未指定本地路径，则默认从示例程序所属项目对应本地路径中上传文件。
           String pathName = "/storage/emulated/0/demo.txt";
   
           // 设置请求头，这里的请求头信息需要与生成URL时的信息一致。
           Map<String, String> headers = new HashMap<>();
           // headers.put("Content-Type", "text/txt");
           // headers.put("x-oss-storage-class", "Standard");
   
           // 设置用户自定义元数据，这里的用户自定义元数据需要与生成URL时的信息一致。
           Map<String, String> userMetadata = new HashMap<>();
           // userMetadata.put("key1", "value1");
           // userMetadata.put("key2", "value2");
   
           new UploadTask().execute(signedUrl, pathName, headers, userMetadata);
       }
   
       private class UploadTask extends AsyncTask<Object, Void, Integer> {
           @Override
           protected Integer doInBackground(Object... params) {
               String signedUrl = (String) params[0];
               String pathName = (String) params[1];
               Map<String, String> headers = (Map<String, String>) params[2];
               Map<String, String> userMetadata = (Map<String, String>) params[3];
   
               try {
                   URL url = new URL(signedUrl);
                   HttpURLConnection connection = (HttpURLConnection) url.openConnection();
                   connection.setRequestMethod("PUT");
                   connection.setDoOutput(true);
                   connection.setUseCaches(false);
   
                   // 设置请求头
                   for (Entry<String, String> header : headers.entrySet()) {
                       connection.setRequestProperty(header.getKey(), header.getValue());
                   }
   
                   // 设置用户自定义元数据
                   for (Entry<String, String> meta : userMetadata.entrySet()) {
                       connection.setRequestProperty("x-oss-meta-" + meta.getKey(), meta.getValue());
                   }
   
                   // 读取文件
                   File file = new File(pathName);
                   FileInputStream fileInputStream = new FileInputStream(file);
                   DataOutputStream dos = new DataOutputStream(connection.getOutputStream());
   
                   byte[] buffer = new byte[1024];
                   int count;
                   while ((count = fileInputStream.read(buffer)) != -1) {
                       dos.write(buffer, 0, count);
                   }
   
                   fileInputStream.close();
                   dos.flush();
                   dos.close();
   
                   // 获取响应
                   int responseCode = connection.getResponseCode();
                   Log.d(TAG, "返回上传状态码：" + responseCode);
                   if (responseCode == 200) {
                       Log.d(TAG, "使用网络库上传成功");
                   } else {
                       Log.d(TAG, "上传失败");
                   }
   
                   InputStream is = connection.getInputStream();
                   byte[] responseBuffer = new byte[1024];
                   StringBuilder responseStringBuilder = new StringBuilder();
                   while ((count = is.read(responseBuffer)) != -1) {
                       responseStringBuilder.append(new String(responseBuffer, 0, count));
                   }
                   Log.d(TAG, responseStringBuilder.toString());
   
                   return responseCode;
               } catch (IOException e) {
                   e.printStackTrace();
                   return -1;
               }
           }
   
           @Override
           protected void onPostExecute(Integer result) {
               super.onPostExecute(result);
               if (result == 200) {
                   Toast.makeText(SignUrlUploadActivity.this, "上传成功", Toast.LENGTH_SHORT).show();
               } else {
                   Toast.makeText(SignUrlUploadActivity.this, "上传失败", Toast.LENGTH_SHORT).show();
               }
           }
       }
   }
   

   Go

   package main
   
   import (
   	"bytes"
   	"fmt"
   	"io/ioutil"
   	"net/http"
   	"os"
   )
   
   func uploadFile(signedUrl string, filePath string, headers map[string]string, metadata map[string]string) error {
   	// 打开文件
   	file, err := os.Open(filePath)
   	if err != nil {
   		return err
   	}
   	defer file.Close()
   
   	// 读取文件内容
   	fileBytes, err := ioutil.ReadAll(file)
   	if err != nil {
   		return err
   	}
   
   	// 创建请求
   	req, err := http.NewRequest("PUT", signedUrl, bytes.NewBuffer(fileBytes))
   	if err != nil {
   		return err
   	}
   
   	// 设置请求头
   	for key, value := range headers {
   		req.Header.Set(key, value)
   	}
   
   	// 设置用户自定义元数据
   	for key, value := range metadata {
   		req.Header.Set(fmt.Sprintf("x-oss-meta-%s", key), value)
   	}
   
   	// 发送请求
   	client := &http.Client{}
   	resp, err := client.Do(req)
   	if err != nil {
   		return err
   	}
   	defer resp.Body.Close()
   
   	// 处理响应
   	fmt.Printf("返回上传状态码：%d\n", resp.StatusCode)
   	if resp.StatusCode == 200 {
   		fmt.Println("使用网络库上传成功")
   	} else {
   		fmt.Println("上传失败")
   	}
   	body, _ := ioutil.ReadAll(resp.Body)
   	fmt.Println(string(body))
   
   	return nil
   }
   
   func main() {
   	// 将<signedUrl>替换为授权URL。
   	signedUrl := "<signedUrl>"
   
   	// 填写本地文件的完整路径。如果未指定本地路径，则默认从示例程序所属项目对应本地路径中上传文件。
   	filePath := "C:\\Users\\demo.txt"
   
   	// 设置请求头，这里的请求头信息需要与生成URL时的信息一致。
   	headers := map[string]string{
   		// "Content-Type": "text/txt",
   		// "x-oss-storage-class": "Standard",
   	}
   
   	// 设置用户自定义元数据，这里的用户自定义元数据需要与生成URL时的信息一致。
   	metadata := map[string]string{
   		// "key1": "value1",
   		// "key2": "value2",
   	}
   
   	err := uploadFile(signedUrl, filePath, headers, metadata)
   	if err != nil {
   		fmt.Printf("发生错误：%v\n", err)
   	}
   }
   

   JavaScript

   const fs = require('fs');
   const axios = require('axios');
   
   async function uploadFile(signedUrl, filePath, headers = {}, metadata = {}) {
       try {
           // 更新headers，添加元数据前缀
           for (const [key, value] of Object.entries(metadata)) {
               headers[`x-oss-meta-${key}`] = value;
           }
   
           // 读取文件流
           const fileStream = fs.createReadStream(filePath);
   
           // 发送PUT请求
           const response = await axios.put(signedUrl, fileStream, {
               headers: headers
           });
   
           console.log(`返回上传状态码：${response.status}`);
           if (response.status === 200) {
               console.log("使用网络库上传成功");
           } else {
               console.log("上传失败");
           }
           console.log(response.data);
       } catch (error) {
           console.error(`发生错误：${error.message}`);
       }
   }
   
   // 主函数
   (async () => {
       // 将<signedUrl>替换为授权URL。
       const signedUrl = "<signedUrl>";
   
       // 填写本地文件的完整路径。如果未指定本地路径，则默认从脚本所在目录中上传文件。
       const filePath = "C:\\Users\\demo.txt";
   
       // 设置请求头，这里的请求头信息需要与生成URL时的信息一致。
       const headers = {
           // "Content-Type": "text/txt",
           // "x-oss-storage-class": "Standard"
       };
   
       // 设置用户自定义元数据，这里的用户自定义元数据需要与生成URL时的信息一致。
       const metadata = {
           // "key1": "value1",
           // "key2": "value2"
       };
   
       await uploadFile(signedUrl, filePath, headers, metadata);
   })();
   

   C++

   #include <iostream>
   #include <fstream>
   #include <curl/curl.h>
   #include <map>
   #include <string>
   
   // 回调函数，用于处理HTTP响应
   size_t WriteCallback(void* contents, size_t size, size_t nmemb, std::string* output) {
       size_t totalSize = size * nmemb;
       output->append((char*)contents, totalSize);
       return totalSize;
   }
   
   void uploadFile(const std::string& signedUrl, const std::string& filePath, const std::map<std::string, std::string>& headers, const std::map<std::string, std::string>& metadata) {
       CURL* curl;
       CURLcode res;
       std::string readBuffer;
   
       curl_global_init(CURL_GLOBAL_DEFAULT);
       curl = curl_easy_init();
   
       if (curl) {
           // 设置URL
           curl_easy_setopt(curl, CURLOPT_URL, signedUrl.c_str());
   
           // 设置请求方法为PUT
           curl_easy_setopt(curl, CURLOPT_UPLOAD, 1L);
   
           // 打开文件
           FILE* file = fopen(filePath.c_str(), "rb");
           if (!file) {
               std::cerr << "无法打开文件: " << filePath << std::endl;
               return;
           }
   
           // 设置文件大小
           fseek(file, 0, SEEK_END);
           long fileSize = ftell(file);
           rewind(file);
   
           // 设置文件读取回调
           curl_easy_setopt(curl, CURLOPT_READDATA, file);
           curl_easy_setopt(curl, CURLOPT_INFILESIZE_LARGE, (curl_off_t)fileSize);
   
           // 设置请求头
           struct curl_slist* chunk = nullptr;
           for (const auto& header : headers) {
               std::string headerStr = header.first + ": " + header.second;
               chunk = curl_slist_append(chunk, headerStr.c_str());
           }
           for (const auto& meta : metadata) {
               std::string metaStr = "x-oss-meta-" + meta.first + ": " + meta.second;
               chunk = curl_slist_append(chunk, metaStr.c_str());
           }
           curl_easy_setopt(curl, CURLOPT_HTTPHEADER, chunk);
   
           // 设置响应处理回调
           curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, WriteCallback);
           curl_easy_setopt(curl, CURLOPT_WRITEDATA, &readBuffer);
   
           // 执行请求
           res = curl_easy_perform(curl);
   
           // 检查响应
           if (res != CURLE_OK) {
               std::cerr << "curl_easy_perform() failed: " << curl_easy_strerror(res) << std::endl;
           } else {
               long responseCode;
               curl_easy_getinfo(curl, CURLINFO_RESPONSE_CODE, &responseCode);
               std::cout << "返回上传状态码: " << responseCode << std::endl;
               if (responseCode == 200) {
                   std::cout << "使用网络库上传成功" << std::endl;
               } else {
                   std::cout << "上传失败" << std::endl;
               }
               std::cout << readBuffer << std::endl;
           }
   
           // 清理
           fclose(file);
           curl_slist_free_all(chunk);
           curl_easy_cleanup(curl);
       }
   
       curl_global_cleanup();
   }
   
   int main() {
       // 将<signedUrl>替换为授权URL。
       std::string signedUrl = "<signedUrl>";
   
       // 填写本地文件的完整路径。如果未指定本地路径，则默认从示例程序所属项目对应本地路径中上传文件。
       std::string filePath = "C:\\Users\\demo.txt";
   
       // 设置请求头，这里的请求头信息需要与生成URL时的信息一致。
       std::map<std::string, std::string> headers = {
           // {"Content-Type", "text/txt"},
           // {"x-oss-storage-class", "Standard"}
       };
   
       // 设置用户自定义元数据，这里的用户自定义元数据需要与生成URL时的信息一致。
       std::map<std::string, std::string> metadata = {
           // {"key1", "value1"},
           // {"key2", "value2"}
       };
   
       uploadFile(signedUrl, filePath, headers, metadata);
   
       return 0;
   }
   

   curl

   curl -X PUT \
        -H "Content-Type: text/txt" \
        -H "x-oss-meta-key1: value1" \
        -H "x-oss-meta-key2: value2" \
        -T "C:\\Users\\demo.txt" \
        "https://exampleobject.oss-cn-hangzhou.aliyuncs.com/exampleobject.txt?x-oss-date=20241112T083238Z&x-oss-expires=3599&x-oss-signature-version=OSS4-HMAC-SHA256&x-oss-credential=LTAI5************%2F20241112%2Fcn-hangzhou%2Foss%2Faliyun_v4_request&x-oss-signature=ed5a939feb8d79a389572719f7e2939939936d0**********"
   

上传时不会失败。

上传时使用的是预签名地址，该url只要是在有效期里（取token的有效期和预签名有效期最小值），都可以使用。

不需要配置。

请求头和自定义元数据为非必要参数，如果不设置请求头和自定义元数据可以将示例中相关代码去掉。