通过Cloud Shell可以快速下载较大数量的日志文件,并快速上传至OSS。本文介绍使用Cloud Shell下载日志数据。
前提条件
如果您使用RAM用户下载日志,则需要先给RAM用户授予以下权限:
只读访问日志服务的权限(AliyunLogReadOnlyAccess)。具体操作,请参见创建RAM用户及授权。
使用Cloud Shell的权限。具体操作,请参见授予RAM用户使用Cloud Shell权限。
操作步骤
登录日志服务控制台。
在Project列表区域,单击目标Project。
在控制台左侧,单击日志存储,在日志库列表中单击目标Logstore。
在查询和分析框中,输入查询语句,选择时间范围,单击查找/分析。
查询到日志后,可以使用CloudShell下载日志,并保存至OSS。您就可以获取批量日志。
在页面右上角,单击图标。
按照界面向导,完成验证。
如果您需要持久化保存常用脚本和文件,在挂载存储空间对话框,单击创建并绑定。
关联并挂载一个NAS文件系统可以持久化存储您的常用脚本和文件,否则您的文件会随NAS文件系统释放而销毁。Cloud Shell会为您创建性能型按量付费的NAS文件系统,这可能会产生少量的NAS使用费用。费用详情,请参见通用型NAS计费。
说明第一次连接云命令行时,Cloud Shell会为您自动创建虚拟机,会消耗最长不超过30秒时间。打开多个云命令行窗口时,所有窗口都会连接到同一台虚拟机。虚拟机数量不会因您打开新的命令行窗口而增加。
目前Cloud Shell位于上海地域,如果当前Logstore不在上海地域,下载日志会产生一定的公网流量费用。价格详情请参见产品定价。
启动成功后,出现云命令行运行窗口。
Welcome to Alibaba Cloud Shell! Type "help" to learn about Cloud Shell Type "aliyun" to use Alibaba Cloud CLI You may be interested in these tutorials below. --------------------------- | --------------------------- SLS 日志下载 | cloudshell://tutorial/sls-download-log 使用 Aliyun CLI 来管理云资源 | cloudshell://tutorial/aliyun-cli For more tutorials, visit https://api.aliyun.com/#/lab shell@Alicloud:~$
执行get_log_all命令下载日志到CloudShell的download_data.txt文件。
aliyunlog log get_log_all --project="aliyun-test-project" --logstore="aliyun-test-logstore" --from_time="2024-07-01 00:00:00+8:00" --to_time="2024-07-02 15:40:00+8:00" --query="your sql" --format-output=json >>download_data.txt
关于get_log_all命令的使用方法,请参见get_log_all。
将下载的日志数据上传到OSS,然后进行下载。请参考以下操作。
查看当前可以操作的OSS Bucket列表,以便确认OSS保存路径。
aliyun oss ls
执行完成后,返回可以操作的OSS Bucket列表。
CreationTime Region StorageClass BucketName 2021-09-24 02:03:08 +0000 UTC oss-cn-beijing Standard oss://fyytset 2021-09-26 03:27:10 +0000 UTC oss-cn-hangzhou Standard oss://demo Bucket Number is: 2
执行
ll
找到下载的日志文件。download_data.txt
即为下载的日志文件。执行以下命令将日志文件上传至您的OSS,用于后续下载。
aliyun oss cp download_data.txt oss://demo --region cn-hangzhou
返回如下信息表示上传成功。
Succeed: Total num: 1, size: 3,198,090. OK num: 1(upload 1 files). average speed 12792000(byte/s) 0.250823(s) elapsed
登录对象存储控制台,下载download_data.txt日志文件。
至此,您已经通过CloudShell下载批量日志,操作完成。