断点续传技术在对象存储服务(OBS)中发挥着重要作用,特别是在上传大文件或网络不稳定的情况下,该技术允许上传过程中出现中断时,从断点处继续上传而不是重新开始,大大提高了上传效率和成功率。
1. 断点续传上传的基本原理
断点续传上传的基本思路是将大文件分割成多个小块,分别上传这些块,在上传过程中,每个块的上传结果将实时记录在一个名为checkpoint的文件中,只有所有块都成功上传后,整个文件的上传操作才被标记为成功,如果某些块失败,用户可以根据checkpoint文件中的记录,仅重新上传失败的块,而不是整个文件。
2. 断点续传上传的主要参数
使用断点续传上传功能时,主要涉及以下几个关键参数:
字段名 | 类型 | 约束 | 说明 |
option | 请求桶的上下文,配置option | 必选 | 桶参数 |
key | char | 必选 | 对象名 |
upload_file_config | obs_upload_file_configuration | 必选 | 上传文件的配置说明 |
encryption_params | server_side_encryption_params | 可选 | 上传对象加密设置 |
handler | obs_upload_file_response_handler | 必选 | 回调结构体,包含回调函数的指针 |
callback_data | void | 可选 | 回调数据 |
具体到obs_upload_file_configuration
的结构描述如下:
成员名 | 类型 | 约束 | 说明 |
upload_file | char | 必选 | 待上传的本地文件 |
part_size | uint64_t | 必选 | 分段大小,单位字节,取值范围是100KB~5GB,默认为5MB |
check_point_file | char | 必选 | 记录上传进度的文件,只在断点续传模式下有效 |
enable_check_point | int | 必选 | 是否开启断点续传模式,默认为0,表示不开启 |
task_num | int | 必选 | 分段上传时的最大并发数,默认为1 |
3. 示例代码和应用流程
以下是一个简单的断点续传上传接口的使用示例:
void uploadFileResultCallback(obs_status status, char *resultMsg, int partCountReturn, obs_upload_file_part_info *uploadInfoList, void *callbackData); //回调函数声明 static void test_upload_file() { obs_status ret_status = OBS_STATUS_BUTT; //创建并初始化option obs_options option; init_obs_options(&option); option.bucket_options.host_name = "<yourendpoint>"; option.bucket_options.bucket_name = "<Your bucketname>"; //认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全;本示例以ak和sk保存在环境变量中为例,运行本示例前请先在本地环境中设置环境变量ACCESS_KEY_ID和SECRET_ACCESS_KEY。 option.bucket_options.access_key = getenv("ACCESS_KEY_ID"); option.bucket_options.secret_access_key = getenv("SECRET_ACCESS_KEY"); //初始化结构体put_properties obs_put_properties put_properties; init_put_properties(&put_properties); obs_upload_file_configuration uploadFileInfo; memset_s(&uploadFileInfo,sizeof(obs_upload_file_configuration),0,sizeof(obs_upload_file_configuration)); uploadFileInfo.check_point_file = 0; uploadFileInfo.enable_check_point = 1; uploadFileInfo.part_size = "<part size>"; uploadFileInfo.task_num = "<task num>"; uploadFileInfo.upload_file = "<upload filename>"; uploadFileInfo.put_properties = &put_properties; //回调函数 obs_upload_file_response_handler Handler = { {&response_properties_callback, &response_complete_callback_for_multi_task}, &uploadFileResultCallback }; initialize_break_point_lock(); upload_file(&option, "<Your Key>", 0, &uploadFileInfo, Null, &Handler, &ret_status); }
此代码首先初始化上传所需的各种参数,如上传文件路径、分段大小、是否启用断点续传等,然后定义了一个回调函数uploadFileResultCallback
用于处理上传结果,最后通过调用upload_file
方法开始上传过程。
4. 相关问题与解答
问题1: 如何确保断点续传上传的安全问题?
答案: 为了确保安全性,认证用的AK和SK不应硬编码到代码中或明文存储,建议将这些信息放在配置文件或环境变量中,并使用时进行解密,应正确设置文件权限,避免未授权访问敏感信息。
问题2: 如果上传过程中本地文件发生了变化怎么办?
答案: 如果上传过程中本地文件内容发生变化,断点续传机制会认为文件已更改,因此会重新开始上传所有分片,为避免这种情况,应确保在上传过程中不修改正在上传的本地文件,如果需要更改文件,最好等到上传完成后再进行修改。
原创文章,作者:K-seo,如若转载,请注明出处:https://www.kdun.cn/ask/558271.html