Go_对象存储

  • content {:toc}

什么是对象存储

对象存储(Object Storage)是一种用于存储和管理非结构化数据的技术和架构。与传统的文件系统或块存储相比,对象存储更适用于大规模数据的存储和访问。

在对象存储中,数据以对象(Object)的形式进行存储。一个对象通常由数据本身、唯一的标识符(称为键或对象名)和相关的元数据(Metadata)组成。对象存储将这些对象分布在一个分布式的存储集群中,并提供了可靠性、可扩展性和高性能的数据存储解决方案。

对象存储的特点和优势包括:

  1. 无限扩展性:对象存储具有无限的存储容量,并可以轻松地扩展以适应不断增长的数据需求。
  2. 高可靠性:对象存储使用冗余数据备份机制,确保数据的持久性和可靠性。数据在存储集群中的多个节点之间进行复制,即使某个节点出现故障,数据仍然可用。
  3. 高性能:对象存储采用分布式存储和并行访问的方式,实现了高速的数据读写操作。同时,对象存储提供了低延迟的访问方式,适合于需要大规模数据快速检索和访问的场景。
  4. 灵活的元数据:对象存储中的对象可以包含丰富的元数据信息,这些元数据描述了对象的属性、标签和其他相关信息。这些元数据可以用于数据分类、搜索和管理。
  5. 强大的访问控制:对象存储提供灵活的访问权限控制机制,允许对存储的对象进行细粒度的权限管理。您可以根据需要设置公开访问或私有访问,并通过身份验证机制确保数据的安全性。

对象存储被广泛应用于各种场景,如云存储、大规模数据分析、备份和恢复、内容分发等。知名的对象存储服务提供商包括亚马逊 S3、微软 Azure Blob Storage 和腾讯云对象存储(TOS)等。

存储备选海量支持单机存储 No 适合数据类型单机文件/KV No
单机数据库 No 少量(半)结构化数据 No
分布式数据库 Yes 大量(半)结构化数据 No
分布式存储 YeS 大数据计算中间结果/视频/图片等 Yes

虾仁猪心

当一口吃不成胖子时,你应该慢慢来,到最后你会发现,肚子总会比钱包先鼓起来!

业务场景:

注意从三个方面来看, 容量, 查询次数, 安全性

  • 海量容量场景: 业务持续产生大量数据,数据规模 »PB 级别,存储容量和成本压力极大

  • 海量 QPS 场景: 业务场景有高 QPS 读写请求,量级 »100K/s,并且时延要求极高,对底层存储 IOPS 压力极大

  • 高可用性场景:业务对于 SLA 要求非常高,要求避免全局性不可用事件发生,但对于一致性要求比较低

其中带来的工程挑战有:

  • 可扩展性:架构在存储容量 / 带宽吞吐 / QPS 等关键指标上,线性可扩展,能够承担业务在这些指标上的持续增长需求

  • 持久度:数据存储成功后,需要能够抵抗单机 / 单机架 / 单机房等各种类型的故障而不丢失

  • 可用性:系统不可用的时间在整体运行时间的占比需要尽可能小,系统不可用后需要具备快速恢复能力

  • 性价比:在海量存储容量的情况下,需要尽力降低单位存储成本,以降低业务的成本支出

99.999% = 服务一年只能5分钟不可用

换算成人民币 1000 字的问答所消耗的费用 2 分钱左右。

$0.002/1K tokens

通常 1000 个 Token 约等于 750 个英文单词或者 400~500 个汉字。GPT-3 每次调用允许处理的最大 Tokens 数量约为 4096。

x委都行啊, 长黄高委, 最好的是黄

级别不低 长委副省级 水文局正厅 下设处室人都很少 水文局混不上副处的属实太费了

长江委水文局, 啥都缺,就是不缺钱

事业单位

武汉

山东中医药高等专科学校 公办
山东医学高等专科学校 公办
菏泽医学专科学校 公办
山东司法警官职业学院 公办
山东商业职业技术学院 公办
临沂职业学院 公办
山东特殊教育职业学院 公办
济南护理职业学院 公办
淄博职业学院 公办
山东外贸职业学院 公办
济南幼儿师范高等专科学校 公办
莱芜职业技术学院 公办
山东职业学院 公办
潍坊护理职业学院 公办
济南职业学院 公办
济南工程职业技术学院 公办
山东畜牧兽医职业学院 公办
聊城职业技术学院 公办
山东劳动职业技术学院 公办
日照职业技术学院 公办
烟台职业学院 公办
潍坊职业学院 公办
菏泽家政职业学院 公办
山东商务职业学院 公办
山东药品食品职业学院 公办
山东城市建设职业学院 公办
威海职业学院 公办
山东科技职业学院 公办
青岛职业技术学院 公办
山东经贸职业学院 公办
山东电子职业技术学院 公办
东营职业学院 公办
济宁职业技术学院 公办
山东信息职业技术学院 公办
青岛港湾职业技术学院 公办
青岛酒店管理职业技术学院 公办
山东水利职业学院
潍坊工商职业学院 民办
枣庄职业学院
山东交通职业学院
枣庄科技职业学院
山东服装职业学院
Licensed under CC BY-NC-SA 4.0
最后更新于 Oct 13, 2024 18:49 +0800
使用 Hugo 构建
主题 StackJimmy 设计