COI:研究 | 分布式存储——千亿存储市场的蓝海大战

作者:Tony

来源:IPFS原力区

6月10日,Filecoin官方发布测试网奖励计划;6月19日,测试网重置;7月初,开启400万枚Filecoin争霸赛,全球矿工将通过储存量排名来抢夺Filecoin第一批奖励。

在瓜分价值3.44亿元的Filecoin欢腾之际,我们也需要了解去中心化、中心化存储的局势。

全球数据增长率,来源:世界经济论坛-VisualCapitalist,2019-06

随着互联网时代的快速发展,各行业逐步全面走向数字化,未来可见,处理数据的方式越来越捉襟见肘。到2020年,全世界的数据量预计达到44ZB。预计2025年,全球每天会有463EB的数据产生,相当于每天产出约2.1亿张DVD碟。

目前解决数据存储迫在眉睫,存储能否承载大数据爆发增长?是否存在更好的解决方案?

一、全球云存储市场规模:云存储需求并不满足数据增长

2020-2027全球云存储市场趋势预测,来源:DataBridge,2020-03

随着技术普及化、新冠肺炎大流行、移动远程工作和视频会议正在加速转向云端,云服务存储的便利会逐步泛民化,企业越来越多地将云存储视为高效协作的一种手段。

从2020-2027全球云存储市场趋势预测(图二)可知,预测2027年云存储市场预计将达到272.20亿美元,云存储市场复合增长率为24.41%。与全球数据增长对比,2020-2025年数据复合增长率约275%。因为数据未来会剧增,目前预测云存储规模增长远远不够满足全球用户需求,仅限于一些企业级服务。

Messari研究员:CEX BTC衍生品交易量比上一高峰时期增长922%:Messari研究员Roberto Talamas发推表示,自上一个市场周期以来,CEX加密衍生品交易量实现巨大增长,BTC衍生品在高峰时的交易量达到840亿美元,比2020年6月增长922%。[2021/4/23 20:51:02]

除此之外,目前云存储服务还存在很多中心化本身的问题:修复能力不够;服务器不稳定;数据隐私安全等。

尤其,频频信息泄露事件让用户信息无处可藏,数据隐私安全成为了云存储最迫在眉睫的困难。

近期中心化存储潜在安全隐患事例,来源:IPFS原力区,2020-06

特别是在公共云的服务器上存储,安全漏洞的可能性很高。该隐患会大大抑制了云存储的增长势头。即便大多数云提供商都提供保障,但是承诺有限的安全性。

与此同时,IPFS早期布道者胡飞瞳也就此曾发布过观点:“在中心化数据存储的世界里,用户不仅为数据存储付费,而且还得不到很好的数据保护,这一现象必须改变。通过去中心化,用户可以自己管理自己的数据,加密存储,授权访问,安全备份等等特性的实现将大大加强用户的隐私,也能增强数据的长期保存,同时,有望通过共享的模式大大降低费用。这是数据存储发展的必然方向。”

假如我们使用去中心化存储会怎么样?以下看看两者的对比。

二、中心化存储VS分去中心化存储?

中心化存储

中心化存储可以简单理解为现有的通用云存储,是一个以数据的存储和管理为核心的云计算系统。换言之,云存储就是将储存资源分享到同一处存储空间,使用者可以随时随地通过任意可连网的设备访问该空间。我们平时用的中心化存储就有icloud、百度云盘、GoogleCloud等。

动态 | Cardano基金会宣布加大对区块链安全研究的支持:Cardano基金会宣布将进一步支持非洲、美洲、亚洲和欧洲研究区块链技术的学术项目。其生态系统合作伙伴Input Output HK(IOHK)和EMURGO将支持各种旨在推动数字货币和区块链技术发展的计划。该支持将有助于促进有关整个区块链行业的安全性和脆弱性的研究。[2019/8/15]

中心化存储工作原理,来源:IPFS原力区,2020-06

去中心化存储

去中心化存储是一种通过分布式存储技术将文件或文件集分片加密存储在供应方提供的存储空间上,点对点的提供存储或接受存储的服务形式,不过度限制于某一中心存储,该供应商可以是普罗大众。其主要特性是保障数据安全性、更高效、低成本、网络更为稳定等,类似的存储项目有IPFS、Sia、Storj、Arweave等。

去中心化存储工作原理,来源:IPFS原力区,2020-06

然而,去中心化存储有何优势?

去中心化存储:数据丢失隐患?不存在的

360云盘关闭事件,来源:百度百科,2020-06

现阶段,中心化存储服务与公司经营管理挂钩,就是用户的数据能否继续存储与否取决于公司的服务周期,一旦存储公司陷入困境,用户需要更换存储服务商,这会导致用户在使用上的不便利。360云盘关闭也是当时轰动一时的公共事件,截至2016年,还存在很多用户数据无法下载回来的问题。

动态 | 厦门市政府将推动区块链等新技术在泛在电力物联网领域的研究:据厦门网6月8日消息,近日,厦门市政府与国网福建省电力有限公司签署《厦门泛在电力物联网支撑智慧城市建设战略合作协议》。未来,厦门市政府将组织相关产业单位、科研院所围绕大数据、云计算、物联网、移动互联、人工智能、区块链、5G等新技术,开展泛在电力物联网相关新产业、新业态研究,为厦门“双千亿”产业链增添发展动能。[2019/6/9]

因为去中心化存储具备区块链特质,可以弥补过度中心化缺陷。其存储网络的拓扑结构可以是P2P网络,可以是用户,也可以是存在几个联盟的中介服务商或运营商的去中心化网络,抛开了单一或寡头中心化存储服务商经营风险。

最早的NapsterP2P拓扑结构,来源:intsci.ac.cn,2020-06

去中心化存储价格优势也甚为明显,便于集群化上线后快速抢占存储市场,丰富存储生态。

未来集群化的去中心化存储企业规模落地、完善服务的多样性后,直接冲击传统云存储服务,大大降低用户存储成本。

数据不安全,何以安天下

IPFS上数据存储流程图,来源:IPFS原力区,2020-06

IPFS运作原理图,来源:coincentral.com,2018-02

星际文件系统IPFS诞生于2014年,是一个旨在创建持久且分布式存储和共享文件的网络传输协议,它是一种内容可寻址的对等超媒体分发协议。简而言之,

诺亚控股首席研究官夏春:三种人能赚到比特币的钱:诺亚控股首席研究官夏春接受《华夏时报》记者采访时表示,“我认为有三种人能赚到比特币的钱,第一种是做风投的,比特币从200多开始上涨,其实最大的推动力就是做风投的那帮人;第二种是科技控,我有个懂科技的朋友就用院系的电脑挖到了10个比特币;另一种就是懂金融史的人。”[2018/4/2]

用户通过发布订单寻找合适的存储矿工,数据加密后,并将分割后的数据发送给存储矿工存储,数据加密以及随机性的数据包存储,大大保障了数据的安全性

。用户可以将本地文件添加到IPFS文件系统,然后被自动加载到网络,使其可供全世界使用。而Filecoin是该项目的激励层,主要是为了激励IPFS网络上的数据存储而创建的,充当价值交换的媒介。

全球网络节点共护网络稳定

去中心化存储网络与HTTP网络服务性质差异有体现在长时间的存储服务,不同于HTTP网络的宕机、主网存储损坏等,因此该网络需要矿工长时间稳定工作参与挖矿维持网络的稳定,矿工不可能随时出入,同时Filecoin和Sia采用抵押机制,一旦掉线会导致矿工抵押的token被没收,这就导致家庭存储硬件在运维、安全、稳定等角度都难以达到参与挖矿或者维护网络的要求,需要专业化的存储服务商提供24小时不断网断电,集群化规模,大大提高用户的存储服务。

三、引爆去中心化存储领域,哪些明星项目未来可期?

“自由撮合”存储:Filecoin/IPFS

ProtocolLabs是一家专注于网络协议和软件系统的加州研发实验室,于2014年推出星际文件系统(IPFS),2017年IPFS团队宣布成立Filecoin。

其中,IPFS旨在挑战现有的超文本传输协议(HTTP)并支持Filecoin数据存储平台,IPFS其属于协议层;其“激励层”Filecoin项目在2017年1CO并在首次受监管的代币销售中进行,刚刚推出就筹集了2.57亿美元的创纪录高额投资,成为2017年最大的1CO。

上海票交所会同数字货币研究所 组织开展了数字票据交易平台建设:从上海票交所了解到,根据中国人民银行的安排部署,上海票据交易所会同数字货币研究所,组织中钞信用卡公司、工商银行、中国银行、浦发银行和杭州银行共同开展了基于区块链技术的数字票据交易平台建设相关工作。1月25日,数字票据交易平台实验性生产系统成功上线试运行,工商银行、中国银行、浦发银行和杭州银行在数字票据交易平台实验性生产系统顺利完成基于区块链技术的数字票据签发、承兑、贴现和转贴现业务。[2018/2/2]

Filecoin/IPFS,来源:timetocoin.com,2018-09

Filecoin该项目特点是使用存储证明协议,该协议包括复制证明和时空证明,以确保数据主机真正存储智能合约中承诺的数据量。

Filecoin的“自由撮合”:任何用户都可以基于其提供的存储容量,可以成为Filecoin的矿工,并通过其提供的有效存储来获得市场订单。根据Filecoin开发人员设置的市场价格,市场也会依据存储空间、市场订单情况等来确定价格。存储服务采购商通过Filecoin交换机上发出数据存储订单后,存储主机向采购商提供报价,服务提供商竞价投标,并以最低价格获撮合订单,创造了一个“自由撮合”市场。

Filecoin主要是改变了中心化的存储服务形式,其经济形式与亚当·斯密提出的自由经济理论相似,即是让有闲置存储空间的用户也可以为全球的存储市场贡献,让存储市场服务走向另外一个新的平衡,修正一家或者几家存储寡头独大的局面。

但该项目也存在另外一种风险:项目暂未上线以及如何配合国家金融科技监管问题。

“高性价比”存储:Sia

Sia由DavidVorick在2013年所构思的区块链项目,并于2015年推出,是最早落地的去中心化存储项目之一。

与IPFS类似,也是一个去中心化云存储的项目,其使用Twofish算法对网络中所有数据进行加密,以保障数据的存储;同时也满足小存储采购商的需求,让存储渗透到了下沉市场,满足更多小而多的存储采购商的需求;系统默认是分发给30台主机,10台主机可以恢复数据,从而消除了任何单点故障,并确保了可与中心化云存储提供商匹敌的正常运行时间。

?Sia规模,来源:sia.tech,2020-06

自筹资以来,Sia通过风险资本基金和拨款成功募资了165万美元。这些风险投资家包括ProcyonVentures、FenbushiCapital和天使投资人李笑来。2019年,Sia获得贝恩资本、柏尚投资、DragonflyCapitalPartners350万美元A轮融资。

Sia的最大优势:“高性价比”的存储。Sia的去中心化云存储成本要比现有的云存储提供商低90%。其平台上存储1TB数据每月花费2美元,谷歌的数据存储服务每月5美元/T,苹果每月22美元/T,AmazonS3上为23美元/T,远远低于主流存储市场的价格。

其不足是:其本身的PoW共识机制会导致严重的算力浪费和耗电问题,也难以公平的反映租户的存储和带宽的资源供给能力,没有足够重视数据安全问题,系统故障风险。

“强稳定”存储:Storj

Storj最初于2014年推出,是一个去中心化的基于ETH的去中心化存储系统,可以理解为基于P2P网络的BitTorrent(BT),主要面向金融应用的智能合约平台。该项目是基于以太坊的ERC20发售的Storj通证,快速在在一周内吸引到了GoogleVentures、IonicSecurity、CockroachLabs等300万美元的种子投资。

Storj,来源:p2pfoundation,2014-08

Storj的强稳定性。Storj创先把存储任务分割对应为每个奖励的Storj,保障存储网络的稳定进行,激励服务商活动有序进行。其不足是

Storj

不是公链,

依赖

以太坊网络来支付gas费用,以及处理逻辑较为单一。

四、开创者Storj、抢摊者Sia,全能者Filecoin,谁鸣天下?

开创者Storj

Storj利用文件分片打散存储数据,并通过P2P两边加密进行保护。相比Sia,

Storj更倾向于去中心化,促进互不信任的计算机

有序统一

的云存储平台

,但其本身受限于以太坊本身。

抢摊者Sia

Sia通过快速落地、高性价比的存储收费快速抢占了2PB的存储规模,成为去中心化存储份额较大的佼佼者。

?Sia,来源:reddit.com,2018-06

Sia打散加密数据后,并且复制多份分发存储在不同网络上,当用户要读取时,这些数据“重新组合”送达给用户,这块与IPFS相似。

理论上,文件碎片来源于不同存储节点,这种多条链并行使去中心化存储的速度远大于中心化存储的速度。其创先使用的抵押机制,大大保障了矿工一直在线以及网络的稳定;但是本身是PoW共识机制,本身会潜在

电力浪费及双花攻击问题。

全能者Filecoin

除了Filecoin具备了以上两者的大部优点,其提出了解决电力浪费、防止作弊的解决方案。

防止作弊。因为Filecoin的“存储矿工”实际上采用了一种称为“时空证明”“复制证明”的新共识机制。EC公式通过反复广播他们正在智能合约中存储分配给他们的数据的证据,用证据证明他们已经存储了数据。矿工需要不断以复制证明的方式和规则来证明他们在工作,防止作弊行为。

防止电力浪费。同时Filecoin在打包区块方式也有较大的创新,通过有效存储做为一种“算力”,有效存储越大,获得打包区块的概率越大,并且通过节点选举的模式选择打包节点,比起基于哈希算法的PoW的机制更高效节约,这种方式能够支撑大规律的实时奖励结算和交易结算,减少无效数据存储以及电力损耗。

五、安全存储,未来可期!

Filecoin百万Fil测试网络似乎拉响了去中心化存储VS中心化存储的号角!去中心化存储技术的逐步成熟,Storj、Sia和Filecoin等项目提出的创新解决方案,为未来战役奠定了夯实的基建。其一旦落地,可以快速弥补中心化存储市场的不足,从而惠普民生。

/End.

郑重声明: 本文版权归原作者所有, 转载文章仅为传播更多信息之目的, 如作者信息标记有误, 请第一时间联系我们修改或删除, 多谢。

链链资讯

LTCCOIN:时隔54天再更新:IPFS协议有了重要变更

去中心化文件和网络托管协议星际文件系统发布go-ipfs0.6版本。官方表示,该版本从代码角度来说是个相对小型的更新,但是包含了对IPFS协议的重要更新,包括QUIC传输默认情况下处于开启状态,

[0:31ms0-3:50ms