如何长时间保存重要数据?
前言
说个段子,创造一个物种,把重要数据刻在DNA底层,数亿年后,只要这个物种还没灭绝,随便找一些读一下DNA,还原数据。
显然DNA存储目前没法有效实施,需求和科技水平还不平衡。那么问题来了,有什么可行的能较长时间的保存重要数据?
热存储
现在言归正传,说点实际的,首先是喜闻乐见的热储存,比如NAS。热存储力推RAID,双盘推荐RAID1,多盘推荐RAID5及更高级别。不管是啥模式,力推CMR垂直机械硬盘。
为啥不推荐裸盘直存?硬盘这种东西,里面的盘片在高速旋转,磁头悬浮在盘片上方微米级别读写数据,避免不了的外部抖动会使磁头划到盘片引发坏道(我经历了三次,下面细说),另外盘片不断旋转,磁头不断摆动,都是基于轴承,早晚有一天会磨损抖动,这也是问题。
大概是2023年开始,我使用Windows存储池组建了奇偶校验存储池,用了4块硬盘(12TB x 2 + 4TB x 2),按照RAID5的(4 - 1) x 4 x 0.9 =10.8TB,我实际能存储的有效数据大约是10TB。储存的大多数是手机照片、视频、电影电视剧。所以底层是Windows提供的存储池,应用层是Windows资源管理器和nascabOS提供的媒体管理。目前能扛住损坏一块硬盘。

但是Windows存储池不是理想的设备,因为从23年到现在已经陆陆续续坏过三次硬盘了:
- 24年第一次坏硬盘,是一块驱动器丢失,另一块警告,我火速关机,先替换掉驱动器的硬盘,数据创建后,我再火速换掉警告的硬盘,数据回归正常。原因是高温(超过50℃+风扇老化振动)。
- 25年第二次坏硬盘,有一块硬盘突然丢失,赶紧找商家售后换了新硬盘替换,数据恢复。同时意识到是风扇有问题,赶紧换了风扇,同时换了sata数据线和供电线。
- 26年第三次坏硬盘,是在备份照片时提示路径不可用,进主机一看,是一块硬盘因为IO错误&媒体错误先被Windows停用,自动重建期间另一块硬盘丢失驱动器,存储池直接下线。当时就蒙了,先用DiskGenius赶紧找回存储池丢失的文件导到多个大容量移动硬盘里。然后关机拔插两个异常硬盘的数据线和供电线,一开机,丢失的盘就回来了,数据原地恢复,查看smart,所有四块硬盘都是健康,可用备份扇区计数、坏道计数、错误率计数、待转移计数都是OK的。
关于第三次也就是26年出现的储存故障,我在关机拔插线缆后,开机盘回来,数据恢复,这说明原因还是接触不良,故障依旧是机箱风扇,因为开机时注意到机箱风扇嘎吱嘎吱抖动异响,于是赶紧又换了新风扇,同时加了橡胶垫和垫片,增加了机箱到风扇,风扇到风扇防护罩的距离。
关于第三次储存故障后续,丟驱动器的盘回来了,所以数据回来了,但是仍有一块盘被停用且不允许启用,因为这块盘是最先被系统停用的,里面是旧的校验数据,同时被标记了tired。解决办法就是大量转移存储池内容到外部移动硬盘,降低被停用盘的数据占用率,然后系统才会允许删除这块硬盘。我在删除这块被停用的盘后,用DiskGenius扫描了一晚上坏道,确认均OK才敢将其拉回存储池。
这说明RAID5、RAID6这些还是有一定数据维持能力的。比起硬盘损坏,很担心风扇问题、电源问题、线缆接触问题。NAS这种长时间运行的东西,风扇要重点关注,它坑了我三次了。电源方面首先主机电源要给力,其次要配UPS。线缆则选镀金的可靠的。
机械硬盘选啥,为了数据安全,必须排斥SMR叠瓦盘,必须选CMR垂直盘。
硬盘的磁道类似同心圆。垂直盘就是一个一个的磁道是互不重叠的同心圆,同心圆之间还有间隙;
而叠瓦盘就很抽象,为了储存更多数据,磁道之间会存在重叠,每次修改一个地方,都要依托SRAM缓存机制把所有磁道的数据读写一遍,寿命大打折扣;此外缓存写回途中意外断电,那将损失所有数据。
还有是否推荐用固态硬盘组RAID?极不推荐,普通固态硬盘字节跳动的概率比机械硬盘高太多了,非常不适合RAID这种分布式校验存储的场景。那是不是固态硬盘一定就不合适热存储?不是,也有合适的固态硬盘适合热储存,就是价格要起飞,后面会细说这方面。
冷存储
上面说的是RAID模式,它的确是民用的比较好的热数据储存,就是要注意一些上面说的细节问题。除了热储存,还有冷储存。如果说热储存尽量不要用固态硬盘,冷储存这是直接避雷固态硬盘。
对于用来冷存储的机械硬盘,还是力推CMR垂直盘,平时只要不摔不砸,也不会有啥问题,放个10年也没问题。我有块我叔叔送我的2008年的160GB的3.5寸机械硬盘,现在还好好的。
为啥不推荐将固态硬盘用于冷存储?想必看到这的人多多少少听过固态硬盘掉电丟数据的事情了吧?那么固态硬盘,掉电能维持多久数据,这个我来说说,仅供参考:
- 首先是说一下储存模式,按照每个储存单元存放多少bit,分为SLC(1bit/uint)、MLC(2bit/uint)、TLC(3bit/uint)、QLC(4bit/uint)。要明白固态硬盘类似电容,长时间掉电存放,电荷会在材料中游走,表现为字节跳动,那数据就坏了。而每个单元储存密度越大,字节跳动的概率越大,所以冷储存最久的是SLC,最垃圾的是QLC。
- 现在再说存储时间,SLC冷存储是10到20年,基本等同于磁带和DVD了,但是缺点就是价格极贵,一般用于企业,不差钱的老铁首选(要是能送我一个更好了QWQ);MLC冷存储是5到10年,冷储存寿命等同于机械硬盘,但是吧,这玩意还是贵,也大多应用于企业;然后就是TLC,这玩意冷存储1年左右,别看他很垃圾,但是咱能买到的大多数高端SSD就是TLC,价格也相对友好,此外很多人非常相信的手机也是基于TLC存储(所以即使是手机,没事也得拿出来把玩一下);然后就是最垃圾的QLC了,冷存储寿命只有几个月,价格也很便宜,大多数未透露储存介质的硬盘就是用的这玩意,啥牌子不能说,好多人都用过,这就是很多人电脑几个月不开机,引导坏了蓝屏的原因。
所以如果是土豪,冷存储选SLC,是可以比拟CMR垂直盘的,可是大多数人不是土豪。
那么会想到MLC,可是这玩意是早期企业用的,且存在产量越来越少的情况,很多硬盘企业倾向于用TLC和廉价的QLC。这就导致个人能买到的MLC大概率是库存或者企业淘汰,一句话MLC不好买到。
那么大多数人只能老老实实买TLC,同时避雷QLC了,冷存储就只有1年左右,然后这玩意还比机械硬盘贵。这就是为啥冷存储力推CMR机械硬盘,不推荐固态硬盘了,因为靠谱的固态贵的起飞啊。
实际可行的储存策略
运行的机械硬盘怕振动,冷存储的机械硬盘怕摔,固态硬盘价格和品质又难以平衡,有没有啥长时间保存重要数据的好方法呢?
首先是CMR机械硬盘你肯定得有,这是基础,它作为主备份。(热备份用RAID,冷备份注意防摔)。
然后淘二手的企业退役MLC,重要数据再备份一遍,这玩意容易搞到二手。
然后就是最牛的SLC,为啥现在才说SLC,因为它超级贵,不好淘到,即使买到容量也不会很理想,重要数据删减删减再备份一遍。
然后TLC,就当最不靠谱的备份介质,不建议冷备份,建议长时间通电,比如放到主机里。这玩意优点就是容易买到,价格相对便宜,容量也很大很大。
至于QLC,避雷,必须避雷,不能用。
关于SD卡和U盘
关于SD卡和U盘,大多数卖的产品是基于TLC或者QLC,避雷QLC。
然后U盘又存在DIY系列,这种情况推荐搞SLC颗粒自己DIY,这就一步到位了,很靠谱。缺点嘛,还是一个字,贵,一片SLC颗粒可能能买一块同容量的TLC固态产品。而且还存在买到假SLC颗粒的风险...
小众储存
有没有存储非常非常久的耐摔的存储器?有,十个工科生有8个接触过,它就是EEPROM和NOR Flash,冷存储10到20年很容易,但是容量最大是MB级别,而且不方便日常使用。
种子储存法
好久好久之前看过一部电影《寻梦环游记》,描述的是真正的死亡是没有活人记着自己。那么可以换个思路,把自己的重要数据加密后以某种喜闻乐见的方式公开,比如种子。只要有人在下载,在share,你随时可以通过种子下载回你的重要数据。我称之为种子存储法。
这就涉及三个问题,1)热门性;2)数据加密;3)数据伪装。
- 关于热门性,这是基础,找那种下载量常年位于种子热门版的资源,它经久不衰,有人下了又删,删了又下。你可以把它下载过来,然后把自己的重要数据加密后经过伪装塞回这些个媒体文件,再改为xxx无损整合版并做种发布,很快,这玩意会打入榜首,满足了热门性。
- 关于数据加密,使用热门压缩软件,压缩成加密压缩包,那个密码,一定是自己常用也忘不了的。
- 关于数据伪装,不知道有没有人见过小黄鸭图片。你在电脑上双击打开就是小黄鸭图片,但是右键以压缩包打开,那就是一些视频和3D游戏,还是可玩的那种。这玩意特征就是这个图片不会很小,本质是把视频和游戏塞进压缩包,再把这个压缩包伪装成图片。所以咱也可以这样,把之前数据加密后的压缩包拆分成多个小压缩包,每个小压缩包大小大概就100MB的样子,这很接近那些高清大图的大小,然后把这些个小压缩包塞进图片数据帧尾部。这样别人下载了种子,打开就是高清大图,右键以压缩包查看只是个压缩包碎片,就算把所有的图片全以压缩包打开,他还是没有密码。这样就实现了数据伪装。
关于数据伪装的细节,有专门的软件干专门的事,它会把压缩包编码进图片数据帧末尾,如下图这种:

打开是图片

选择以压缩包打开

以压缩包方式打开这个图片,他就是压缩包里面的数据文件,所以任何文件只要可以放进压缩包,它都可以伪装成图片。

当这种经过数据伪装的图片在种子板经久不衰的散布全球,还愁数据会丢吗。本质上这属于借用别人的电脑储存自己的数据。
网盘储存法
还有一种方法,就是云盘,选那种热门网盘,不容易跑路,不登陆也不会清空数据的那种。然后把自己的重要数据经过数据加密和数据伪装,再传到网盘,这类似上面的种子储存法。
区别在于,这里待伪装的资源必须是正经资源,是任何人看了都不会觉得不正常的媒体文件。
同时还可以传到多个网盘。
然后就是注意下载回来时一定要以原图方式下载,这样伪装的数据就还在。
这样这种网盘储存法,数据也不容易丢。本质是把维护数据的活交给网盘企业去处理了。
文字保存法
如将数据转为HEX值,打印到纸上成一系列书、刻在一系列石板上、激光内雕在玻璃里,等等。需要的时候扫描再转换回去。
以1张5MB的图片为例,5MB=5x1024x1024字节,每个字节是2个十六进制字符,那就是5x1024x1024x2=10485760个十六进制字符,假设使用B5的纸张,双面打印,使用便于阅读的常规字体,每行打印70到80个字符,每页约40到45行,假设每页42行并且每行76个字符,那每页就是76x42=3192个字符,[10485760/3192]+1=3286页,那就是3286/2=1643张纸,这就很夸张了,翻这玩意就和翻某百科全书一样。假设用的是激光打印机,但纸张还是会有老化的可能性,再加上扫描回去有误码率,所以不太可行。
刻石板上,其实不如激光内雕刻玻璃里。
既然都激光内雕刻玻璃了,不如模仿一下光盘的操作,不直接刻字符,而是转换一下再刻,于是玻璃光盘诞生了。

玻璃光盘
说起玻璃光盘那得单独开一个小节来说说,最近华科大的玻璃光盘已经量产了,单盘最大容量可达360TB。

可以预见,不久的未来,玻璃光盘将会成为比较好的冷存储方案。
