专栏名称: 大话存储
由存储系统架构师、《大话存储》系列图书作者冬瓜哥创立。分享业界逼格甚高的存储和计算机系统底层知识,皆为原创。存储系统底层技术、机理、设计、思路分享,绝不忽悠。想变得比别人逼格高一点,就来阅读本公众号的文章。
目录
相关文章推荐
51好读  ›  专栏  ›  大话存储

闪存时代来临,如何才能不落伍?

大话存储  · 公众号  ·  · 2018-05-14 08:36

正文

请到「今天看啥」查看全文



作为《大话存储 终极版》以及《大话存储 后传》的作者,我有幸经历了国内存储行业发展的启蒙和鼎盛时代。在 2005 年到 2013 年这 8 年间,存储市场基本就是 SAN 的市场,谈存储必暗指 SAN 。但是从 2014 年往后,存储行业突然发生巨大变化,分布式系统和固态存储介质开始爆发式增长。今天,谈存储如果不谈一谈配以固态硬盘的分布式系统,就仿佛是上个时代的人了。

分布式系统的发展有三个技术条件,分别为:高速网络、大容量硬盘、固态介质。这三者彻底解放了分布式系统的生产力。通俗一点说也就是:网络快了、盘容量大了、盘速度快了。高速网络是分布式系统赖以生存的根本,分布式存储系统早在上世纪中后期就已经形成了理论基础,但是一直到近几年,网络的时延和带宽才足以支撑分布式系统架构。为了降低成本,业界兴起所谓软件定义,也就是利用廉价白牌机或者标准的机架服务器,加上分布式存储软件管理层,搭建出软件定义分布式存储系统,与传统的 SAN 存储系统瓜分市场。而分布式系统的大行其道,极大的促进了固态存储的需求量,因为为了成本考量,分布式系统中每个节点往往不会连接多级 JBOD 从而靠大量的硬盘形成高并发性能,而是只靠每个服务器自带的少量盘位,加上固态盘来抵消跨网络通信带来的时延增加,形成让传统机械盘系统望尘莫及的 IOPS 和时延性能。

可以说,固态存储对系统架构,对存储市场,都有着颠覆性的影响。传统构建在大量机械盘基础之上的传统 SAN 存储架构不得不为固态存储重新定制,而固态存储让整个存储系统架构变得更加简单,这样门槛也就更低,从而也失去了核心竞争力。目前传统 SAN 架构的存储系统相比新兴存储系统架构而言唯一一个不可撼动的优势就是其高可靠性,体现在两方面,一是硬件部件双冗余设计,二是对硬盘、 HBA 卡可靠性方面的长期积累的经验。

固态存储近年来在国内的发展势头迅猛,造就了众多本土的自主研发的闪存相关企业,其中有些为 SSD 整盘提供商,有些则自主研发 SSD 主控,有些则盘和主控兼有。长期以来,机械盘的核心技术被少数几家企业掌控,门槛极高。而固态存储的入门门槛极大降低,研发 NAND 主控相比机械硬盘而言无论是在技术储备、技术实现还是人员、物料成本上,都更加变得可以接受。然而,这并不意味着 NAND 闪存极其控制器、固件等一整套系统可以被轻易的驾驭。闪存技术领域包含很多的复杂概念名词以及复杂的算法。比如: SLC/MLC/TLC/QLC 3D NAND 、快慢页、上下页、局部 / 全局磨损均衡、擦 1 0 、垃圾回收、 Device/Host BasedFTL 、元数据保护机制、页面映射、 NVMe PCIE/SATA/SAS SPDK/PDPK RDMA NVMe Over Fabric LDPC/BCH 等等,这些概念相比传统存储系统而言显得更加底层和精细,需要更高的学习成本。

业界迫切需要一本全面完善阐述、梳理固态存储底层技术的图书,而《深入浅出 SSD :固态存储核心技术、原理与实战》一书的面世,可谓是雪中送炭,及时的满足了广大固态存储行业从业者学习了解固态存储相关知识的迫切需求。

ssdfans 团队由知名闪存控制器厂商工程师组成,维护着 ssdfans 微信公众号,以较高频率发布各类固态存储相关的技术和市场文章,我也是 ssdfans 的粉丝之一,从 ssdfans 的文章中也学习了不少知识。写书不易,写出一本符合人脑认知原生态思维路径的书,更是不易。作为市场上首本全面、体系化、深度介绍固态存储技术、产品的书籍,其语言通俗易懂,接地气,脉络清晰,不仅可以用固态存储行业的入门必读之书,同时也可以作为广大固态存储行业从业者常备手边的参考书,对于已经非常资深的固态存储行业人员也是开卷有益,可查漏补缺,重新梳理思路,所谓读书百遍其义自见。我强烈推荐本书!

微信长按下图,购买电子版,同时获赠一本作者签名版纸质书(包邮)。购买后在社群页面可以看到美女微信号二维码,加美女好友,她会拉你加入本书专属微信群,向作者和编辑提问,确保所有与本书内容相关的问题都能得到回答。


这本书 的内容几乎覆盖了 SSD 各个模块,既可以作为一本入门书籍进行通读,也可以在需要的时候作为工具书进行查阅。内容涵盖: SSD 基础知识、 SSD 各模块介绍和 SSD 测试相关内容。

SSD 基础知识包括 SSD HDD 的比较、 SSD 的发展历史、产品形态、整体架构和基本工作原理;

模块介绍包括

FTL 闪存转换层介绍:作为 SSD 固件的核心部分, FTL 实现了例如映射管理,磨损均衡,垃圾回收,坏块管理等诸多功能,这本书将一一介绍。

NAND Flash 介绍: NAND Flash 作为 SSD 的存储介质,具有很多与传统磁介质不同的特性,这本书从器件原理,实战指南,闪存特性以及数据完整性等方面展开。

NVMe 存储协议:作为专门为 SSD 开发的软件存储协议, NVMe 正在迅速的占领 SSD 市场。本书将从其优势,基础架构,寻址方式,数据安全等方面展开。为了让读者对 NVMe 命令处理有更加直观的认识,本书特别结合实际的 PCIetrace 进行阐述。同时,本书也介绍了 NVMe OverFabric 的相关知识,让读者能够对未来网络与存储的发展趋势有所了解。

PCIe 协议: PCIe 作为目前主流的 SSD 前端总线,与之前的 SATA 接口相比有着极大的性能优势。本书将从 PCIe 总线拓扑结构,分层结构, TLP 类型与路由,配置和地址空间等方面进行介绍。

电源管理:该章节介绍了 SSD 前端总线(包括 SATA PCIe )的各种节能模式, NVMe 协议的电源管理方案,以及在 SSD 里常用的整体电源管理架构– Power Domain

SSD 测试:该章节介绍了常用的测试软件,测试流程,仪器设备,业界认证,以及专业的测试标准等。

ECC 纠错码介绍:该章介绍了 ECC 的基本概念,重点介绍了 LDPC 的解码和编码原理,以及在 NAND 上的应用。

图书目录

1 SSD 综述

1.1 引子

1.2SSD vs HDD

1.3 固态存储及 SSD 技术发展史

1.4SSD 基本工作原理

1.5SSD 产品核心参数

1.6 接口形态

1.7 固态存储市场

2 SSD 主控和全闪存阵列

2.1SSD 系统架构

2.2SSD 主控厂商

2.3 案例:硅格( SiliconGo SG9081 主控

2.4 案例:企业级和消费级主控需求的归一化设计

2.5 案例: DERA (紫光得瑞) NVMe 控制器 TAI NVMe SSD 产品

2.6 全闪存阵列 AFA

2.7 带计算功能的固态硬盘

3 SSD 存储介质:闪存

3.1 闪存物理结构

3.2 闪存实战指南

3.3 闪存特性

3.4 闪存数据完整性

4 SSD 核心技术: FTL

4.1FTL 综述

4.2 映射管理

4.3 垃圾回收

4.4Trim

4.5 磨损平衡

4.6 掉电恢复

4.7 坏块管理

4.8SLC cache

4.9RD& DR

4.10Host Based FTL

4.11 结语

5 PCIe 介绍

5.1 PCIe 的速度说起

5.2PCIe 拓扑结构

5.3PCIe 分层结构

5.4PCIe TLP 类型

5.5PCIe TLP 结构

5.6PCIe 配置和地址空间

5.7TLP 的路由

5.8 数据链路层

5.9 物理层

5.10PCIe Reset

5.11PCIe Max Payload Size Max ReadRequest Size

5.12PCIe SSD 热拔插

5.13SSD PCIe 链路性能损耗分析

6 NVMe 介绍

6.1AHCI NVMe

6.2NVMe 综述

6.3 吉祥三宝: SQ CQ DB

6.4 寻址双雄: PRP SGL

6.5Trace 分析

6.6 端到端数据保护

6.7Namespace

6.8NVMe over Fabrics

7 SSD 测试

7.1 主流 SSD 测试软件介绍

7.2 验证与确认

7.3 测试仪器

7.4 回归测试

7.5DevSlp 测试

7.6PCIe InterOp

7.7WA 测试

7.8 耐久度测试

7.9 认证 Certification

7.10SSD Performance 测试

8 SSD 电源管理

8.1SATA 省电模式 Partial Slumber

8.2SATA 超级省电模式 DevSlp

8.3SATA 终极省电模式 RTD3

8.4PCIe 省电模式 ASPM

8.5PCIe 其他省电模式

8.6NVMe 动态电源管理

8.7Power Domain

9 ECC 原理

9.1 信号和噪声

9.2 通信系统模型

9.3 纠错编码的基本思想

9.4LDPC 码原理简介

9.5LDPC 解码

9.6LDPC 编码

9.7LDPC SSD 中的应用


大话存储


大话计算机









请到「今天看啥」查看全文