一文讲清楚:digest(哈希摘要)
先给结论:digest(摘要)= 哈希函数(hash function)的输出值。把任意长度的输入丢进去,吐出一段固定长度的字节串,并且这个过程单向、不可逆。
最容易搞混的一点:digest 不是「加密」。 加密可逆、要密钥;摘要不可逆、不要密钥。你平时在日志、命令行、接口文档里看到的那一长串字符(e3b0c44298fc1c14… 或 uNiVztksCsDhcc0u9e8BujQ…),那是 digest 的编码形式,不是 digest 本身——digest 本身是一段二进制字节,hex / base64 只是它的写法(详见 hex)。
1. 术语对照:digest、hash、checksum、指纹
这几个词在不同教程里被混着用,先对齐:
| 说法 | 指向什么 | 备注 |
|---|---|---|
| hash function | 哈希函数本身 | 输入 → 输出的映射规则 |
| hash / hash value | 函数或输出值都能指 | 口语里最常用 |
| digest | 强调输出结果这个名词 | 也是 API 名:.digest()、MessageDigest、openssl dgst |
| checksum | 泛称「校验值」 | 常指 CRC32 这类只查传输错误的东西,抗篡改很弱 |
| fingerprint | 对公钥 / 证书算出的 digest | 用于标识,见 JWT 中的 FP |
| MAC / HMAC | 带密钥的摘要 | 既能查篡改,又能验来源 |
一句话记忆:函数叫 hash,结果叫 digest,用来认人叫 fingerprint。
2. 四个必须记住的性质
- 确定性:同样的输入,每次算出的摘要完全一样。这是它当「内容身份证」的基础。
- 定长:输入 1 字节还是 10 GB,输出长度恒定。SHA-256 永远 32 字节。
- 单向(抗原像):从摘要推不出原文,只能暴力枚举。所以摘要可以公开。
- 雪崩效应:输入改一个 bit,输出约一半的 bit 会翻转。改一个标点,摘要面目全非。
- 抗碰撞:找不到两段不同内容得到同一个摘要(这条要看算法,MD5、SHA-1 已经不满足)。
另外一个反直觉的点:安全的哈希函数设计目标是「快」。它的快是用来给大数据做校验的;恰恰因为太快,它不适合直接用来存口令(见第 6 节)。
3. 常见算法与长度
| 算法 | 输出长度 | 现在还能用吗 |
|---|---|---|
| MD5 | 128 bit = 16 字节 | 不能用于安全用途,可人为构造碰撞 |
| SHA-1 | 160 bit = 20 字节 | 不能用于安全用途,2017 年 SHAttered 已实证碰撞 |
| SHA-256 / SHA-512 | 256 / 512 bit | 安全场景默认选它 |
| SHA-3(Keccak) | 224–512 bit | 与 SHA-2 结构不同,作为备选 |
| BLAKE2 / BLAKE3 | 可变,最快的一档 | 高性能场景 |
| SM3 | 256 bit | 国密体系里的哈希 |
| CRC32 | 32 bit | 只查传输错误,不是哈希,碰撞随手可得 |
两条实操结论:
- 新系统写代码,默认 SHA-256;看到 MD5、SHA-1 只当兼容历史,别主动选。
- MD5 不是完全没用——文件去重、缓存键这类非对抗场景还能用,但一旦有对手能控制内容,就别用。
4. digest 与 encryption:一张表讲清分界
| 对比项 | 加密 encrypt | 摘要 digest |
|---|---|---|
| 可逆性 | 可逆,能还原原文 | 不可逆,只能枚举 |
| 密钥 | 必须有 | 不需要(HMAC 才需要) |
| 输出长度 | 与输入等长(或略长) | 固定长度 |
| 典型用途 | 保密传输、存敏感数据 | 校验完整性、签名、指纹、口令存储 |
| 泄露后果 | 事关机密 | 摘要公开通常无害 |
| 类比 | 把信锁进保险箱 | 给信按一个无法伪造的指纹 |
**加密负责「看不见」,摘要负责「改不了」。** 混淆这两者的代码,通常就是安全漏洞的来源。
由此还能理解一个常见设计:数字签名(RSA、ECDSA)实际签的是消息的摘要,不是消息本身。原因有二:公钥运算很慢,且只能处理定长数据。所以正确的说法是:先 digest,再签名。
5. 为什么见到它总是 hex 或 base64
digest 是字节,而字节很难直接贴进 JSON、URL、邮件、日志里,所以要编码。同一段摘要,换编码就是完全不同的字符串:
| 编码 | SHA-256(32 字节)写成什么 | 常见位置 |
|---|---|---|
| hex | 64 个字符,e3b0c442…b855 | sha256sum、Git ID、证书指纹、.hexdigest() |
| base64 | 44 个字符,含 = 填充 | 有些 API、JWT 场景 |
| base64url | 43 个字符,无填充 | JWK Thumbprint(jkt / kid)、URL 里 |
| 带分隔符的 hex | 3F:1B:9A:E4:… | 证书、SSH 指纹的展示层 |
长度换算记住这两条就够:
SHA-256:32 字节 → hex 64 字符,base64 44 字符(无填充 43) MD5 :16 字节 → hex 32 字符 SHA-1 :20 字节 → hex 40 字符
这里是最常见的踩坑点:两串摘要「看起来不一样」时,先怀疑编码口径(大小写、冒号、填充、hex 还是 base64),再怀疑内容不同。
import hashlib h = hashlib.sha256(b"hello") h.digest() # b',\xf2M\xba...' 32 字节原始字节 h.hexdigest() # '2cf24dba5fb0a30e...' 64 个 hex 字符 h.hexdigest()[:8] # '2cf24dba' 常被截出来当短 ID
import { createHash } from "node:crypto"; const d = createHash("sha256").update("hello").digest(); // Buffer,32 字节 console.log(d.toString("hex")); // 64 字符 console.log(d.toString("base64url")); // 43 字符
sha256sum file.iso # hex 形式 printf 'hello' | openssl dgst -sha256 echo -n '' | sha256sum # 空输入的摘要 # e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855
注意最后那条:空输入的摘要不是空的,而是一个固定的、可预测的值。它常被用来判断「算没算过」,别把它当随机数。
6. 它到底用在哪
- 完整性校验:下载后比对
sha256sum,确认文件没被改过、传丢过。Git 的对象 ID 本质就是对内容算摘要(SHA-1,新仓库可 SHA-256)。 - 数字签名与证书:先对内容算 digest,再对 digest 签名;证书里挂的也是公钥/证书的指纹。
- 口令存储:关键区别在于这里用「慢哈希」。 <code> ❌ sha256(password) # 太快,GPU 每秒能试几十亿次;还有彩虹表 ❌ sha256(password + “固定盐”) # 盐写死在代码里,等于没有 ✅ argon2 / bcrypt / scrypt / PBKDF2 # 每个用户随机盐 + 刻意变慢 + 可调工作因子 </code> 盐的作用是让相同口令产生不同摘要、废掉彩虹表;盐必须随机、每用户独立、与摘要一起存,不需要保密。
- 消息认证(HMAC):带密钥的摘要,用于校验「内容是完整的,且来源持有密钥」。JWT 的
HS256就是 HMAC-SHA-256。 - 内容寻址与去重:以摘要做文件名/键,天然去重、便于缓存(CDN 的
ETag常由摘要生成)。 - 数据结构中的哈希:哈希表、布隆过滤器也依赖哈希函数,但那里追求的是速度与均匀分布,不涉及摘要的编码与安全属性,别和本节混为一谈。
7. API 与命令速查
import hashlib, hmac hashlib.sha256(b"data").hexdigest() hashlib.file_digest(open("big.iso", "rb"), "sha256").hexdigest() # 3.11+ hmac.new(key, msg, hashlib.sha256).hexdigest() hmac.compare_digest(a, b) # 恒定时间比较,别用 ==
var md = java.security.MessageDigest.getInstance("SHA-256"); byte[] d = md.digest("data".getBytes(StandardCharsets.UTF_8)); // 再自己转 hex 或 base64
sha256sum file # Linux Get-FileHash file -Algorithm SHA256 # PowerShell certutil -hashfile file SHA256 # Windows CMD openssl dgst -sha256 file
8. 常见坑速查
| 现象 | 原因 | 处理方向 |
|---|---|---|
| 摘要对不上 | 编码口径不同(hex/base64、大小写、冒号、填充) | 比对前先归一化成同一编码 |
| 以为「加密过」就安全 | 混淆 digest 与 encryption | 需要还原用加密,只需校验用摘要 |
| 口令被爆破 | 用了 SHA-256/MD5 这类快哈希、没加盐 | 换 Argon2 / bcrypt,随机盐 |
| 相同口令在库里看不出区别 | 忘加盐 | 每用户随机盐,与摘要同库同存 |
| 大文件把内存吃满 | 一次性读入再算 | 分块 update,或 hashfile / filedigest |
| 校验没抓到被替换的文件 | 只比对了长度或前缀 | 完整比对,且校验值本身要来自可信渠道 |
| 用摘要当随机数、密钥、密码 | 摘要可被任何人算出 | 随机数用 CSPRNG,密钥用密钥生成 API |
用 == 比较令牌的摘要 | 存在时序侧信道 | hmac.compare_digest / constant-time 比较 |
| 迁移算法时全站摘要变了 | 算法换了、输入口径(编码、换行)也换了 | 先明确「对什么字节算、用什么算法、怎么编码」 |
最后一条特别值得咬住,它就是排查摘要问题的通用三步:对什么算(原文 / JWK / 证书 / 加盐方式)、用什么算法、写成什么编码。三者任一不同,结果就不同。
9. 30 秒自测
- SHA-256 的 digest 是几字节?→ 32 字节
- 它写成 hex 是多少字符?→ 64 个
- 同一个文件算两次,结果一样吗?→ 一样(确定性)
- 能从摘要还原出文件吗?→ 不能(单向)
- 存用户口令该用 SHA-256 还是 Argon2?→ Argon2(慢哈希 + 随机盐)
- JWT 的
HS256用的是摘要还是加密?→ 带密钥的摘要(HMAC)
10. 一句话总结
**digest 是「给内容按的一枚无法伪造的指纹」:定长、单向、可比对。它不负责保密,只负责证明内容没变、来源可信;至于你看到的那串十六进制,只是它被打印出来的样子。**
相关:hex(十六进制) · JWT 加密中的 FP(指纹)
# digest(哈希摘要)
## 是什么
### 哈希函数的输出值
### 任意长度输入 → 固定长度字节
### 单向、不可逆
### 不是加密,不要密钥
### 看到的那串字符只是它的编码
## 四个性质
### 确定性:同输入同输出
### 定长:SHA-256 永远 32 字节
### 单向:抗原像
### 雪崩效应:改 1 bit 面目全非
### 抗碰撞(看算法)
## 常见算法
### MD5 16 字节,已破,别用于安全
### SHA-1 20 字节,已实证碰撞
### SHA-256 / 512 默认选择
### SHA-3、BLAKE2 / 3
### SM3 国密
### CRC32 只是校验和,不是哈希
## 与加密的分界
### 可逆 vs 不可逆
### 要密钥 vs 不要密钥
### 保密 vs 完整性
### 签名签的是摘要
### 密码用慢哈希:Argon2 / bcrypt
## 编码与长度
### hex:32 字节 → 64 字符
### base64:44 字符
### base64url:43 字符,无填充
### 比对前先归一化编码
### 空输入的摘要是固定值
## 用在哪
### 下载完整性校验、Git 对象 ID
### 数字签名与证书
### 口令存储:随机盐 + 慢哈希
### HMAC 与 JWT HS256
### 内容寻址、去重、ETag
### token 存哈希、JWK Thumbprint
## 工具速查
### Python hashlib / file_digest
### Node createHash().digest('hex')
### Java MessageDigest
### sha256sum / Get-FileHash / openssl dgst
## 常见坑
### digest ≠ hex,编码只是形式
### 口令用快哈希被爆破
### 盐固定等于没加盐
### 大文件一次性读入内存
### 摘要当随机数 / 密钥
### 比较用 == 有时序问题
### 算法、输入、编码三者要统一返回:代码术语