序列比对/映射格式规范

1 SAM 格式规范

 1.1 示例

@HD VN:1.6 SO:coordinate
@SQ SN:ref LN:45
r001 99 ref 7 30 8M2I4M1D3M = 37 39 TTAGATAAAGGATACTG *
r002 0 ref 9 30 3S6M1P1I4M * 0 0 AAAAGATAAGGATA *
r003 0 ref 9 30 5S6M * 0 0 GCCTAAGCTAA * SA:Z:ref,29,-,6H5M,17,0;
r004 0 ref 16 30 6M14N5M * 0 0 ATAGCTTCAGC *
r003 2064 ref 29 17 6H5M * 0 0 TAGGC * SA:Z:ref,9,+,5S6M,30,1;
r001 147 ref 37 30 9M = 7 -39 CAGCGGCAT * NM:i:1

1.2 术语和概念

1.2.1 字符集限制

1.3 头部部分

1.3.1 定义的子排序术语

1.3.2 参考 MD5 计算

• 
  所有在包含范围 33 ('!') 到 之外的字符都会被剔除。这将移除所有不可打印和空白字符，包括空格和换行符。其他所有内容都会被保留，即使不是合法的核苷酸代码。
• 
  所有小写字符都被转换为大写。此操作相当于在 POSIX 区域中对字符调用 toupper()。
• 
  MD5 摘要的计算方法如 RFC 1321 所述，并以 32 个字符的小写十六进制数字表示。

1.4 对齐部分：必填字段

1. 
   QNAME：查询模板名称。具有相同 QNAME 的读取/片段被视为来自同一模板。QNAME '*' 表示信息不可用。在 SAM 文件中，一个读取可能占据多个比对行，当其比对是嵌合的或给出了多个映射时。
2. 
   标志：按位标志的组合。 每个位在下表中解释：

• 
  对于 SAM 文件中的每个读取/拼接，要求与该读取关联的行中只有一行满足 'FLAG & '。这一行称为读取的主行。
• 
  位 0x100 标记在某些分析中不应使用的对齐，当使用的工具意识到此位时。它通常用于在 SAM 中呈现多个映射时标记替代映射。
• 
  Bit 表示相应的比对行是嵌合比对的一部分。标记为 0x800 的行称为补充行。
• 
  Bit 是唯一可靠的地方来判断读取是否未映射。如果设置了 ，则无法对 RNAME、POS、CIGAR、MAPQ 和位 以及 做出任何假设。
• 
  位 0x10 表示 SEQ 是否已被反向互补，QUAL 是否被反转。当位 0x4 未设置时，这对应于段被映射到的链：位 0x10 未设置表示正链，而设置则表示反链。当 0x4 被设置时，这表示未映射的读取是否以其原始方向存储，即从测序仪上读取时的方向。
• 
  位 和 反映了所使用的测序技术中每个模板内的读取顺序。 如果 和 都被设置，则该读取是线性模板的一部分，但既不是第一个也不是最后一个读取。如果 和 都未设置，则模板中读取的索引是未知的。这可能发生在非线性模板中，或者在数据处理过程中丢失了该信息。
• 
  如果 未设置，则无法对 和 做出任何假设。
• 
  未在表中列出的位保留供将来使用。在写入时不应设置，在当前软件读取时应忽略。

3. 
   RNAME：比对的参考序列名称。如果存在 @SQ 头行，RNAME（如果不是 ）必须出现在其中一个 SQ-SN 标签中。没有坐标的未映射片段具有 ，在

• 
  “消耗查询”和“消耗参考”指示 CIGAR 操作是否导致比对沿查询序列和参考序列分别移动。
• 
  H 只能作为第一个和/或最后一个操作出现。
• 
  S 之间只能有 H 操作和 CIGAR 字符串的两端。
• 
  对于 mRNA 与基因组的比对，N 操作表示一个内含子。对于其他类型的比对，N 的解释未定义。
• 
  操作的长度总和应等于 SEQ 的长度。

7. 
   RNEXT：模板中 NEXT 读取的主要比对的参考序列名称。对于最后一个读取，下一读取是模板中的第一个读取。如果存在@SQ 头行，则 RNEXT（如果不是 ，或' '）必须出现在一个 SQ-SN 标签中。当信息不可用时，此字段设置为'*'，如果 RNEXT 与 RNAME 相同，则设置为' '。如果不是' '，并且模板中的下一读取有一个主要比对（另见 FLAG 中的位 ），则此字段与下一读取的主要行中的 RNAME 相同。如果 RNEXT 是 ，则无法对 PNEXT 和位 做出假设。
8. 
   PNEXT：模板中 NEXT 读取的主比对的基于 1 的位置。当信息不可用时设置为 0。此字段在下一个读取的主行中等于 POS。如果 PNEXT 为 0，则无法对 RNEXT 和位 做出任何假设。
9. 
   TLEN：签名观察到的模板长度。对于主读取，其中模板中所有读取的主比对都映射到同一参考序列，TLEN 的绝对值等于模板的映射结束与映射开始之间的距离，包括在内（即，结束 - 开始 + 1）。 请注意，映射的碱基被定义为与参考序列对齐的碱基，如 CIGAR 所描述，因此排除了软剪切的碱基。模板的最左侧段的 TLEN 字段为正值，最右侧段为负值，任何中间段的符号是未定义的。如果段覆盖相同的坐标，则选择哪个是最左侧和最右侧是任意的，但两个端点仍必须具有不同的符号。对于单段模板或当

1.5 对齐部分：可选字段

2 SAM 格式的推荐实践

1.  标题部分
   
   1 @HD 行应该存在，指定 SO 标签或 GO 标签（但不能同时指定两者）。
   
   2 如果读取已被映射，则应存在 @SQ 行。
   
   当 RG 标签出现在比对部分的任何位置时，头部中应有一个对应的 @RG 行，且 ID 标签匹配。
   
   当 PG 标签出现在比对部分的任何位置时，头部应有一个对应的 @PG 行，且 ID 标签应匹配。
2. 
   相邻的 CIGAR 操作应该是不同的。
3. 
   不应将任何比对分配映射质量 255。
4.  未映射的读取
   
   对于未映射的成对末端或配对读取，其配对已映射，未映射读取的 RNAME 和 POS 应与其配对相同。
   
   如果模板中的所有片段都未映射，则它们的 RNAME 应设置为 '*'，POS 应设置为 0。
   
   如果 POS 加上 CIGAR 中 操作的长度总和超过 @SQ 头行中 LN 字段指定的长度（如果存在），且 SN 等于 RNAME，则该比对应标记为未比对，除非参考序列是循环的（见下文）。
   
   未映射的读取应以它们从测序仪上获得的方向存储，并且其反向标志位 ( ) 应相应地未设置。
5.  多重映射
   
   当一个段在多行中出现以表示该段的多重映射时，这些记录中只有一个应未设置次级对齐标志位 ( )。RNEXT 和 PNEXT 指向模板中下一个读取的主行。
   
   2 SEQ 和 QUAL 的二次比对应设置为 ' 以减少文件大小。
6.  可选标签：
   
   如果模板有超过 2 个部分，则应存在 TC 标签。
   
   2 NM 标签应存在。
7. 
   循环引用序列

3 SAM 中描述组装序列的指南

3.1 无填充与填充表示

 3.2 填充的 SAM

@HD VN:1.6 SO:coordinate
@SQ SN:ref LN:47
ref 516 ref 1 0 14M2D31M * 0 0 AGCATGTTAGATAAGATAGCTGTGCTAGTAGGCAGTCAGCGCCAT *
r001 99 ref 7 30 14M1D3M = 39 41 TTAGATAAAGGATACTG *
* 768 ref 8 30 1M * 0 0 * * CT:Z:.;Warning;Note=Ref wrong?
r002 0 ref 9 30 3S6M1D5M * 0 0 AAAAGATAAGGATA * PT:Z:1;4;+; homopolymer
r003 0 ref 9 30 5H6M * 0 0 AGCTAA * NM:i:1
r004 0 ref 18 30 6M14N5M * * 0 0 0 ATAGCTTCAGC \
r001 147 ref 39 30 9M = 7 -41 CAGCGGCAT * NM:i:1

4 BAM 格式规范

4.1 BGZF 压缩格式

1. 
   头部中的 F.EXTRA 位被设置以指示存在额外字段。
2. 
   BGZF 使用的额外字段使用两个子字段 ID 值 66 和 67（ASCII 'BC'）。
3. 
   BGZF 额外字段负载的长度（gzip 规范中的字段 LEN）为 2（两个字节的负载）。
4. 
   BGZF 扩展字段的有效载荷是一个 16 位无符号整数，采用小端格式。该整数表示包含的 BGZF 块的大小减去一。

 4.1.1 随机访问

4.1.2 文件结束标记

1f 8b 08 04 00 00 00 00 00 ff 06 00 42 43 02 00 1b 00 03 00 00 00 00 00 00 00 00 00

4.2 BAM 格式

4.2.1 BIN 字段计算

 4.2.2 N_CIGAR_OP 字段

4.2.3 SEQ 和 QUAL 编码

4.2.4 辅助数据编码

 5 索引 BAM

 5.1 算法

5.1.1 基本分箱索引

5.1.2 减少小块

5.1.3 与线性索引结合

5.1.4 概念示例

5.2 BAM 文件的 BAI 索引格式

5.3 计算箱号和重叠箱的 C 源代码

/* calculate bin given an alignment covering [beg,end) (zero-based, half-closed-half-open) */
int reg2bin(int beg, int end)
{
    --end;
    if (beg>>14 == end>>14) return ((1<<15)-1)/7 + (beg>>14);
    if (beg>>17 == end>>17) return ((1<<12)-1)/7 + (beg>>17);
    if (beg>>20 == end>>20) return ((1<<9)-1)/7 + (beg>>20);
    if (beg>>23 == end>>23) return ((1<<6)-1)/7 + (beg>>23);
    if (beg>>26 == end>>26) return ((1<<3)-1)/7 + (beg>>26);
    return 0;
}
/* calculate the list of bins that may overlap with region [beg,end) (zero-based) */
#define MAX_BIN (((1<<18)-1)/7)
int reg2bins(int beg, int end, uint16_t list[MAX_BIN])
{
    int i = 0, k;
    --end;
    list [i++] = 0;
    for (k = 1 + (beg>>26); k <= 1 + (end>>26); ++k) list[i++] = k;
    for (k = 9 + (beg>>23); k <= 9 + (end>>23); ++k) list[i++] = k;
    for (k = 73 + (beg>>20); k <= 73 + (end>>20); ++k) list[i++] = k;
    for (k = 585 + (beg>>17); k <= 585 + (end>>17); ++k) list[i++] = k;
    for (k = 4681 + (beg>>14); k <= 4681 + (end>>14); ++k) list[i++] = k;
    return i;
}

附录 A 解析区域符号

附录 B SAM 版本历史

1.6：2017 年 11 月 28 日至今

• 
  将 SINGULAR 添加到 @RG PL 头标签值列表中。（2023 年 5 月）
• 
  澄清 @RG PI 值为整数。（2023 年 5 月）
• 
  将 ELEMENT 和 ULTIMA 添加到 @RG PL 头标签值列表中。（2022 年 8 月）
• 
  澄清每行中的头字段标签必须是唯一的，并且头字段和对齐可选字段的顺序不重要。（2021 年 6 月）
• 
  澄清当存在次级比对时 TLEN 的含义。（2021 年 5 月）
• 
  对未映射记录的对齐记录的 Bin 计算进行了更改，这些记录的 CIGAR 字符串不消耗任何参考碱基：它们被视为长度为一（而不是零）。 （2021 年 1 月）

• 
  修正索引伪桶的描述，之前提到的 ref_beg/ref_end，后来更名为 unmapped_beg/unmapped_end，仅包含已放置的未映射读取。（2020 年 7 月）
• 
  将 DNBSEQ 添加到 @RG PL 头部标签值列表中。（2020 年 4 月）
• 
  添加 @SQ TP 循环/线性拓扑头标签。 (2019 年 5 月)
• 
  限制了参考序列名称中的允许标点字符（在 @SQ SN、RNAME 等中）。现在 @SQ SN 和 @SQ AN 中允许的字符集是相同的，这扩大了之前的 AN 集合。（2019 年 1 月）
  
  我们建议实现验证参考序列名称时使用第 1.2.1 节中的规则；对于声明@HD VN 的文件要更加宽松；并且仅根据这些规则验证 AN，而不是之前更严格的 AN 规则。
• 
  添加 @HD SS 排序详情标题标签。 (2018 年 10 月)
• 
  B 数组的可选字段可以没有条目 - 这在 BAM 中已经可以表示，明确指出在 SAM 中也允许空数组。 (2018 年 7 月)
• 
  添加 @SQ DS 头标签。 (2018 年 7 月)
• 
  添加 @RG BC 头标签。 (2018 年 4 月)
• 
  允许在一些头部标签中使用 UTF-8。（2018 年 3 月）
• 
  添加对超过 65,535 个操作的 CIGAR 字符串的支持。（2017 年 11 月）

1.5：2013 年 5 月 23 日至 2017 年 11 月

• 
  添加 @SQ AN 头标签，仅允许在其名称中使用字母数字和 '*+. @_ - -' 字符。 (2017 年 7 月)
• 
  添加 @SQ AH 头标签。 (2017 年 3 月)
• 
  辅助标签已迁移到 SAMtags 文档中。（2016 年 9 月）
• 
  Z 和 H 辅助标签允许为零长度。(2016 年 6 月)
• 
  QNAME 限制为 254 字节（之前为 255 字节）。 （2015 年 8 月）
• 
  将 0x200 标志位通用化为过滤掉的位。(2015 年 8 月)
• 
  添加 @HD GO 进行团购。 (2015 年 3 月)
• 
  将 ONT 添加到@RG PL 和@RG PM 头标签中。（2015 年 3 月）
• 
  在未映射读取上添加反向 FLAG 的含义。（2015 年 3 月）
• 
  文档化 idxstats .bai 元素。（2014 年 11 月）
• 
  添加 CSI 指数。（2014 年 9 月）
• 
  添加 @PG DS 头字段。(2013 年 12 月)
• 
  记录 BAM EOF 字节值。（2013 年 12 月）
• 
  对齐类型词汇表。（2013 年 5 月）
• 
  请注意，PNEXT/RNEXT 指向下一个读取，而不是段。 （2013 年 5 月）
• 
  添加补充标志位。(2013 年 5 月)

1.4：2011 年 4 月 21 日至 2013 年 5 月

• 
  添加使用序列注释（CT/PT 标签）的指南。（2012 年 3 月）
• 
  将最大引用长度从 增加到 。 (2011 年 9 月)
• 
  澄清 @SQ M5 头标签生成。(2011 年 9 月)
• 
  描述填充对齐。 (2011 年 9 月)
• 
  添加 @RG FO, KS 头字段。 (2011 年 4 月)
• 
  澄清 PG 记录的链式关系。（2011 年 4 月）
• 
  添加 B 数组辅助标签类型。(2011 年 4 月)
• 
  允许在 SEQ 和 MD 辅助标签中使用 IUPAC。（2011 年 4 月）
• 
  允许 QNAME "*"。 (2011 年 4 月)

1.3：2010 年 7 月到 2011 年 4 月

• 
  添加 RG PG 头字段。（2010 年 11 月）
• 
  添加 BAM 描述和索引部分。（2010 年 11 月）
• 
  添加 '=' 和 ' ' CIGAR 操作。 (2010 年 7 月)
• 
  移除 FLAG 字母。（2010 年 7 月）
• 
  SM 头字段，之前对于@RG 是必需的，现在变为可选。 （2010 年 7 月）
  
  1.0：2009 年到 2010 年 7 月

---

1. 
   因此，SAM 文件特别不能以字节顺序标记（BOM）开头，文本行仅由 ASCII 行终止符字符分隔。除了本地平台的文本文件行终止约定外，实现可能希望支持 LF 和 CR LF，以便与其他平台进行互操作。
2. 
   FLAG 列中的值对应于按位标志，如下所示： : first/next 是反向互补的，正确对齐/多个片段；0: 没有设置标志，因此是映射的单个片段； x810: 补充/反向互补； : last (一对中的第二个)/反向互补/正确对齐/多个片段。
3. 
   嵌合比对主要是由结构变异、基因融合、错误组装、RNA-seq 或实验方案引起的。由于读取长度较长，它们的发生频率更高。对于嵌合比对，构成比对的线性比对大多是非重叠的；每个线性比对可能具有高的比对质量，并且在 SNP/INDEL 调用中是有信息量的。相比之下，多重比对主要是由重复序列引起的。由于读取长度较长，它们的发生频率较低。如果一个读取有多个比对，这些比对几乎完全重叠；除了单个最佳最优比对，所有其他比对的比对质量为 ，并被大多数 SNP/INDEL 调用者忽略。
   
   不被禁止的字符包括 ' '，它历史上出现在源自 NCBI FASTA 文件的引用名称中，以及 ' '，它出现在 HLA 等位基因名称中。附录 A 描述了即使名称本身可能包含冒号，仍然可以明确解析名称 [:begin-end] 区域符号的方法。
   
   最佳实践是在设计和实验新的数据字段标签或仅对本地感兴趣的字段时使用小写标签。对于具有一般兴趣的新标签，请提出一个 hts-specs 问题或发送电子邮件至 samtools-devel@lists.sourceforge.net，以便将大写等效项添加到规范中。这样可以避免同一大写标签在不同含义下的冲突。
4. 
   众所周知，广泛使用的软件库对查询名称的排序顺序有不同的定义，这意味着在处理来源各异的多个文件时应谨慎。工具可能希望使用子排序字段来明确区分自然排序和字典排序。请参见第 1.3.1 节。
   
   排序顺序的重复使得一种有限的验证形式成为可能。例如，@HD SO:queryname SS:coordinate:TLEN 表示数据已被一个不支持 SS 的工具重新排序（按查询名称），因此应忽略 SS 字段。
   
   请参见 https://www.ncbi.nlm.nih.gov/grc/help/definitions 以获取替代位点和主要组装的描述。
   
   例如，给定 '@SQ SN:MT AN: chrMT,M, chrM LN:16569 TP:circular'，工具可以确保用户对 'MT'、'chrMT'、'M' 或 'chrM' 的请求成功，并且指向相同的序列。
   
   上一个脚注的示例将 MT 识别为环状染色体。TP 字段通常被省略，这意味着线性。
5. 
   参考序列名称可以包含任何可打印的 ASCII 字符，但某些标点符号除外，并且不能以 '*' 或 '=' 开头。有关详细信息和 [:rname:] 符号的解释，请参见第 1.2 .1 节。
6. 
   位标志的操作在维基百科（参见“位域”）及其他地方有描述。
   
   例如，在 Illumina 双端测序中，first ( ) 对应于 R1 '正向'读取，last ( 0 x 80 ) 对应于 R2 '反向'读取。（尽管有这样的术语，但这与映射时片段的方向无关：映射后，可能有一个、没有或两个的反向标志位 ( ) 被设置。）
7. 
   因此，一个在基准 100 处向前对齐、长度为 50 的片段和一个在基准 200 处向后对齐、长度为 50 的片段表明模板覆盖基准 100 到 249，长度为 150。
8. 
   本规范的最早版本使用 到 （原始方向，TLEN#1；读取的虚线部分表示软剪切碱基），而后来的版本使用最左侧到最右侧的映射碱基（TLEN#2）。注意：这两个定义在大多数比对中是一致的，但在重叠的情况下有所不同，其中第一个片段的比对超出了最后一个片段的起始位置。

   

    明确的场景

   

    模糊场景
   
   整数可选字段中的数字位数在 SAM 中没有明确限制。然而，BAM 可以表示范围 的值，因此在实践中，这也是 SAM 的 ' ' 的实际值范围。
   
   例如，六字符的十六进制字符串 ' 1 AE 301 ' 表示字节数组 [0x1a, 0xe3, 0x1]。
   
   显式类型化简化了格式解析，并有助于在将 SAM 转换为 BAM 时减少文件大小。
   
   请参阅 SAMtags.pdf，网址为 https://github.com/samtools/hts-specs。
9. 
   这种表示法对索引和随机访问的影响尚待实现进行探索。
10. 
    彼得·J·A·科克，詹姆斯·K·邦菲尔德，巴斯蒂安·舍夫勒和李恒，de novo 组装的 SAM/BAM 格式 v1.5 扩展，bioRxiv 020024；doi:10.1101/020024。
11. 
    在 SEQ 字段中将填充/间隙写为 可能更方便，但这引发了对向后兼容性的担忧。
    
    请参阅 SAMtags.pdf 中的注释和填充。
12. 
    L. Peter Deutsch, GZIP 文件格式规范版本 4.3，RFC 1952。
    
    值得注意的是，Java GZIPInputStream 类中存在一个已知的 bug，无法成功解压缩连接的 gzip 归档文件。可以使用内置的 Java util.zip 包创建和操作 BGZF 文件，但由于这个 bug，简单地在 BGZF 文件上使用 GZIPInputStream 是行不通的。
13. 
    在被压缩为长度为零的数据块的意义上是空的。
    
    一个支持以追加模式重新打开 BAM 文件的实现可以通过将头部和对齐记录写入文件来生成一个文件，关闭它（添加一个 EOF 标记）；然后以追加模式重新打开它，写入更多对齐记录，并关闭它（添加一个 EOF 标记）。生成的 BAM 文件将包含一个嵌入的无关 EOF 标记块，在读取时应有效忽略。
    
    在读取文件的开始生成诊断信息是有用的，这样交互式用户可以中止对可能损坏文件的长时间分析。当然，这只有在相关流支持随机访问的情况下才有可能。
14. 
    如第 1.4 节所述，保留的 FLAG 位应写为零，并在当前软件读取时被忽略。
    
    为了向后兼容，缺失的 QNAME（在 SAM 中表示为 ' '）被存储为 C 字符串 "*\0"。
15. 
    每个整数值使用的符号和大小是一个实现选择，但通常是足够的最小值。
    
    ' ' 字段值的 BAM 表示为文本十六进制数字而非二进制数据是出于历史原因。现代应用可能更倾向于使用 'B, C' 数组字段而不是 ' ' 字段。
16. 
    请参阅 CSIv1.pdf，网址为 https://github.com/samtools/hts-specs。这是一个单独的规范，因为 CSI 还用于索引除 BAM 之外的其他坐标排序文件格式。
    
    W. James Kent 等, UCSC 人类基因组浏览器, Genome Res. 2002 12: 996-1006; doi:10.1101/gr.229102; PMID:12045153. 特别参见数据库, p1003.
17. 
    单个箱中的块数实际上受到可用内存的限制，并且在任何情况下通常最多为几千个。
    
    我们所说的“放置未映射读取”是指根据其 FLAG 未映射的读取，但其 RNAME 和 POS 字段已填充，因此将其“放置”在参考序列上（见第 2 节）。相比之下，未放置的未映射读取的 RNAME 和 POS 为 '*', 和 0。
18. 
    请参阅 https://github.com/samtools/hts-specs 中的 SAMtags.pdf 附录 A。