序列对齐/映射格式规范

1 SAM 格式规范

 1.1 示例

@HD VN:1.6 SO:coordinate
@SQ SN:ref LN:45
r001 99 ref 7 30 8M2I4M1D3M = 37 39 TTAGATAAAGGATACTG *
r002 0 ref 9 30 3S6M1P1I4M * 0 0 AAAAGATAAGGATA *
r003 0 ref 9 30 5S6M * 0 0 GCCTAAGCTAA * SA:Z:ref,29,-,6H5M,17,0;
r004 0 ref 16 30 6M14N5M * 0 0 ATAGCTTCAGC *
r003 2064 ref 29 17 6H5M * 0 0 TAGGC * SA:Z:ref,9,+,5S6M,30,1;
r001 147 ref 37 30 9M = 7 -39 CAGCGGCAT * NM:i:1

1.2 术语和概念

1.2.1 字符集限制

 1.3 页眉部分

1.3.1 已定义的子排序术语

1.3.2 MD5 计算参考

• 
  除 33 ('!') 至 范围之外的所有字符都会被删除。这将删除所有不可打印字符和空白字符，包括空格和新行。其他所有字符都会保留，即使不是合法的核苷酸代码。
• 
  所有小写字母都会转换为大写字母。这一操作等同于对 POSIX 本地语言中的字符调用 toupper()。
• 
  MD5 摘要的计算方法如 RFC 1321 所述，并以 32 个字符的小写十六进制数表示。

1.4 对齐部分：必填字段

1. 
   QNAME：查询模板名称。具有相同 QNAME 的读数/段被视为来自同一模板。QNAME '*' 表示信息不可用。在 SAM 文件中，当一个读数的排列是嵌合的或给出了多个映射时，它可能会占用多个排列行。
2. 
   FLAG：按位排列的 FLAG 组合。 下表解释了每个位：

• 
  对于 SAM 文件中的每个读取/连续文件，都要求与读取相关的一行且仅有一行满足 "FLAG & '。这一行被称为读取的主要行。
• 
  比特 0x100 标志着在某些分析中，当使用的工具意识到该比特时，将不使用对齐方式。当 SAM 中出现多个映射时，它通常用于标记替代映射。
• 
  位 表示相应的对齐行是嵌合对齐的一部分。标记为 0x800 的行称为补充行。
• 
  位 是判断读取是否未映射的唯一可靠依据。如果设置了 ，就不能对 RNAME、POS、CIGAR、MAPQ 以及位 和 做出任何假设。
• 
  位 0x10 表示 SEQ 是否已反向补码和 QUAL 反转。当第 0 x 4 位未设置时，这对应于测序段所映射的链路：第 0 x 10 位未设置表示正向链路，设置表示反向链路。当 0 x 4 位被设置时，表示未映射读数是否以从测序机上下来时的原始方向存储。
• 
  位 和 反映了所用测序技术中每个模板内固有的读数排序。 如果 和 都被设置，则读数是线性模板的一部分，但既不是第一个读数，也不是最后一个读数。如果 和 都未设置，则读数在模板中的索引未知。这种情况可能发生在非线性模板中，或者在数据处理过程中丢失了这一信息。
• 
  如果未设置 ，则无法对 和 进行假设。
• 
  表中未列出的位保留供将来使用。当前软件在写入时不应设置这些位，在读取时也应忽略它们。

3. 
   RNAME：比对的参考序列名称。如果存在 @SQ 标题行，RNAME（如果不是 ）必须出现在其中一个 SQ-SN 标记中。无坐标的未映射段有一个 ，在

• 
  "消耗查询 "和 "消耗参考 "分别表示 CIGAR 操作是否会导致比对沿着查询序列和参考序列进行。
• 
  H 只能作为第一个和/或最后一个操作出现。
• 
  S 与 CIGAR 字符串两端之间只能进行 H 运算。
• 
  对于 mRNA 到基因组的比对，N 运算代表内含子。对于其他类型的比对，N 的解释没有定义。
• 
  操作的长度总和应等于 SEQ 的长度。

7. 
   RNEXT：模板中下一个读数的主排列参考序列名称。对于最后一个读数，下一个读数是模板中的第一个读数。如果存在 @SQ 标头行，RNEXT（如果不是 或 ' '）必须出现在其中一个 SQ-SN 标记中。当信息不可用时，该字段将被设置为 "*"；如果 RNEXT 与 RNAME 相同，该字段将被设置为" "。如果不是' '，且模板中的下一次读取有一个主映射（另见 FLAG 中的位 ），则该字段与下一次读取的主行 RNAME 相同。如果 RNEXT 为 ，则不能对 PNEXT 和位 进行假设。
8. 
   PNEXT：1-based 下一读数在模板中的主排列位置。当信息不可用时设置为 0。该字段等于下一个读数主排列行的 POS。如果 PNEXT 为 0，则不能假设 RNEXT 和位 。
9. 
   TLEN：带符号的观察模板长度（Template LENgth）。对于模板中所有读数的主排列都映射到同一参考序列的主读数，TLEN 的绝对值等于模板的映射末端与模板的映射起点之间的距离（即末端-起点+1）。 注意，映射碱基的定义是与 CIGAR 所描述的参考文献对齐的碱基，因此不包括软缺口碱基。TLEN 字段对于模板最左边的片段是正值，对于最右边的片段是负值，中间片段的符号未定义。如果片段覆盖相同的坐标，则可以任意选择最左和最右的片段，但两端必须有不同的符号。如果是单段模板或当

1.5 对齐部分：可选字段

2 SAM 格式的建议做法

1.  页眉部分
   
   1 应该有 @HD 行，并指定 SO 标记或 GO 标记（但不能同时指定）。
   
   2 如果已对读数进行了映射，则应出现 @SQ 行。
   
   3 当 RG 标记出现在对齐部分的任何位置时，页眉中应出现一个与 ID 标记匹配的 @RG 行。
   
   4 当 PG 标记出现在对齐部分的任何位置时，页眉中应出现一个与 ID 标记匹配的 @PG 行。
2. 
   相邻的 CIGAR 行动应有所不同。
3. 
   不应将任何排列分配给制图质量为 255 的排列。
4.  未映射读数
   
   1 对于伴侣已被映射的未映射成对末端或伴侣对读数，未映射读数的 RNAME 和 POS 应与其伴侣相同。
   
   2 如果模板中的所有线段都未映射，则其 RNAME 应设置为'*'，POS 应设置为 0。
   
   3 如果 POS 加上 CIGAR 中 操作的长度总和超过 @SQ 头行（如果存在）LN 字段中指定的长度（SN 等于 RNAME），除非参考序列是环状的（见下文），否则应取消对齐。
   
   4 未映射读数应以它们从测序机上下来时的方向存储，并相应地取消反向标志位（ ）的设置。
5.  多重映射
   
   1 当一个数据段出现在多行中以表示该数据段的多重映射时，只有其中一条记录的辅助对齐标志位 ( ) 未被设置。RNEXT 和 PNEXT 指向模板中下一次读取的主行。
   
   2 SEQ 和次级排列的 QUAL 应设置为 ' 以减小文件大小。
6.  可选标签：
   
   1 如果模板有 2 个以上分段，则应出现 TC 标记。
   
   2 应该有 NM 标签。
7. 
   循环参考序列

3 SAM 中的装配序列描述指南

3.1 无衬垫表示法与有衬垫表示法

 3.2 填充式 SAM

@HD VN:1.6 SO:coordinate
@SQ SN:ref LN:47
ref 516 ref 1 0 14M2D31M * 0 0 AGCATGTTAGATAAGATAGCTGTGCTAGTAGGCAGTCAGCGCCAT *
r001 99 ref 7 30 14M1D3M = 39 41 TTAGATAAAGGATACTG *
* 768 ref 8 30 1M * 0 0 * * CT:Z:.;Warning;Note=Ref wrong?
r002 0 ref 9 30 3S6M1D5M * 0 0 AAAAGATAAGGATA * PT:Z:1;4;+; homopolymer
r003 0 ref 9 30 5H6M * 0 0 AGCTAA * NM:i:1
r004 0 ref 18 30 6M14N5M * * 0 0 0 ATAGCTTCAGC \
r001 147 ref 39 30 9M = 7 -41 CAGCGGCAT * NM:i:1

4 BAM 格式规范

4.1 BGZF 压缩格式

1. 
   标头中的 F.EXTRA 位被设置，表示存在额外字段。
2. 
   BGZF 使用的额外字段使用两个子字段 ID 值 66 和 67（ASCII "BC"）。
3. 
   BGZF 额外字段有效载荷（gzip 规范中的字段 LEN）的长度为 2（两个字节的有效载荷）。
4. 
   BGZF 额外字段的有效载荷是一个 16 位无符号整数，采用 little endian 格式。该整数表示包含的 BGZF 块的大小减一。

 4.1.1 随机访问

 4.1.2 文件结束标记

1f 8b 08 04 00 00 00 00 00 ff 06 00 42 43 02 00 1b 00 03 00 00 00 00 00 00 00 00 00

 4.2 BAM 格式

4.2.1 BIN 字段计算

 4.2.2 N_CIGAR_OP 字段

4.2.3 SEQ 和 QUAL 编码

4.2.4 辅助数据编码

 5 BAM 索引

 5.1 算法

5.1.1 基本分选指数

5.1.2 缩小小块

5.1.3 与线性指数相结合

5.1.4 概念范例

5.2 BAM 文件的 BAI 索引格式

5.3 计算仓号和重叠仓的 C 源代码

/* calculate bin given an alignment covering [beg,end) (zero-based, half-closed-half-open) */
int reg2bin(int beg, int end)
{
    --end;
    if (beg>>14 == end>>14) return ((1<<15)-1)/7 + (beg>>14);
    if (beg>>17 == end>>17) return ((1<<12)-1)/7 + (beg>>17);
    if (beg>>20 == end>>20) return ((1<<9)-1)/7 + (beg>>20);
    if (beg>>23 == end>>23) return ((1<<6)-1)/7 + (beg>>23);
    if (beg>>26 == end>>26) return ((1<<3)-1)/7 + (beg>>26);
    return 0;
}
/* calculate the list of bins that may overlap with region [beg,end) (zero-based) */
#define MAX_BIN (((1<<18)-1)/7)
int reg2bins(int beg, int end, uint16_t list[MAX_BIN])
{
    int i = 0, k;
    --end;
    list [i++] = 0;
    for (k = 1 + (beg>>26); k <= 1 + (end>>26); ++k) list[i++] = k;
    for (k = 9 + (beg>>23); k <= 9 + (end>>23); ++k) list[i++] = k;
    for (k = 73 + (beg>>20); k <= 73 + (end>>20); ++k) list[i++] = k;
    for (k = 585 + (beg>>17); k <= 585 + (end>>17); ++k) list[i++] = k;
    for (k = 4681 + (beg>>14); k <= 4681 + (end>>14); ++k) list[i++] = k;
    return i;
}

附录 A 区域解析符号

附录 B SAM 版本历史

1.6：2017 年 11 月 28 日至今

• 
  在 @RG PL 标题标记值列表中添加 SINGULAR。(2023年5月)
• 
  说明 @RG PI 值是整数。(2023年5月)
• 
  在 @RG PL 标头标记值列表中添加 ELEMENT 和 ULTIMA。(2022年8月)
• 
  说明标题字段标记在每一行中必须是不同的，而且标题字段和对齐方式可选字段的排序并不重要。(2021 年 6 月）
• 
  明确二级排列时 TLEN 的含义。(2021 年 5 月）
• 
  更改了 CIGAR 字符串不消耗参考碱基的排列记录的 Bin 计算：与未映射记录一样，它们被视为长度为 1（而不是 0）。(2021年1月)

• 
  更正索引伪区间的描述，之前的描述称 ref_beg/ref_end（后被命名为 unmapped_beg/unmapped_end）只包括放置的未映射读数。(2020年7月)
• 
  在 @RG PL 标头标记值列表中添加 DNBSEQ。(2020年4月)
• 
  添加 @SQ TP 循环/线性拓扑头标签。(2019年5月)
• 
  限制了参考序列名称（@SQ SN、RNAME 等）中允许使用的标点符号。@SQ SN 和 @SQ AN 中允许使用的字符集现在完全相同，这扩大了之前的 AN 字符集。(2019年1月)
  
  我们建议验证引用序列名称的实现使用第 1.2.1 节中的规则；对于声明 @HD VN 的文件应更加宽松；并且仅根据这些规则验证 AN，而不是之前限制性更强的 AN 规则。
• 
  添加 @HD SS 排序详细信息标题标签。(2018年10月)
• 
  B 数组可选字段可能没有条目 - 这在 BAM 中已经可以表示，澄清了 SAM 中也允许使用空数组。(2018年7月）
• 
  添加 @SQ DS 标题标记。(2018年7月）
• 
  添加 @RG BC 标题标签。(2018年4月)
• 
  允许在一些标题标记中使用 UTF-8。(2018年3月）
• 
  增加对操作数超过 65,535 次的 CIGAR 字符串的支持。(2017年11月）

1.5：2013 年 5 月 23 日至 2017 年 11 月

• 
  添加 @SQ AN 标头标签，只允许使用字母数字和 "*+.@_ - -'字符。(2017年7月)
• 
  添加 @SQ AH 标题标记。(2017年3月）
• 
  辅助标记迁移至 SAMtags 文档。(2016年9月）
• 
  Z 和 H 辅助标记允许长度为零。(2016年6月）
• 
  QNAME 限制为 254 字节（原为 255）。(2015年8月）
• 
  将 0x200 标志位概括为过滤掉的位。(2015年8月)
• 
  添加 @HD GO，以便进行团体订购。(2015年3月）
• 
  在 @RG PL 和 @RG PM 标题标记中添加 ONT。(2015年3月）
• 
  在未映射读数上增加反向 FLAG 的含义。(2015年3月）
• 
  记录 idxstats .bai 元素。（2014 年 11 月）
• 
  增加 CSI 指数。(2014年9月）
• 
  添加 @PG DS 标头字段。(2013 年 12 月）
• 
  记录 BAM EOF 字节值。(2013 年 12 月）
• 
  对齐类型词汇表。(2013 年 5 月）
• 
  请注意，PNEXT/RNEXT 指向的是下一次读取，而不是分段。(2013年5月）
• 
  添加 SUPPLEMENTARY 标志位。(2013 年 5 月）

1.4: 2011 年 4 月 21 日至 2013 年 5 月

• 
  添加序列注释（CT/PT 标记）使用指南。(2012年3月）
• 
  将最大引用长度从 增加到 。(2011年9月）
• 
  澄清 @SQ M5 标题标记的生成。(2011年9月)
• 
  描述填充排列。(2011年9月)
• 
  添加 @RG FO、KS 标头字段。(2011 年 4 月）
• 
  澄清 PG 记录的连锁。(2011 年 4 月）
• 
  添加 B 阵列辅助标记类型。(2011年4月)
• 
  允许在 SEQ 和 MD 辅助标记中使用 IUPAC。(2011年4月)
• 
  允许 QNAME "*"。(2011年4月）

1.3：2010 年 7 月至 2011 年 4 月

• 
  添加 RG PG 标头字段。(2010 年 11 月）
• 
  添加 BAM 说明和索引部分。(2010 年 11 月）
• 
  添加"="和" "CIGAR 操作。(2010 年 7 月）
• 
  删除 FLAG 字母。(2010 年 7 月）
• 
  SM 标头字段以前是 @RG 的必选字段，现在是可选字段。(2010 年 7 月）
  
  1.0: 2009 年至 2010 年 7 月

---

1. 
   因此，SAM 文件尤其不能以字节序号（BOM）开头，文本行只能以 ASCII 行结束符字符分隔。除了本地平台的文本文件行结束约定外，为实现与其他平台的互操作性，实施可能希望支持 LF 和 CR LF。
2. 
   FLAG 列中的值与位标志对应如下： ：第一个/下一个是反向补充正确对齐/多个区段；0：未设置标志，因此是映射的单个区段； x810：补充/反向补充； ：最后一个（一对区段中的第二个）/反向补充/正确对齐/多个区段。
3. 
   嵌合比对主要是由结构变异、基因融合、错误组装、RNA-seq 或实验方案引起的。在读数较长的情况下，嵌合对齐更为常见。对于嵌合对齐来说，构成对齐的线性对齐基本上是不重叠的；每条线性对齐都可能具有很高的映射质量，在 SNP/INDEL 调用中具有参考价值。相比之下，多重配对主要由重复序列引起。由于读数较长，多重映射的频率较低。如果一个读数有多个映射，那么所有这些映射几乎都是相互重叠的；除了单个最佳映射外，所有其他映射的映射质量都是 ，而且大多数 SNP/INDEL 调用器都会忽略这些映射。
   
   字符包括" "和" "，" "和" "出现在 HLA 等位基因名称中。附录 A 介绍了即使名称本身可能包含冒号，也能明确解析名称[:begin-end]区域符号的方法。
   
   最佳做法是在设计和试验新数据字段标记时，或仅在本地感兴趣的字段中使用小写标记。对于具有普遍意义的新标记，请提出 hts-specs 问题或发送电子邮件至 samtools-devel@lists.sourceforge.net 以在规范中添加等效的大写标记。这样就可以避免相同的大写标记被用于不同的含义。
4. 
   众所周知，广泛使用的软件库对 queryname 排序顺序的定义各不相同，这意味着在对不同来源的多个文件进行操作时应小心谨慎。工具可能希望使用子排序字段来明确区分自然排序和词典排序。参见第 1.3.1 节。
   
   排序顺序的重复可以进行有限的验证。例如，@HD SO:queryname SS:coordinate:TLEN 表示数据已被非 SS 感知工具重新排序（按查询名称），SS 字段应被忽略。
   
   参见 https://www.ncbi.nlm.nih.gov/grc/help/definitions 以了解备用位点和主要装配的说明。
   
   例如，在给定"@SQ SN:MT AN: chrMT,M, chrM LN:16569 TP:circular "的情况下，工具可以确保用户对 "MT"、"chrMT"、"M "或 "chrM "中任何一个的请求都能成功，并指向相同的序列。
   
   前面脚注的例子将 MT 识别为环状染色体。TP字段经常被省略，这意味着线性。
5. 
   参考序列名称可以包含任何可打印的 ASCII 字符（某些标点符号除外），并且不能以 "*"或"="开头。有关 [:rname:] 符号的详细信息和解释，请参见第 1.2.1 节。
6. 
   位标志的操作方法在维基百科（参见 "位字段"）和其他地方有所介绍。
   
   例如，在 Illumina 成对端测序中，第一个 ( ) 对应 R1 "正向 "读数，最后一个 ( 0 x 80 ) 对应 R2 "反向 "读数。(尽管用的是术语，但这与片段映射时的方向无关：映射后，任一片段的反向标志位 ( ) 都可能被设置。）
7. 
   因此，长度为 50 的基 100 上沿正向排列的区段和长度为 50 的基 200 上沿反向排列的区段表明模板覆盖基 100 至 249，长度为 150。
8. 
   本规范的最早版本使用 到 （原始方向，TLEN#1；读数的虚线部分表示软剪切碱基），而后来的版本使用最左到最右的映射碱基（TLEN#2）。注意：这两个定义在大多数排列中都是一致的，但在重叠的情况下有所不同，即第一个片段的排列超出了最后一个片段的起始位置。

   

    明确的方案

   

    模棱两可的方案
   
   在 SAM 中，整数可选字段的位数没有明确限制。不过，BAM 可以表示 范围内的值，因此实际上这也是 SAM 的" "的实际取值范围。
   
   例如，六字符十六进制字符串 "1 AE 301 "表示字节数组 [0x1a、0xe3、0x1]。
   
   显式键入简化了格式解析，并有助于在将 SAM 转换为 BAM 时减小文件大小。
   
   请参阅 https://github.com/samtools/hts-specs 中的 SAMtags.pdf。
9. 
   这种表示法对索引和随机存取的影响还有待实施探索。
10. Peter J. A. Cock, James K. Bonfield, Bastien Chevreux, and Heng Li, SAM/BAM format v1.5 extensions for de novo assemblies, bioRxiv 020024; doi:10.1101/020024.
11. 
    在 SEQ 字段中将焊盘/间隙写成 's 可能更方便，但这会引起向后兼容性问题。
    
    请参阅 SAMtags.pdf 中的注释和填充。
12. 
    L. Peter Deutsch，GZIP 文件格式规范 4.3 版，RFC 1952。
    
    值得注意的是，Java GZIPInputStream 类中存在一个已知错误，即该类无法成功解压缩连接的 gzip 压缩包。可以使用内置的 Java util.zip 包创建和处理 BGZF 文件，但由于该错误，在 BGZF 文件上天真地使用 GZIPInputStream 将无法工作。
13. 
    空，即压缩长度为零的数据块后形成的空。
    
    支持在追加模式下重新打开 BAM 文件的实现可以通过写入文件头和对齐记录、关闭文件（添加 EOF 标记）来生成文件；然后重新打开文件进行追加、写入更多对齐记录并关闭文件（添加 EOF 标记）。生成的 BAM 文件将包含一个嵌入的不重要的 EOF 标记块，在读取时应被有效忽略。
    
    在开始读取文件时生成诊断信息非常有用，这样交互式用户就可以放弃对可能损坏的文件进行冗长的分析。当然，这只有在有关流支持随机存取的情况下才有可能。
14. 
    如第 1.4 节所述，保留的 FLAG 位应写为 0，并在当前软件读取时忽略。
    
    为了向后兼容，不存在的 QNAME（在 SAM 中表示为" "）将存储为 C 字符串 "*\0"。
15. 
    每个整数值的符号性和大小由实现选择，但通常是最小的即可。
    
    出于历史原因，BAM 将" "字段值表示为文本十六进制数字，而不是二进制数据。现代应用程序可能更喜欢使用 "B、C "数组字段，而不是" "字段。
16. 
    请参见 CSIv1.pdf，网址为https://github.com/samtools/hts-specs。这是一个单独的规范，因为除了 BAM 之外，CSI 还用于索引其他坐标排序文件格式。
    
    W. James Kent 等人，《加州大学洛杉矶分校的人类基因组浏览器》，《基因组研究》，2002 年 12 期：996-1006；doi:10.1101/ gr.229102；PMID:12045153。特别参见《数据库》，第 1003 页。
17. 
    单个仓中的块数实际上受到可用内存的限制，在任何情况下，通常最多为数千个。
    
    "放置的未映射读数 "是指根据 FLAG 未映射的读数，但其 RNAME 和 POS 字段已被填入，从而 "放置 "在参考序列上（见第 2 节）。相反，未定位未映射读数的 RNAME 和 POS 字段为 "*"和 "0"。
18. 
    见 SAMtags.pdf 附录 A，网址：https://github.com/samtools/hts-specs。