开发高频交易系统

从头开始使用 C++或 Java 基础实现高频交易

开发高频交易系统

开发高频交易系统

 贡献者

 关于作者

 关于评论者

 目录

 序言

第 1 部分:交易策略、交易系统和交易所

1

高频交易系统的基础

 高频交易的历史

5

 动态网络

7

高频交易优化 - 日志记录、性能和网络

11

高频 FPGA 和加密

 序言

这本书是为谁而写的

 这本书涵盖

从这本书中获得最大收益

• 
  Linux 内核编程
• 
  《Java 编程入门》(https://www.packtpub.com/product/application-development/9781788296298)
• 
  C++高性能

下载彩色图像

 使用的惯例

/* Put header files here or function declarations like below */
    extern int add_1(int n);
    extern int add(int n, int m);

>>> import math
    >>> math.add_1(5)
    6

 小贴士或重要说明

 联系

 分享您的想法

第 1 部分:交易策略、交易系统和交易所

• 
  第 1 章,高频交易系统的基础
• 
  第 2 章,交易系统的关键要素
• 
  第 3 章，理解交易交易动力学

高频交易系统的基础

•  高频交易的历史
•  高频交易
•  参与者有谁
• 
  高频交易中有效的交易策略

 高频交易的历史

 1930 年代后期

• 
  1969 年:Instinet 是首批自动化系统基础设施之一。它加快了高速交易的结合。
• 
  1971 年:全国证券交易商协会自动报价系统(纳斯达克)于 1971 年创建,进行电子交易。

• 
  1996 年:岛屿 ECN 是美国股票交易的开创性电子通信网络,而 Archipelago 则通过创建 Archipelago Exchange(ArcaEx)促进了在美国交易所的电子交易。
• 
  2000 年代:10%的交易是 HFT 交易。

 现代时代

 为什么有高频交易?

什么让高频交易与常规交易如此不同?

• 
  纳斯达克交易所,位于纽约市,是世界上第一个电子股票交易所。其所有股票均通过计算机网络进行交易。它在 1971 年通过取消实体交易场所和现场交易的要求,革新了金融市场。它是世界第二大股票交易所,市值排名。纳斯达克综合指数的一半由科技公司构成。消费行业占综合指数的不到 20%,排名第二,其次是医疗保健行业。
• 
  纽约证券交易所(纽交所),位于纽约市,是世界最大的股票市场交易所。2013 年,洲际交易所(ICE)收购了纽交所。
• 
  伦敦证券交易所(LSE),位于英国伦敦,是欧洲最大的证券交易所,也是英国主要的股票和债券交易所。它成立于 300 年前左右。
• 
  东京证券交易所(TSE)是日本最大的证券交易所,总部位于东京。它成立于 1878 年。该交易所拥有 3,500 多家上市公司。由日本交易集团运营的 TSE 是世界上最大和最著名的日本公司的所在地,包括丰田、本田和三菱。
• 
  芝加哥商品交易所（CME），有时也被称为芝加哥商品交易所，是位于伊利诺伊州芝加哥的一家受监管的期货和期权交易所。CME 交易的行业包括农业、能源、股票指数、外汇、利率、金属、房地产和天气。
• 
  直接边缘,泽西城。它的市场份额迅速上升至美国股票市场的第十位,每天通常交易超过 20 亿股。更好的替代交易系统(BATS)全球市场是一家总部位于美国的交易所,交易各种资产,包括股票、期权和外汇。2017 年,CBOE 控股公司收购了它,它于 2005 年创立。BATS 全球市场在被收购前是美国最大的交易所之一,以为经纪交易商、零售和机构投资者提供服务而闻名。
• 
  芝加哥期权交易所

•  交易限制
• 
  交易系统透明度(市场参与者之间共享的关于架构细节以及订单处理方式的信息)
• 
  被接受的金融工具类型
• 
  发行人的限制

 暗池效应

 谁进行高频交易?

开始高频交易需要什么？

• 
  快速计算机:HFT 在大多数情况下关注单核处理能力,策略通常不使用并行处理。
• 
  在美国,我们使用共同位置。这是一个所有高频交易参与者都有他们的生产服务器的地方。他们将支付将他们的计算机与交易所的计算机服务器共同位于同一数据中心,以降低延迟并缩短完成交易所需的时间,甚至是微秒。连接所有市场参与者交易系统与服务器的电缆长度相同,以确保没有参与者拥有优势。美国证券交易委员会已发布广泛征求有关共同位置费用以及影响股票市场结构的其他问题的反馈的请求。为确保市场参与者之间的公平性,重要的是共同位置费用应合理定价。美国证券交易委员会邀请共同位置方报告他们的费用。
• 
  低延迟:在高频交易中,延迟指从数据到达交易员计算机、交易员根据数据下单以及订单被交易所接受的时间。订单可能在最有利的时候与其他交易员下的众多订单一起进入市场。在这种情况下,存在与大量其他人竞争的危险。订单的盈利性可能不如预期。高频交易员能够以难以置信的快速速度下单,这得益于被宣传为低延迟或超低延迟的技术。使用专门设计用于减少数据从一个地方到另一个地方的传输延迟的设备很重要。
• 
  计算机算法,它们是 AT 和 HFT 的核心,以及实时数据源,可能会损害收益。

 高频交易策略

 资产类别

 流动性

逐笔数据和数据分布

• 
  波动率聚集:大变化会导致后续大变化,无论是正负,而小变化则会导致后续小变化。
• 
  远程依赖（长期记忆）指的是当两个位点之间的时间间隔或空间距离增加时，它们之间的统计依赖性衰减的速度。

 流动性回扣

 匹配引擎

 做市

 做市客/做市商

图 1.1 代表了交易所的限价订单簿。当交易策略下达的订单接近订单簿顶部(表示买入和卖出的最佳价格),我们称这是一个进攻性订单。这意味着该订单很可能与其他订单配对成交。如果订单执行,这意味着市场流动性被移除;它是一个市场接手者。当交易者以订单簿顶部的卖出价格下达买入订单时,我们称之为跨价。如果订单较为被动,该订单将不会从市场中移除流动性;它是一个做市商。

 做市商策略

• 
  大量的买卖可以推动市场价格,基于动量。
• 
  流体的流动(买单和卖单有多大:小、中或大)。
• 
  动量耗尽(当订单流量枯竭时,这可能预示着价格反转)。

 炒股

 统计套利

 延迟套利

 新闻影响

 动量点火

 返利策略

 正在 Ping

 非法活动

 前跑

 欺骗

 层叠

 摘要

2 交易系统的关键组成部分

• 
  理解交易系统
• 
  制作交易系统与交易所交易
•  订单管理
• 
  制定交易决策的策略

理解交易系统

• 
  资产类别:了解将在交易系统中使用的资产类别将改变该软件的数据结构。每个资产类别都是独特的,都有自己的特点。建立一个用于美国股票的交易系统与建立一个用于外汇(FX)的系统是不一样的。美国的股票主要在纽约证券交易所(NYSE)和 NASDAQ 两个交易所进行交易。这两个交易所共有大约 7,000 家上市公司(代码)。与股票不同,外汇包括 6 种主要货币对、6 种次要货币对和 6 种 exotic 货币对。我们可以添加更多货币对,但不超过 100 个。与美国股票市场只有两个主要交易所不同,外汇市场将有数百个交易所。符号数量和交易所数量的变化将改变交易系统的架构。
• 
  交易策略类型(高频,长期头寸):软件体系结构将受交易策略类型的影响。HFT 策略需要在非常短的时间内传输订单。对于美国股票而言,标准交易系统将决定在微秒内发送订单。芝加哥商品交易所(CME)交易系统的延迟在纳秒级别。根据这一发现,技术将在软件设计过程中发挥重要作用。如果我们只考虑编程语言,Python 不适合速度,我们会更喜欢选择 C++或 Java。如果我们希望采取长期头寸,例如持续数天的头寸,交易员比其他人更快获得流动性的速度无关紧要。
• 
  用户(或交易技术)数量:随着交易者人数的增加,交易策略的多样性也在增加。这表明订单数量将会增加。在向交易所提交订单之前,我们必须确保即将发送的订单是有效的;我们必须确保特定工具的总头寸尚未达到。

交易系统架构

以下架构图表示交易系统架构。在该图左侧部分,我们可以看到交易场所。交易场所是一个更广泛的术语,用于任何为多方的证券和/或衍生产品匹配买卖订单的平台。换言之,交易场所可以是交易所、ECN、聚合器或银行。交易系统与交易场所进行通信,以从所有参与者那里收集价格更新信息并发送订单。为此,交易系统需要一个称为网关的软件组件,用于确保交易系统与交易场所之间的通信。账簿构建器将从网关收集的数据构建限价单薄。最后,策略将通过订单管理器将订单发送到交易场所。订单管理器负责收集来自系统策略的所有订单,并跟踪订单的生命周期。这些组件都是将订单发送到市场的关键路径的一部分。

连接贸易交易所的网关

 数据收集

贸易系统的大门位置如下图所示。它们是贸易系统的输入和输出。

• 
  交易商、交易所、电子通讯网络和暗池由场所表示。
• 
  不同的协议可用于连接场地(它们用箭头表示)。
• 
  有线网络、无线网络、互联网、微波和光纤都是传输数据的选择。在速度、数据损失和带宽方面,这些网络媒体各有自己的特点。
• 
  价格更新和订单的箭头是双向的,因为我们可以发送数据到各场所/从各场所接收数据。
• 
  要开始接收价格更新,网关将与场所建立网络连接,验证自身,并订阅某个金融工具(我们将在下一节中解释这部分内容)。
• 
  订单处理网关也接收和发送通信。当下订单时,它通过网络转发给场地。
• 
  如果场所收到此订单,将发送确认。当此订单与匹配订单相符时,将向交易系统发出消息。如果场所未收到订单,则不会发送确认。由交易系统宣布订单超时。在这种情况下,交易员需要介入并检查系统中出现的问题。

制作交易系统与交易所交易

交易系统的功能组件、网关接口以及交易系统与外部世界的交互情况如下图所示:

• 
  这个交易计划将在您应用交易策略时存在于您的机器上。交易将在另一台计算机上进行。
• 
  因为这两个设备位于不同的位置,它们必须通过网络连接。
• 
  系统使用的通信方式可能会根据其位置而有所不同。
• 
  如果交易系统共处于同一设施(机器在同一场所),则将使用单根电线,这将最大限度地减少网络延迟。
• 
  采用云解决方案的话,互联网可能成为另一种通信模式。在这种情况下,与直接连接相比,通信将明显更慢。

查看以下图表,它显示了网关之间发生的通信

• 
  当我们更仔细地检查由网关处理的通信时,我们可以看到这些场所可能使用各种不同的协议。
• 
  将协议转换为交易系统数据结构,网关需要能够处理各种协议。

查看通信 API

网络基础

• 
  电线
•  光纤:更多带宽。
• 
  微波: 它安装简单,带宽很大,但很容易受到暴风雨的影响。

 订单管理

定价变更由网关转换,然后传递给图书生成器,如下图所示。图书生成器将使用网关从场馆收到的图书,以及收集和排序任何定价变更。

在以下图示中,我们使用某金融产品订单簿的示例。订单簿包含两部分,一部分为买单,另一部分为卖单。对于每一部分,我们将存储订单的场所、数量和价格。每个场所将发送其自身的订单簿。订单簿构建程序的目标是综合考虑三个场所的订单簿来创建一个订单簿。本图示中所表示的数据为人工生成的。

• 
  您可以看到这些书中每一行都有一个订单。
• 
  例如,在场地 1 的报价单上的交易员准备购买 1,000 股 $\mathrm{\$}1.21$$\mathrm{\$}1.21$$1.21\$ 1.21 。另一方面,有一份急于出售的人员名单。
• 
  报价(或询价)价格几乎总是高于出价价格。确实,如果你可以以低于销售价格的价格购买,那将太简单了。
• 
  书籍建设者的工作是从三个地方收集三本书,这些地方是由大门收集的。书籍建设者组织并整理这三本书。

订单簿考虑

• 
  以首次发送整本书的方式。发送整本书会消耗大量时间。事实上,如果我们有大型交易所(如纽约证券交易所或纳斯达克),一秒钟内会有数百万个订单被发送。如果每次交易所收到新订单时都发送整本书,网络将会饱和,价格更新需要花费太长时间。
• 
  本书是交易系统的关键部分,它将为交易策略提供信息以决定何时发送订单。订单簿包含当前在交易所的出价和订单。当价格更新发送到我们的交易系统时,其他市场参与者会同时收到相同的更新。所有其他市场参与者也可以决定在此价格更新后运行。当交易所收到许多订单时,首先收到的订单将首先执行。这就是为什么订单簿在延迟中起重要作用,必须优化订单簿的所有操作。

• 
  插入：插入是一个将新订单添加到订单簿的簿记操作。这应该是一个快速的操作。由于我们必须对收到的价格更新进行报价和报价排序，因此我们选择用于此操作的方法和数据结构是至关重要的。要插入新的订单，我们需要使用具有 $O(1)$$O(1)$O(1)O(1) 或 $O(\log n)$$O(\log n)$O(log n)O(\log n) 复杂度的数据结构。
• 
  修改订单
• 
  取消:使用订单 ID,取消允许将订单从簿册中撤回。

• 
  不断的查找,快速的数量更新:订单簿为一种特定工具存储了大量的订单。大型交易所每秒可能有数百万个订单。由于订单越来越多,保持订单 ID 的查找时间恒定很重要。我们每秒需要查找数百万个订单 ID 来更新这些订单。此外,我们需要快速检索最佳价格的订单。按价格查找订单的复杂度不能是线性的。因此,我们将使用快速索引(以对数时间查找特定价格的订单)。
• 
  以价格顺序迭代:当购买或出售大量时,我们可能需要找到许多订单才能达到给定的交易量。在这种情况下,我们将从最优价格开始,然后转到次优价格,并将继续这样做。在这种情况下,达到下一个最优价格的执行速度也非常重要,需要非常低的复杂性。
• 
  以恒定时间检索最佳买入价和卖出价:由于我们主要处理最佳价格,因此我们需要拥有一种数据结构,能够返回买入订单和要约订单的最佳订单。

• 
  组织订单标识符以在巨大的关联数组中订单信息(对于 C++,可以是 std::unordered_map 或 std::vector)。
• 
  订单元数据包括对订单簿和它所属的价格水平的引用,因此,在检查订单后,订单簿和价格水平数据结构只需一次解引用即可。在使用订单执行或订单减少操作时,如果有价格的引用,就可以进行 $O(1)$$O(1)$O(1)O(1) 减少。如果您希望跟踪时间优先级,可以保留指向队列中下一个和前一个订单的指针。
• 
  因为大多数变化发生在书籍内部,为每本书的价格水平使用向量将导致最快的平均价格查找。因为期望的价格通常只是从内部几个层次,而线性搜索在分支预测器、优化器和缓存上更简单,从向量末端线性搜索平均比二进制搜索更快。当然,病理性订单可能存在于书籍之外,攻击者可能理论上在书籍末端传输大量更新以降低您的实现速度。但是,在现实中,这通常会产生一种缓存友好的、几乎可以用于插入、查找、更新和删除(在最坏情况下使用内存复制)的实现。
• 
  这具有极低的常量插入、查找、删除和更新的最佳情况行为。不幸的是,由于缓存、TLB 和编译器友好性,您可能会以低概率实现最坏情况行为,但仍有非常出色的常量。在最佳出价和要约(BBO)更新方面,它也非常快速,几乎理想。

制定交易决策的策略

交易策略就是系统的大脑。这里是我们将我们的交易概念算法付诸实施的地方。让我们来看看这个图表:

• 
  这种策略的信号组件只专注于产生信号。但是,拥有意图(信号)并不能保证您会获得您感兴趣的流动性。例如,在高频交易中,很可能会由于交易速度而被拒绝您的订单。
• 
  执行策略的部分将负责处理来自市场的响应。这部分决定了对于市场的任何响应该采取什么行动。例如,当订单被拒绝时应该发生什么?您应该继续努力获得等同的流动性和另一个价格。

 世界卫生组织

战略提交的订单由 OMS 收集。订单生命周期由 OMS 跟踪(创建、执行、修改、取消和拒绝)。OMS 收集交易策略订单。如果订单无效或格式错误,OMS 可能会拒绝(数量太大、方向错误、价格错误、未偿还头寸过多或交易所无法处理的订单类型)。当 OMS 中发现错误时,该订单不会离开交易系统。拒绝会更快发生。因此,交易策略可以比订单被交易所拒绝时更快做出反应。让我们看看下图,它描绘了 OMS 的关键特征:

 关键组件

 非关键组件

 指挥与控制

交易者与交易系统之间的联系被称为命令和控制。它可能是一个命令行系统或接受交易者订单并将其路由到必要组件的用户界面。请看以下图表:

 服务

• 
  此服务器保持跟踪所有交易。它更新所有交易金融资产的头寸。例如,如果以 $\mathrm{\$}1.2$$\mathrm{\$}1.2$$1.2\$ 1.2 的价格进行了 100,000 EUR/USD 的交易,名义头寸将为 $\mathrm{\$}120,000$$\mathrm{\$}120,000$$120,000\$ 120,000 。如果交易系统组件需要 EUR/USD 的头寸数量,它将订阅位置服务器以获取头寸更新。订单管理器或交易策略可能需要在允许订单出去之前了解此信息。如果我们想将某一资产的头寸限制在 200,000 美元以内,另一个获得 100,000 EUR/USD 的订单将被拒绝。
• 
  日志系统：这将从组件收集所有日志并编写文件或修改数据库。日志系统有助于调试、查明问题原因,并提供报告。
• 
  观众(只读用户界面视图):这些显示交易的视图(如头寸、订单、交易和任务监控)。
• 
  控制查看器(交互式用户界面):这些提供了一种修改参数和启动/停止交易系统组件的方法。
• 
  新闻服务器：这从许多新闻公司(如彭博社、路透社和 Ravenpack)收集新闻,并实时或按需向交易系统提供这些新闻。

 摘要

3

理解交易交换动力

• 
  了解交易交易所
• 
  了解匹配引擎
• 
  交易所架构

构建大规模交易所以处理订单

交易所历史

了解交易的特点

• 
  这些是市场参与者在交易所交易的公司。它们基本上是经过首次公开募股程序成为公众公司的私营企业。估值、流动性和合规费用都是选择上市交易所时需要考虑的重要因素。
• 
  撮合引擎:这将类似于旧的矿坑,经纪人站在附近对彼此大声叫喊指令。现在它已完全自动化为一个撮合引擎算法,负责处理交易。在市场上,引擎会发布订单簿(待成交订单)并正确进行撮合。这些交易被撮合和完成的速度有所不同,以纳秒为单位来计量。交易引擎确定价格的方式在不同交易所略有不同。在一般订单簿和撮合引擎部分,我们将更深入地解释它。
• 
  交易后:付款和结算,以及交易对账都是这个过程的一部分,以确保所有订单都正确匹配和完成。本质上,这是繁琐(但必要)的后端工作。
• 
  市场数据:交易所处理大量数据。它被出售给各种市场参与者。交易价格、交易量、公司公告/文件等都是这种情况的例子。我们在第 1 章"高频交易系统基础"中定义的共同位置也由于高频交易变得很普遍。因此,数据的访问速度也成为了一种营销对象。
• 
  市场参与者：结算会员和交易会员是市场参与者。每个参与者都有自己的一套资格要求，结算会员的要求更为严格。

• 
  根据资产类别，不同的监管政策也不尽相同。不同的交易所将根据管辖区域制定不同的监管政策。这样做是为了防止洗钱和市场操纵,如内幕交易和操纵市场。
  
  交易所也可以监控公司公告,以确保所有必要的披露都得到满足,从而促进透明的市场。除了管理市场参与者,交易所还必须处理内部合规和政府当局。
  
  我们已经学习了交易所必须具备的特征;现在我们将详细讨论交易所的架构。

 交换体系结构

• 
  支持前台、中台和后台交易能力,以及基本和复杂的基于规则和算法的交易技术。
• 
  支持对前述策略在开发生命周期中进行回测和实时执行。
• 
  显示交易和出入账单用户界面(桌面应用程序、基于 Web/移动应用程序)。
• 
  支持以服务(TaaS)商业模式提供公用事业,并通过开放 API 进行交付。我们在前一章中谈到了使用 FIX 协议与交易系统和交易所进行 API 集成。
• 
  支持与广泛的外部各方进行全球一体化。
• 
  支持广泛的金融产品。
• 
  应该高度可扩展。

我们在下图中展示了一个交易所的主要功能（我们表示了三家公司的三个队列：特斯拉、微软和苹果）

1. 
   根据资产类别和工具,它将被路由到队列。每个队列都是为一个给定的价格和一个给定的符号而创建的。
2. 
   撮合引擎一次处理一个订单。
3. 
   如果委托簿发生变化(由撮合引擎处理),该变化将通知交易员,并提供给所有市场参与者(如发生交易,每次更新将发送至清算/交易后处理)。

交易明细册和撮合引擎

匹配引擎算法在图 3.2 中描述。输入是来自交易员的订单(1)和订单簿(2)(其中包含已在交易所下单的订单)。该算法将返回交易列表(3)和剩余订单列表(4)。每个进入系统的订单都将逐一处理。

 最优价格方案

根据图 3.3 中所示,匹配引擎算法寻找可用的最佳价格。在此图中,我们可以看到订单#1 进入交易所。该订单将与订单#3 匹配,因为订单价格对买家更有利。事实上,买家想以 $\mathbf{\$}\mathbf{1}\mathbf{0}\mathbf{0}$$\mathbf{\$}\mathbf{1}\mathbf{0}\mathbf{0}$$100\mathbf{\$ 1 0 0} 的价格购买某项资产。交易所有这项资产以 $\mathbf{\$}\mathbf{9}\mathbf{9}$$\mathbf{\$}\mathbf{9}\mathbf{9}$$99\mathbf{\$ 9 9} 和 $\mathbf{\$}\mathbf{1}\mathbf{0}\mathbf{0}$$\mathbf{\$}\mathbf{1}\mathbf{0}\mathbf{0}$$100\mathbf{\$ 1 0 0} 的价格供应。匹配引擎将与可用的最佳价格 $\mathbf{\$}\mathbf{9}\mathbf{9}$$\mathbf{\$}\mathbf{9}\mathbf{9}$$99\mathbf{\$ 9 9} 进行匹配。

 部分填充场景

在图 3.4 中的示例中,我们有订单#1 数量为 $\mathbf{4}$$\mathbf{4}$4\mathbf{4} 以及订单#3 数量为 $\mathbf{1}$$\mathbf{1}$1\mathbf{1} 。在这种情况下,为了填补订单#1,我们需要再有三份股票。这个交易所的订单簿中没有足够的数量来满足这笔交易。因此,订单#3 和订单#2 将被填满,剩余数量 $\mathbf{1}$$\mathbf{1}$1\mathbf{1} 来自订单# $\mathbf{1}$$\mathbf{1}$1\mathbf{1} 将保留在交易所。这就是为什么在这种情况下算法的输出是两个已填满的订单和一个剩余的订单。

 没有匹配的情况

在图 3.5 所示的情况下,我们有订单#1 进入系统,订单簿有两个订单,#2 和#3。由于买入价格为 98 美元,远低于参与者准备出售的价格,订单匹配引擎将不会匹配任何订单。订单#1 将留在交易所:

多个订单,价格相同

在图 3.6 中描述的场景中,我们有两个价格相同的订单和一个价格相同的新订单。订单的成交方式取决于撮合引擎的配置。

 先进先出

时间/价格优先,也称先进先出(FIFO)是最广泛使用的算法。从图 3.1 所示的交易架构可以看出,订单是按价位存储在队列中的。一旦订单进入撮合引擎,它们会被贴上进入系统的时间戳。因此,不会有两个订单拥有相同的时间戳。使用 FIFO 算法时,我们会将新订单与时间戳较早的订单进行撮合。在这种情况下,订单#3 在市场上停留的时间比订单#2 长,因此订单#3 会先与新订单#1 进行撮合。任何对订单的修改都会导致其在执行顺序中丢失优先级。根据不同交易所的规则,改变某个订单的数量可能会使其失去优先级。但对于所有交易所来说,如果价格发生变化,订单都会失去优先级,因为需要重新排入 FIFO 队列。

 纯比例制

订单使用按比例算法填充,考虑定价、订单批量和时间。市场参与者的订单会按数量平均分配到匹配的对手单。

其他类型的按比例匹配

按比例分配

 摘要

如何设计高频交易系统

• 
  第 4 章,高频交易系统基础 - 从硬件到操作系统
• 
  第 5 章,移动网络
• 
  第 6 章, HFT 优化 - 架构和操作系统
• 
  第 7 章,HFT 优化 - 日志记录、性能和网络

4 高频交易系统基础 - 从硬件到操作系统

• 
  高频交易计算机
• 
  使用操作系统进行高频交易
•  编译器的作用

高频交易计算机

对于任何低延迟交易策略,很容易想象您可能需要某些专门的计算机硬件。事实并非如此-大多数硬件都是普通的现成硬件。对于大多数情况,如何配置硬件更为重要。图 4.1 显示了一个主要 CPU,代表了 HFT 系统开发人员如何看待 CPU 的架构。

CPU、从多处理器到多核心

图 4.2 描绘了一个现代多插座系统架构。内存或 I/O 设备直接连接到特定的 CPU 插座。它们被称为是与 CPU 本地的。其他 CPU 可以通过互联连接(如英特尔的 Ultra Path Interconnect 或 AMD 的 Infinity Fabric)连接到单一系统。假设一个 CPU 试图访问连接到不同 CPU 的内存或 I/O 设备,这被称为访问远程资源。当我们比较一个 CPU 访问其本地资源与通过互联连接访问远程 CPU 所需的时间时,我们发现互联连接要慢得多,仅访问本地内存。我们称这种访问时间为非均匀的,并将这些架构称为非统一内存访问(NUMA)。cache-coherent NUMA 或 ccNUMA 一词指的是,即使另一个 CPU 核心已修改了数据,CPU 核心也能保证对内存有正确的视图。NUMA 架构可以扩展到大量的核心。可以将每个 CPU 视为一个单独的计算机系统,通过网络互相连接。

超线程和同时多线程

图 4.3 描绘了在一个多线程核心中使用超线程的情况。我们可以观察到,如果一个任务需要等待访问内存段而同时运行另一个任务,硬件可以模拟并发执行。如果一个系统调用(或中断)需要访问内核,所有任务都将暂停。

 主随机存取存储器

 缓存

图 4.4 显示了一个现代多核 CPU 的典型缓存层次结构。L1 缓存分为两部分:数据缓存和指令缓存。L2 和 L3 缓存将自由混合指令和数据,就像主存储器一样。

 缓存结构

 一级缓存

 二级缓存

 三级缓存

 共享内存

 输入/输出设备

使用操作系统进行高频交易系统

• 
  抽象访问硬件资源
•  进程调度
•  内存管理
• 
  存储和访问数据的方式
• 
  与其他计算机通信的方式
•  干扰管理

用户空间和内核空间

进程调度和 CPU 资源管理

• 
  抢占式多任务处理:Linux 和大多数操作系统实现了抢占式多任务方法。抢占式多任务处理旨在确保一个进程不能垄断整个系统。每个进程被分配一段特定的运行时间,这段时间称为时间片。一旦时间片用完,调度程序就会停止该进程的运行。除了防止进程占用过多时间外,这种方法还允许调度程序做出全局处理决策。许多抢占式多任务调度程序都试图了解 NUMA 拓扑结构,并尽可能将线程执行在靠近其资源的地方,但实现这一点通常很困难。
• 
  协作式多任务处理:这与其他方式有所不同,主要是因为它允许一个进程在自愿停止运行之前一直运行。我们称自愿停止运行的过程为交出控制权。这种方法通常用于实时操作系统,因为工程师不希望对延迟敏感的代码受到调度程序或其他正在运行的任务的干扰。您可以想象,如果某个关键安全过程的实时控制系统出现问题,或者某个订单延迟到达市场而被别人抢先,这将是灾难性的。像 Linux 这样的操作系统提供了一种形式的协作式多任务处理,如果谨慎使用,这对于延迟敏感的代码非常有用。通常,这是为了支持使用 Linux 的实时应用程序。

 内存管理

页式内存和页表

图 4.5 表示使用页面的过程。任何物理页面都可以存在于多组页面映射中。这意味着不同的线程,可能在不同的 CPU 核心上运行,可以在其地址空间内访问同一个内存页面。

 系统调用

 线程

 干扰管理

图 4.6 展示了在单核模型中使用中断(或系统调用)对 CPU 执行任务的影响。我们可以观察到调度器会在当前运行的任务和内核中的中断上下文之间切换。内核花费更多时间处理中断请求,这就减少了可用于运行用户任务的 CPU 时间。

图 4.6 - 任务调度中的中断或系统调用的影响

图 4.7 显示了两个 CPU 核心的好处,这两个任务不需要共享时间。这个例子表明,如果我们将任务固定在给定的内核上,我们将减少上下文切换的次数,并减轻内核中断的影响。这个例子还假设中断请求只由一个核心提供服务。因此,只有任务 1 会被打断来为硬件服务。

 编译器的作用

• 
  循环展开是这种权衡的一个例子。因为循环展开时迭代次数减少,退出检查的开销也减少了。此外,分支指令更少,这可能会根据架构的不同而产生开销。对于完全展开的循环,没有退出测试。循环展开可能会导致编译器进行进一步的优化(例如,在上述完全展开的版本中,所有数组偏移量都是常量,这是编译器可能能够利用的)。
• 
  函数内联可以将函数调用替换为该函数本身的汇编代码，从而为更多的汇编代码优化提供机会。
• 
  表和计算。编译器可以帮助创建数据结构以避免重新计算。他们将保持已计算值的值。

 可执行文件格式

静态链接与动态链接

 摘要

 动态网络

• 
  高频交易系统中的网络理解
• 
  高频交易系统之间的网络通信
• 
  重要的协议概念
• 
  为高频交易交易所设计金融协议
• 
  内部网络与外部网络
• 
  理解数据包的生命周期
•  监控网络
• 
  时间分配的价值

高频交易系统中的网络理解

学习关于网络概念模型

	7	应用程序	高级 API
	6	演示	应用程序和会话层之间的翻译;编码、压缩、加密。
	5	会话	管理与其他端点的通信,例如重传。
	4	运输	确保数据段在端点之间的可靠传输。
$$\begin{array}{rl}& \frac{1}{\pi }\\ & \sum _0^2\\ & \frac{0}{\pi }\\ & \frac{1}{1}\end{array}$$$$\begin{array}{rl}& \frac{1}{\pi }\\ & \sum _0^2 \\ & \frac{0}{\pi }\\ & \frac{1}{1}\end{array}$${:[(1)/(pi)],[sum_(0)^(2)],[(0)/(pi)],[(1)/(1)]:}\begin{aligned} & \frac{1}{\pi} \\ & \sum_{0}^{2} \\ & \frac{0}{\pi} \\ & \frac{1}{1} \end{aligned}	3	网络	地址管理、交通控制、路由。
	2	数据链路	可靠的数据帧传输在物理角度来看
	1	物理的	从原始位到适合于介质的任何形式的转换。

https://cdn.mathpix.com/cropped/2024_11_08_c298ff4244b140b858afg-095.jpg?height=140&width=44&top_left_y=1569&top_left_x=404 7 Application High-level APIs 6 Presentation Translates between Application and Session layers; encoding, compression, cryptography. 5 Session Manages the communication with the other endpoint such as retransmission. 4 Transport Ensures reliable transmission of data segments between endpoints. "(1)/(pi) sum_(0)^(2) (0)/(pi) (1)/(1)" 3 Network Addressing, traffic control, routing. 2 Data Link Reliable data frame transmission between endpoints from a physical point of view. 1 Physical Conversion from raw bits to whatever is appropriate for the medium.|  | 7 | Application | High-level APIs | | :---: | :---: | :---: | :---: | | | 6 | Presentation | Translates between Application and Session layers; encoding, compression, cryptography. | | | 5 | Session | Manages the communication with the other endpoint such as retransmission. | | | 4 | Transport | Ensures reliable transmission of data segments between endpoints. | | $\begin{aligned} & \frac{1}{\pi} \\ & \sum_{0}^{2} \\ & \frac{0}{\pi} \\ & \frac{1}{1} \end{aligned}$ | 3 | Network | Addressing, traffic control, routing. | | | 2 | Data Link | Reliable data frame transmission between endpoints from a physical point of view. | | | 1 | Physical | Conversion from raw bits to whatever is appropriate for the medium. |

• 
  会话层、演示层和应用层:这三层可以重新组合(简化)因为这些是我们将在软件级别使用的层。在高频交易系统中,我们关注以下四层,因为它们提供了高级优化机会。
• 
  传输层：它管理交付并包含数据包中的错误。网络层负责序列化、数据包大小和系统之间的数据传输。在金融领域,我们主要使用两种协议:传输控制协议(TCP)和用户数据报协议(UDP)。
• 
  网络层:这一层从数据链路层接收帧,并使用逻辑地址将它们传递到预定的目的地。我们将使用称为互联网协议(IP)的寻址协议。与 IP 版本 6(IPv6)不同,IP 版本 4(IPv4)是一种轻量级且用户友好的协议,是金融行业中最广泛使用的协议。
• 
  数据链路层：该层通过使用奇偶校验或循环冗余校验(CRC)等技术检测错误,从而纠正可能在物理层发生的错误。
• 
  物理层:这是两台机器用来通信的媒体,包括光纤、铜缆和卫星。所有这些媒体都有不同的特性(延迟、带宽和衰减)。根据我们想要构建的应用程序类型,我们将使用其中一个。这个物理层被认为是 OSI 模型中最低层。它负责在发送方的物理层和接收方的物理层之间传递原始的非结构化数据位,无论是电子还是光学方式。网络集线器、布线、中继器、网络适配器和调制解调器都是物理层中找到的物理资源。

高频交易系统之间的网络通信

网络创新有潜力带来巨大差异,影响贸易。

以下图表描述了网络的抽象模型。当两个设备通信时,需要一个介质来传输数据。它们通过连接到网络设备(如交换机)的物理连接进行通信。交换机负责将数据包从网络的一个部分移动到另一个部分,在那里我们可以找到数据发送方发送的收件人。

• 
  网卡将计算机的信号转换为网络信号,反之亦然。网卡处理数据的时间可忽略不计,但并非零。网卡被选中用于低延迟数据路径以及其他功能,例如以下功能:
• 
  总线:总线将数据从计算机的一个组件传输到另一个组件。我们可以找到三种主要类型的总线:外围组件互连(PCI)、PCI 扩展(PCI-X)和 PCI Express (PCIe)。它们都有不同的速度。在 2017-2018 年,行业开始使用 PCIe 5.0,工作速率为 63 吉字节每秒(GB/s)。虽然 PCIe 6 已于 2019 年发布,但 PCIe 5.0 仍是 NIC 最快的总线。
• 
  网口数量:网卡可以有不同数量的网口:一个、两个、四个或六个。它可以让机器同时访问多个网络。但是,同一台机器上也可以有多个网卡。
• 
  网口类型:网卡可以有不同类型的连接。 Registered Jack-45 (RJ-45)端口是一种端口类型。 它使用名为 Category 5 (Cat5)或 Category 6 (Cat6)的双绞线电缆。 我们还可以使用同轴电缆,它连接到 Bayonet Neill-Concelman (BNC)端口。 最后一个是光纤端口,使用光纤电缆。
• 
  网络速度:标准支持的网络速度为单车道 100 千兆位每秒(Gbps),25 Gbps 和 10 Gbps 信号。其他任何东西(即 400 Gbps, $50\mathrm{Gbps},40\mathrm{Gbps}$$50\mathrm{Gbps},40\mathrm{Gbps}$50Gbps,40Gbps50 \mathrm{Gbps}, 40 \mathrm{Gbps} 等)都包括多个并行车道。10 Gbps 和 25 Gbps 以太网每天都在数据中心和金融应用程序中使用。
• 
  应用特定集成电路(ASIC):集成了与主机 PC 通过 PCIe 和网络本身进行接口的功能。
• 
  集线器
• 
  交换机:交换机在数据链路层(第 2 层)和有时网络层(第 3 层)工作;因此,它可以支持任何数据包协议。它的主要作用是过滤和转发数据包跨越局域网。
• 
  路由器：路由器至少连接两个网络，并促进一个网络上的主机向另一个网络上的主机传送数据包。在高频交易系统中，路由器位于交易系统的网关(第 2 章《交易系统的关键组件》中提到)。路由器能找到最佳方式将数据包从一个主机转发到另一个主机。

理解开关的工作原理

主交换机是高频交易网络中通信的主要支持。

• 
  配置数据包转发:对于简单的交换机,模型仅仅是观察端口上的媒体访问控制(MAC)地址,并将流量切换到该端口。更复杂的交换机(即支持第 3/4 层)将允许对其他匹配模式(即 IP 地址或端口)执行操作。
• 
  正转/过滤决策:根据读取的配置表转发数据包,必要时删除数据包。

带宽、吞吐量和数据包速率/大小

下面的截图说明了网络吞吐量(以千位每秒(Kbps)为单位)与数据包速率(以字节为单位的每秒数据包数)的关系:

 切换队列

交换机的主要功能是将数据包路由至正确的接收者。当有大量数据流入时,处理数据的时间可能超过数据进入交换机的时间。为避免数据丢失,关键是要有缓冲区。这个缓冲区将存储等待处理的数据。交换机的主要作用是在输入端口接收数据包,查找目的地以获取输出端口,然后将数据包置于输出端口队列中。大量数据流向特定输出端口可能会使输出端口队列饱和。如果队列中积累太多数据,将导致严重的延迟。如果缓冲区已满,数据也可能丢失(数据包丢弃)。如果市场数据包丢失,将无法建立订单簿,从而中断交易。下图描述了交换机的队列情况:

切换模式 - 存储转发与直通

• 
  贯通式切换模式有两种形式,如下所示:
•  无缝切换
•  快速转换
• 
  商店和转发切换模式

• 
  商店和转发模式:在转发帧之前,交换机必须完全接收该帧。基于目的地 MAC 地址查找来决定是否转发该帧。为了确认数据的完整性和准确性,交换机使用帧校验序列(FCS)字段。如果 CRC 值不匹配,该帧将被视为无效并丢弃。在传输帧之前,检查目的地和源 MAC 地址是否匹配。

• 
  切通交换模式:此模式允许以太网交换机在接收到帧的前几个字节时做出转发选择。该模式有两种类型,如下所述:
• 
  无碎片切换:此模式要求在转发帧之前解析前 64 个字节。
• 
  快速转发开关：当交换机接收到帧的目的 MAC 地址时，仅需要前 6 个字节即可转发该帧。

 第 1 层交换

二层交换(或多端口桥接)

• 
  在第 1 层(物理层)传输数据
• 
  检查任何接收和发送的帧的错误

 三层交换

• 
  根据源地址和目标地址分析和路由数据包的智能 IP 路由的路由器
• 
  交换机

网络地址转换

重要的协议概念

当两个设备需要通信时，一旦它们有了从发送方到接收方传输信号的方法，我们就需要有制定通信规则的协议。协议就像两个组件在系统中同意使用的语言;它设定了通信的规则。下图代表了交换和交易系统的网络基础设施:

以太网用于高频交易通信

使用 IPv4 作为网络层

 单播模式

只有一个指定的主机以这种方式接收数据。目标主机的 32 位 IP 地址存储在目标地址字段中。在这种情况下,客户端将数据传输到所需的服务器,如下图所示:

 广播模式

在此模式下,该数据包是发送到网段内的所有主机。目的地址字段包含特定的广播地址 255.255.255.255。当网络上出现此数据包时,主机有义务对其进行处理。在这种情况下,客户端发送了一个被所有服务器收到的数据包。由于几乎无法控制哪些机器会收到流量,并可能产生不必要的开销,因此广播很少用于高频交易(HFT)系统。您可以在以下示意图中看到广播模式的说明:

 多播模式

这种模式是前两种模式的混合,数据包并非发送给单个主机,也不是发送给该分段上的所有主机。该数据包的目标地址字段有一个独特的地址,以 224.x.x.x 开头,可由多个主机服务。主机将订阅特定的多播源。使用互联网组管理协议(IGMP),主机进行通信以通知上游服务它想订阅特定的源。许多交换机都有监控主机 IGMP 流量并窥探订阅源的逻辑。这使交换机能够确定应将多播流量复制给哪些主机。不实现 IGMP 窥探的交换机将多播流量视为广播流量。以下图表所示即为多播模式的示意图:

UDP 和 TCP 用于传输层

• 
  传输控制协议是一种面向连接的协议,而用户数据报协议是一种无连接协议。
• 
  因为 UDP 没有任何机制来检查错误,所以 UDP 比 TCP 更快。
• 
  传输控制协议需要进行握手才能开始通信,而用户数据报协议不需要。
• 
  传输控制协议(TCP)检查错误并进行错误恢复,而用户数据报协议(UDP)检查错误并在出现问题时丢弃数据包。

• 
  面向数据报的传递可以具有更低的延迟(但是如果有什么丢失,恢复会更复杂)。
• 
  多播不支持面向连接的协议(因为流量是多对多的通信类型)。

为高频交易交易所设计金融协议

让我们回到第 2 章"交易系统的关键组件"中介绍的以下图表。理解交易系统和交易所之间的通信机制很重要。

1. 
   他们建立一个登录信息,指明了交易发起人、接收人以及连接将如何持续存在。
2. 
   他们接下来询问他们从各公司期望什么,如订阅交易或接收价格更新。
3. 
   他们也会收到订单以及价格变动。
4. 
   他们然后发送心跳来维持连接。
5. 
   最后,他们道别了。

 修复协议

• 
  行政通知,不包含任何财务信息
• 
  程序发送的消息以获取价格变动和订单

• 
  我们希望发送一个订单的 $\mathrm{\$}1.23$$\mathrm{\$}1.23$$1.23\$ 1.23 ，让我们想象价格标签上有 44 这个数字。因此， $44=1.23$$44=1.23$44=1.2344=1.23 将在订单消息中。
• 
  字符 1 分隔所有的对。这表示,如果我们使用在我们之前的示例中的 FIX 消息定义中对应于数量的标签 38 添加 100,000 的数量,我们将获得 $44=1.23\mid 38=100000$$44=1.23\mid 38=100000$44=1.23∣38=10000044=1.23 \mid 38=100000