基于 FSS 的 GPU 安全训练与推理 Orca

 1. 介绍

 1.1. 我们的贡献

 2.准备工作

 2.1. 符號

1. https://github.com/mpc-msri/EzPC.git

 2.2. 威胁模型

2.3. 功能机密共享和 DCFs

• 
  Gen 是一个 PPT 密钥生成算法,给定 和 (函数 的描述)输出一对密钥 。我们假设 明确包含输入和输出组的描述 。
• 
  评估 是一种多项式时间评估算法,给定 (参与方索引)、 (定义 的密钥: )和 (输入 ),输出 (的值 )。

2.4. 使用 FSS 的预处理安全双方计算

2.5. GPU 加速计算

在 GPU 上加速 FSS

3.1. 加速基于 FSS 的 GPU 计算

3.2. 缩短阅读 FSS 密钥的时间

4.基础建筑块协议

 4.1. 选择

Select \(\Pi_{n}^{\text {select }}\)
\(\operatorname{Gen}_{n}^{\text {select }}\left(\left(r_{1}^{\text {in }}, r_{2}^{\text {in }}\right), r^{\text {out }}\right):\)
    \(u=\operatorname{extend}\left(r_{1}^{\text {in }}, n\right)\)
    \(w=u \cdot r_{2}^{\text {in }}+\mathrm{r}^{\text {out }}\)
    \(z=2 \cdot u \cdot \mathrm{r}_{2}^{\text {in }}\)
    share \(\left(u, r_{2}^{\text {in }}, w, z\right)\)
    For \(b \in\{0,1\}, k_{b}=u_{b}|| r_{2, b}^{\text {in }}\left\|w_{b}\right\| z_{b}\)
\(\operatorname{Eval}_{n}^{\text {select }}\left(b, k_{b},(\hat{s}, \hat{x})\right):\)
    Parse \(k_{b}\) as \(u_{b}\left\|\mathrm{r}_{2, b}^{\text {in }}\right\| w_{b} \| z_{b}\)
    if \(\hat{s}=0\) then
        return \(\hat{y}_{b}=u_{b} \cdot \hat{x}+w_{b}-z_{b}\)
    else
        return \(\hat{y}_{b}=b \cdot \hat{x}-u_{b} \cdot \hat{x}-\mathrm{r}_{2, b}^{\mathrm{in}}+w_{b}\)
    end if

 4.2. 有符号扩展

Signed Extension \(\Pi_{m, n}^{\text {SignExt }}\)
\(\operatorname{Gen}_{m, n}^{\text {SignExt }}\left(r^{\text {in }}, r^{\text {out }}\right):\)
    \(t=r^{\text {out }}-\operatorname{extend}\left(\mathrm{r}^{\text {in }}, n\right)-2^{m-1}\)
    \(\left(k_{0}^{<}, k_{1}^{<}\right) \leftarrow \operatorname{Gen}_{m}^{<}\left(1^{\lambda}, \mathrm{r}^{\text {in }}, 1, \mathbb{U}_{2}\right)\)
    \(r^{(w)} \stackrel{\S}{\leftarrow} \mathbb{U}_{2}\)
    \(\boldsymbol{p}=\left\{t, t+2^{m}\right\} \ggg r^{(w)} \in \mathbb{U}_{N}^{2}\)
    share \(\left(r^{(w)}, \boldsymbol{p}\right)\)
    For \(b \in\{0,1\}, k_{b}=k_{b}^{<}\left\|r_{b}^{(w)}\right\| \boldsymbol{p}_{b}\)
    \({ }_{m, n}^{\text {SigExt }}\left(b, k_{b}, \hat{x}\right):\)
    Parse \(k_{b}\) as \(k_{b}^{<}\left\|r_{b}^{(w)}\right\| \boldsymbol{p}_{b}\)
    \(\hat{x}^{\prime}=\hat{x}+2^{m-1} \bmod 2^{m}\)
    \(\hat{w}_{b} \leftarrow \operatorname{Eval}{ }_{m}^{<}\left(b, k_{b}^{<}, \hat{x}^{\prime}\right)+r_{b}^{(w)} \bmod 2\)
    \(\hat{w}=\) reconstruct \(\left(\hat{w}_{b}\right)\)
    return \(\hat{y}_{b}=b \cdot \hat{x}^{\prime}+p_{b, \hat{w}}\)

5. 安全培训协议

5.1. ReLU

5.2. 随机截断

5.2.1. 随机截断-缩减。

DReLU \(\Pi_{n}^{\text {DReLU }}\)
\(\operatorname{Gen}_{n}^{\text {DReLU }}\left(r_{n}^{\text {in }}, r^{\text {out }}\right):\)
    \(:\left(k_{0}^{<}, k_{1}^{<}\right) \leftarrow \operatorname{Gen}_{n}^{<}\left(1^{\lambda}, \mathrm{r}^{\text {in }}, 1, \mathbb{U}_{2}\right)\)
    share \(r^{\text {out }}\)
    For \(b \in\{0,1\}, k_{b}=r_{b}^{\text {out }}|| k_{b}^{<}\)
\(\operatorname{Eval}_{n}^{\text {DReLU }}\left(b, k_{b}, \hat{x}\right):\)
    Parse \(k_{b}\) as \(r_{h}^{\text {out }} \| k_{b}^{<}\)
    \(\hat{y}=\hat{x}+2^{n-1} \bmod 2^{n}\)
    \(u_{b} \leftarrow \operatorname{Eval}_{n}^{<}\left(b, k_{b}^{<}, \hat{x}\right)\)
    \(v_{b} \leftarrow \operatorname{Eval}_{n}^{<}\left(b, k_{b}^{<}, \hat{y}\right)\)
    return \(\hat{y}_{b}=v_{b}-u_{b}+b \cdot 1\left\{\hat{y} \geqslant 2^{n-1}\right\}+\mathrm{r}_{b}^{\text {out }}\)
    \(\bmod 2\)

5.2.2. 随机截断。

5.3. 随机截断 + 激活函数

ReLU-Extend \(\Pi_{n-f, n}^{\mathrm{ReLUEx}}\)
\(\operatorname{Gen}_{n-f, n}^{\text {ReLUExt }}\left(r^{\text {in }}\right.\), rout \(\left.^{\text {out }}\right):\)
    \(:\left(k_{0}^{<}, k_{1}^{<}\right) \leftarrow \operatorname{Gen}_{n-f}^{<}\left(1^{\lambda}, \mathrm{r}^{\text {in }}, 1, \mathbb{U}_{4}\right)\)
    \(r^{(d)} \stackrel{\&}{\leftarrow} \mathbb{U}_{4}\)
    \(r^{(w)} \stackrel{\&}{\leftarrow} \mathbb{U}_{4}\)
    \(r^{(i)}=2 \cdot r^{(d)}+r^{(w)}\)
    \(\boldsymbol{p}=\{1,0,0,0\} \lll r^{(i)} \in \mathbb{U}_{N}^{4}\)
    \(\boldsymbol{q}=\left\{r^{\text {out }}, r^{\text {out }}-r^{\text {in }}\right\} \ggg\left(r^{(d)} \bmod 2\right) \in \mathbb{U}_{N}^{2}\)
    share \(\left(r^{(d)}, r^{(w)}, \boldsymbol{p}, \boldsymbol{q}\right)\)
    For \(b \in\{0,1\}, k_{b}=k_{b}^{<}\left\|r_{b}^{(d)}\right\| r_{b}^{(w)}\left\|\boldsymbol{p}_{b}\right\| \boldsymbol{q}_{b}\)
\(\operatorname{Eval}_{n-f, n}^{\mathrm{ReLUExt}}\left(b, k_{b}, \hat{x}\right):\)
    Parse \(k_{b}\) as \(k_{b}^{<}\left\|r_{b}^{(d)}\right\| r_{b}^{(w)}\left\|\boldsymbol{p}_{b}\right\| \boldsymbol{q}_{b}\)
\(\hat{y}=\hat{x}+2^{n-} \bmod 2^{n-f}\)
    \(w_{b} \leftarrow \operatorname{Eval}_{n-f}^{<}\left(b, k_{b}^{<}, \hat{x}\right)\)
    \(\hat{w}_{b} \leftarrow w_{b}+r_{b}^{(w)} \bmod 4\)
    \(\hat{d}_{b} \leftarrow \operatorname{Eval}_{n-f}^{<}\left(b, k_{b}^{<}, \hat{y}\right)-w_{b}+b \cdot 1\left\{\hat{y} \geqslant 2^{n-f-1}\right\}+\)
    \(r_{b}^{(d)} \bmod 4\)
    \((\hat{w}, \hat{d})=\) reconstruct \(\left(\hat{w}_{b}, \hat{d}_{b}\right)\)
    \(\hat{i}=2 \cdot \hat{d}+\hat{w} \bmod 4\)
    \(\boldsymbol{p}_{b}^{\prime}=\boldsymbol{p}_{b} \ggg \hat{i}\)
    \(\hat{j}=\hat{d} \bmod 2\)
    return \(\hat{u}_{b}=p_{b, 3}^{\prime} \cdot\left(\hat{x}+2^{n-f}\right)+p_{b, 2}^{\prime} \cdot \hat{x}+q_{b, \hat{j}}\)
    \(\bmod N\)

 6.Softmax 协议

 6.1. 整数转浮点数

3. 
   对于真实值 和 ，我们滥用 来表示 。
   
   注意当 和 成立时。在 的情况下,只需找到 和 使得:

 6.2. 浮点数到定点数转换

 6.3. 端到端训练

 7.实施

 8. 评估

• 
  OrCA 忠实地实施了机器学习文献[31]中的量化训练算法,混合使用浮点和定点运算(图 5)。ORCA 在 更短的时间内和 更少的通信量下,超越了 Piranha(当前最先进的加速安全训练的 GPU 模型)的精度(表 3)。
• 
  在相同的训练和推理任务中,Orca 在延迟方面的性能比(基于 GPU 的)PIRANHA 高出最多 ,在通信方面的性能也高出最多 (表 4)。OrcA 在 CPU 安全训练[40]方面的性能也高出最多 (表 6)。
• 
  OrCA 的基于 GPU 的协议比它们的 CPU 对应物(表 7)高达 的效率。此外,OrCA 协议所需的 FSS 密钥的大小(见表 8)比最先进的 FSS 机器学习工具 LLAMA 低达 。
• 
  Orca 能够在亚秒级别进行 ImageNet 规模的 VGG-16 和 ResNet-50 模型推理(表 9)，并且其性能比当前最先进水平高出一个数量级。

8.1. 端到端 OrCA 训练

8.2.与基准的比较

8.3. 改进分类

8.4. 安全的 ImageNet 推理

 9. 相关工作

 10. 结论

 参考文献

附录 A.
额外的实证结果

 A.1. 微基准测试

网上交流

ImageNet 推理任务的关键尺寸

重叠的关键读取

附录 B.随机截断+ReLU+最大池化

1. 
   随机截断将输入减少到 位。
2. 
   将修改后的统一位宽 MaxPool 协议应用于 位截断输出。
3. 
   将 协议应用于生成的 位值,以获得 位结果。

附录 C。
随机截断-降维

引理 1 的证明

Stochastic Truncate-Reduce \(\prod_{n, f}^{\text {stTR }}\)
\(\operatorname{Gen}_{n, f}^{\text {stTR }}\left(r^{\text {in }}, r^{\text {out }}\right):\)
    \(s \stackrel{\&}{\leftarrow} \mathbb{U}_{2 f}\)
    \(r^{(t)}=\mathrm{r}^{\text {in }} \bmod 2^{f}\)
    \(\hat{s}=s+r^{(t)} \bmod 2^{f}\)
    \(\left(k_{0}^{>}, k_{1}^{>}\right) \leftarrow \operatorname{Gen}_{f}^{>}\left(1^{\lambda}, \hat{s}, 1, \mathbb{U}_{2}\right)\)
    \(z \stackrel{\&}{\leftarrow} \mathbb{U}_{2} ; r^{(w)}=\operatorname{extend}(z, n-f)\)
    \(r=r^{\text {out }}-\operatorname{TR}\left(\mathrm{r}^{\text {in }}, f\right)-1\left\{\hat{s}<r^{(t)}\right\}\)
    share \(r, r^{(w)}\)
    For \(b \in\{0,1\}, k_{b}=k_{b}^{>}\left\|r_{b}^{(w)}\right\| r_{b}\)
\(\mathrm{Eval}_{n, f}^{\mathrm{stTR}}\left(b, k_{b}, \hat{x}\right):\)
    Parse \(k_{b}\) as \(k_{b}^{>}\left\|r_{b}^{(w)}\right\| r_{b}\)
    \(\hat{t}=\hat{x} \bmod 2^{f}\)
    \(\hat{w}_{b} \leftarrow \operatorname{Eval}_{f}^{>}\left(b, k_{b}^{>}, \hat{t}\right)+r_{b}^{(w)} \bmod 2\)
    \(\hat{w}=\operatorname{reconstruct}\left(\hat{w}_{b}\right)\)
    \(c_{b}=r_{b}^{(w)}+\operatorname{extend}(\hat{w}, n-f) \cdot\left(b-2 r_{b}^{(w)}\right)\)
    return \(\hat{y}_{b}=b \cdot \operatorname{TR}(\hat{x}, f)+r_{b}+c_{b}\)

1. 
   在这种情况下， 。
2. 
   在这种情况下,

C.2. 随机截断缩减协议

 安全性证明

1. 
   从 中随机挑选 。
2.  
3. 
   调用 来获得 。
4.  设置 。
5. 
   随机挑选 并设置 。
6. 
   运行步骤 5 来计算 。
7.  设置 。

附录 D.固定和浮点之间的相互转换

多区间包含

D.2. 协议为

1. 
   随机抽取 和 从 。
2. 
   随机抽取 和 从 。
3.  集合 。
4. 
   随机采样 ，条件为 的最低有效位为 0。

FixToFloat \(\Pi_{n}^{\text {FixToFloat }}\)
\(\operatorname{Gen}_{n, f}^{\text {FixToFloat }}\left(r^{\text {in }}\right)\) :
    Let \(\boldsymbol{p}=\boldsymbol{p}^{(n)}\) and \(\boldsymbol{q}=\boldsymbol{q}^{(n)}\)
    \(\left(k_{0}^{(\mathrm{MIC})}, k_{1}^{(\mathrm{MIC})}\right) \leftarrow \operatorname{Gen}_{n, \boldsymbol{p}, \boldsymbol{q}}^{\mathrm{MIC}}\left(\mathrm{r}^{\text {in }}, 0\right)\)
    \(r^{(s)} \stackrel{\&}{\leftarrow} \mathbb{U}_{2}\)
    \(r^{(u)} \stackrel{\&}{\leftarrow} \mathbb{U}_{N}\)
    \(r^{\text {(select) }} \stackrel{8}{\leftarrow} \mathbb{U}_{N}\)
    \(\left(k_{0}^{\text {(select) }}, k_{1}^{\text {(select) }}\right) \leftarrow \operatorname{Gen}_{n}^{\text {select }}\left(r^{(s)}, r^{\text {in }}, r^{\text {(select) }}\right)\)
    \(r^{(y)}=2 \cdot r^{(\text {select })}-r^{\text {in }}\)
    \(r^{(z)} \stackrel{8}{\leftarrow} \mathbb{U}_{N}\)
    \(c=r^{(u)} \cdot r^{(y)}+r^{(z)}\)
    \(\left(k_{0}^{\mathrm{TR}}, k_{1}^{\mathrm{TR}}\right) \leftarrow \operatorname{Gen}_{n, n-24}^{\mathrm{TR}}\left(r^{(z)}, 0\right)\)
    share \(\left(r^{(s)}, r^{(u)}, r^{(y)}, c\right)\)

![](https://cdn.mathpix.com/cropped/2024_08_15_41379d930d237705d9c4g-20.jpg?height=94&width=722&top_left_y=813&top_left_x=273)
    \(\mathrm{al}_{n, f}^{\text {FixToFloat }}\left(b, k_{b}, \hat{x}\right):\)
    Let \(\boldsymbol{p}=\boldsymbol{p}^{(n)}\) and \(\boldsymbol{q}=\boldsymbol{q}^{(n)}\)
    Parse \(k_{b}\) as \(k_{b}^{(\text {MIC })}\left\|k_{b}^{(\text {select })}\right\| r_{b}^{(s)}\left\|r_{b}^{(u)}\right\| r_{b}^{(y)}\left\|c_{b}\right\| k_{b}^{\text {TR }}\)
    \(\boldsymbol{t}_{b} \leftarrow \operatorname{Eval}_{n, \boldsymbol{p}, \boldsymbol{q}}^{\mathrm{MIC}}\left(b, k_{b}^{(\mathrm{MIC})}, \hat{x}\right)\)
    \(z_{b}=t_{b, 0} \bmod 2\)
    \(s_{b}=\sum_{i=n}^{2 n-1} t_{b, i} \bmod 2\)
    \(\hat{s}_{b}=s_{b}+r_{b}^{(s)}\)
    \(e_{b}=-126 \cdot t_{b, 0}+(n-f-1) \cdot t_{b, n}+\sum_{i=1}^{n-1}\left(t_{b, i}+\right.\)
    \(\left.t_{b, 2 n-i}\right) \cdot(i-f-2)\)
    \(\hat{u}_{b}=r_{b}^{(u)}+t_{b, n}+\sum_{i=1}^{n-1}\left(t_{b, i}+t_{b, 2 n-i}\right) \cdot 2^{n-i}\)
    \((\hat{s}, \hat{u})=\) reconstruct \(\left(\hat{s}_{b}, \hat{u}_{b}\right)\)
    \(\hat{y}_{b} \leftarrow 2 \cdot \operatorname{Eval}_{n}^{\text {select }}\left(b, k_{b}^{\text {(select) }}, 1-\hat{s}, \hat{x}\right)-b \cdot \hat{x}\)
    \(\hat{y}=\) reconstruct \(\left(\hat{y}_{b}\right)\)
    \(\hat{z}_{b}=b \cdot \hat{y} \cdot \hat{u}-r_{b}^{(y)} \cdot \hat{u}-r_{b}^{(u)} \cdot \hat{y}+c_{b}\)
    \(\hat{z}=\) reconstruct \(\left(\hat{z}_{b}\right)\)
    \(m_{b} \leftarrow \operatorname{Eval}_{n, n-24}^{\top R}\left(b, k_{b}^{\top R}, \hat{z}\right)\)
    return \(\left(z_{b}, s_{b}, e_{b}, m_{b}\right)\)

5. 
   调用 输入 和输出 来生成 。
6.  集合
7. 
   随机采样 从 。
8.  集合
9.  设置
10. 
    调用 并输入 和输出 来获得 。
11. 
    随机从受制于第 4、5 和 7 行中所述的约束的 科目中抽取样本 ，在 Eval 中进行
12. 
    根据 Eval 第 8 行计算 。
13. 
    调用 以输入 和输出 来生成 。

 D.3. 浮点数到固定点数

1. 
   : 为计算此术语的份额,交易商提供了一个 的一热向量的秘密份额。然后,评估者只需将向量的份额旋转 即可获得 的一热向量的份额。评估者现在可以计算此向量与包含 的向量的点积,对于索引 为 1,否则为 0。结果值是 的一个份额,可以与 局部乘以以获得所需的份额。
2. 
   ：由于评估人员已经拥有一个独热向量共享，他们可以以与 相同的方式计算 的共享。
3. 
   :正如交易商所知,它秘密分享包含 的向量,对于所有索引 ,否则为 0。评估者只需在 处索引数组即可获得所需的份额。
4. 
   :这个术语的股份可以简单地使用 DCF 关键字进行计算,就像我们的其他协议一样。

FloatToFix \(\Pi_{n, f}^{\text {FloatToFix }}\)
\(\operatorname{Gen}_{n, f}^{\text {FloatToFix }}\left(r^{\text {out }}\right):\)
    \(r^{(m)} \stackrel{8}{\leftarrow} \mathbb{U}_{2^{24}}\)
    \(r^{\left(e^{\prime}\right)} \stackrel{8}{\leftarrow} \mathbb{U}_{1024}\)
    \(r^{(w)} \stackrel{\S}{\leftarrow} \mathbb{U}_{2}\)
    \(r^{(h)} \stackrel{\$}{\leftarrow} \mathbb{U}_{N}\)
    \(r^{(t)} \stackrel{\otimes}{\leftarrow} \mathbb{U}_{N}\)
    \(\left(k_{0}^{<}, k_{1}^{<}\right) \leftarrow \operatorname{Gen}_{24}^{<}\left(1^{\lambda}, r^{(m)}, 1, \mathbb{U}_{2}\right)\)
    Let \(\boldsymbol{p}=\left\{1\left\{i=1024-r^{\left(e^{\prime}\right)}\right\}\right\}_{i} \in \mathbb{U}_{N}^{1024}\)
    Let \(\boldsymbol{q}=\left\{r^{(t)}-r^{(m)} \cdot \operatorname{pow}_{f}\left(i-r^{\left(e^{\prime}\right)}\right)\right\}_{i} \in \mathbb{U}_{N}^{1024}\).
    share \(\left(r^{(m)}, r^{\left(e^{\prime}\right)}, r^{(w)}, r^{(h)}, \boldsymbol{p}, \boldsymbol{q}\right)\)
    \(\left(k_{0}^{\text {(select) }}, k_{1}^{\text {(select) }}\right) \leftarrow \operatorname{Gen}_{n}^{\text {select }}\left(r^{(w)}, r^{(h)}, 0\right)\)
    \(\left(k_{0}^{(\mathrm{ARS})}, k_{1}^{(\mathrm{ARS})}\right) \leftarrow \operatorname{Gen}_{n, 23}^{\text {ARS }}\left(r^{(t)}, \mathrm{r}^{\text {out }}\right)\)
    For \(b \in\{0,1\}, k_{b}=k_{b}^{<}\left\|k_{b}^{\text {select }}\right\| r_{b}^{(m)}\left\|r_{b}^{\left(e^{\prime}\right)}\right\| r_{b}^{(w)} \|\)
    \(r_{b}^{(h)}\left\|\boldsymbol{p}_{b}\right\| \boldsymbol{q}_{b} \| k_{b}^{(\text {ARS })}\)
\(\operatorname{Eval}_{n, f}^{\text {FloatToFix }}\left(b, k_{b},\left(m_{b}, e_{b}\right)\right):\)
    Parse \(k_{b}\) as \(k_{b}^{<}\left\|k_{b}^{\text {select }}\right\| r_{b}^{(m)}\left\|r_{b}^{\left(e^{\prime}\right)}\right\| r_{b}^{(w)}\left\|r_{b}^{(h)}\right\| \boldsymbol{p}_{b} \| \boldsymbol{q}_{b}\)
    \(\| k_{b}^{(\text {ARS })}\)
    \(\hat{m}_{b}=m_{b}+r_{b}^{(m)}\)
    \(\hat{e}_{b}^{\prime}=e_{b}+r_{b}^{\left(e^{\prime}\right)}+b \cdot f\)
    \(\left(\hat{m}, \hat{e}^{\prime}\right)=\) reconstruct \(\left(\hat{m}_{b}, \hat{e}_{b}^{\prime}\right)\)
    \(\hat{w}_{b} \leftarrow \operatorname{Eval}_{24}^{<}\left(b, k_{b}^{<}, \hat{m}\right)+r_{b}^{(w)} \bmod 2\)
    \(\boldsymbol{p}_{b}^{\prime}=\boldsymbol{p}_{b} \ggg \hat{e}^{\prime}\)
    \(d_{b}=\sum_{i=0}^{1023} \operatorname{pow}_{f}(i) \cdot p_{b, i}^{\prime}\)
    \(\hat{h}_{b}=r_{b}^{(h)}+2^{24} \cdot d_{b}\)
    \((\hat{w}, \hat{h})=\operatorname{reconstruct}\left(\hat{w}_{b}, \hat{h}_{b}\right)\)
    \(\hat{t}_{b}=q_{b, \hat{e}^{\prime}}+\operatorname{Eval}_{n}^{\text {select) }}\left(b, k_{b}^{\text {(select) }}, \hat{w}, \hat{h}\right)+\hat{m} \cdot d_{b}\)
    \(\hat{t}=\) reconstruct \(\left(\hat{t}_{b}\right)\)
    \(\hat{x}_{b} \leftarrow \operatorname{Eval}_{n, 23}^{\mathrm{ARS}}\left(b, k_{b}^{\mathrm{ARS}}, \hat{t}\right)\)
    return \(\hat{x}_{b}\)

1. 
   从 中随机选取 和 。
2. 
   随机抽取 和 从 。
3. 
   集合 和
4. 
   随机抽取 和 从 。
5. 
   使用 生成 并计算
6. 
   随机采样 从 。
7.  集合 。
8.  集合
9. 
   从 中随机抽样 和
10. 
    计算 。
11.  集合
12.  集合 。
13. 
    从 中随机抽取 。
14. 
    使用 和输入 生成 并输出 。
15.  集合
16. 
    使用 和输入 生成 并输出 。

 附录 E.

端到端训练协议

附录 F. ReLU-Extend 的安全证明

1. 
   通过调用 来生成 。运行 以获得 。
2. 
   随机采样 。
3. 
   使用 中的步骤 在 Eval 中计算
4. 
   集合 和 。
5.  集合 。
6. 
   随机采样 并设置 。
7.  集合 。
8. 
   随机采样 。
9.  集合 。
10.  集合

附录 G。
使用 FSS 协议的食人鱼功能

局部截断 + ReLU

1. 
   我们将来自[16]的单轮 ReLU 协议替换为第 5.1 节中的双轮协议,密钥大小更小。
2. 
   由于值 可以准确地表示在 位中,我们优化了计算 DReLU 位所需的比较,使之在 位宽度上进行。

Local-Truncate + ReLU \(\Pi_{n, f}^{\text {localTrReLU }}\left(\mathbb{G}^{\text {out }}=\mathbb{U}_{N}\right)\)
\(\operatorname{Gen}_{n, f}^{\text {localTrReLU }}\left(\mathrm{r}^{\text {in }}, \mathrm{r}^{\text {out }}\right):\)

![](https://cdn.mathpix.com/cropped/2024_08_15_41379d930d237705d9c4g-23.jpg?height=56&width=229&top_left_y=346&top_left_x=273)
    \(\left(k_{0}^{<}, k_{1}^{<}\right) \leftarrow \operatorname{Gen}_{n-f}^{<}\left(1^{\lambda}, r^{\prime}, 1, \mathbb{U}_{2}\right)\)
    \(r^{(d)} \stackrel{8}{\leftarrow} \mathbb{U}_{2}\)
    share \(r^{(d)}\)
    \(\left(k_{0}^{\text {(select) }}, k_{1}^{\text {(select) }}\right) \leftarrow \operatorname{Gen}_{n}^{\text {select }}\left(r^{(d)}, r^{\prime}, r^{\text {out }}\right)\)
    For \(b \in\{0,1\}, k_{b}=k_{b}^{<}\left\|r_{b}^{(d)}\right\| k_{b}^{(\text {select })}\)
Eval \({ }_{n, f}^{\text {localTrReLU }}\left(b, k_{b}, \hat{x}\right):\)
    Parse \(k_{b}\) as \(k_{b}^{<}\left\|r_{b}^{(d)}\right\| k_{b}^{(\text {select) }}\)
    \(\hat{x}^{\prime}=\hat{x} \gg_{L} f\)
    \(\hat{y}^{\prime}=\hat{x}^{\prime}+2^{n-f-1} \bmod 2^{n-f}\)
    \(t_{b} \leftarrow \operatorname{Eval}_{n-f}^{<}\left(b, k_{b}^{<}, \hat{y}^{\prime}\right)-\operatorname{Eval}_{n-f}^{<}\left(b, k_{b}^{<}, \hat{x}^{\prime}\right)\)
    \(\hat{d}_{b}=t_{b}+b \cdot 1\left\{\hat{y}^{\prime} \geqslant 2^{n-f-1}\right\}+r_{b}^{(d)} \bmod 2\)
    \(\hat{d}=\) reconstruct \(\left(\hat{d}_{b}\right)\)
    return \(\hat{u}_{b} \leftarrow \operatorname{Eval}_{n-f}^{\text {select }}\left(b, k_{b}^{\text {(select) }}, \hat{d}, \hat{x}^{\prime}\right)\)

 逼近 Softmax

附录 H.
正确的 DReLU 偏移功能

附录 I.
引理 2 的证明

 附录 J.

FSS 方案的正确性和安全性

• 
  正确性：对于所有 描述 ，并且对每个 ，如果 则 。
• 
  安全性:对于每个 都有一个 PPT 算法 (模拟器),使得对于来自 的任何多项式大小的函数描述序列 和 的多项式大小输入序列 ,以下真实和理想实验的输出在计算上是无法区分的:
• 
  真实的 ；输出 。
• 
  理想的 输出 。

附录 K.我们的威胁模型

附录 L.
来自 IEEE S&P 2024 的综述

 L.1. 概要

二、科学贡献

• 
  创造新工具以促进未来科学发展
• 
  为成熟领域提供了宝贵的前进一步
• 
  开创了一个新的研究方向

获得认可的原因

1. 
   创造一种新的工具来推动未来科学：该提议的系统通过利用 GPU 和新的密码学技术的进步来加速基于 FSS 的协议,从而向实用的安全推断和训练迈进。
2. 
   为已有领域提供了宝贵的进步:所提出的系统在所有测试的性能和准确性指标上都超越了竞争对手。
3. 
   确立了一个新的研究方向：作者基于初步分析确定的 GPU 使用过程中的瓶颈,开发了实用的优化方案。审稿人认可了作者在集成包括功能保密分享(FSS)在内的先进技术所付出的可嘉努力。
   
   固定点和浮点算术，以及 GPU 加速，开发了本研究中提出的综合系统。

 值得注意的关切

1. 
   审阅者建议在正文中增加一些关于 2 个 PC 预处理的细节,这将非常有益。
2. 
   评审员一致认为,该协议的写作风格过于密集,使得每个协议的关键贡献难以理解。如果相应部分的表述方式更加通俗易懂,这篇论文将会受益。

---

1. 
   这个版本报告了改善的延迟,这是由于解决了评估设置中使用的固态硬盘中的问题,与将出现在 2024 年 IEEE S&P 中的版本相比
   •  同等贡献。
   
   该工作的一部分在微软研究院印度分部完成
2. 2. 
      我们注意到,通常会假设计算中出现的最大值可以用比所用比特宽度更少的位数表示。尽管如此,为了确保安全性对于运行时出现的任意值都成立,我们将明文/理想功能更改为也使用引理 2 中右侧的表达式。
3. 4. 
      由于 ORCA 中的密钥生成经过 GPU 优化,ORCA 的离线时间几乎全部用于将表 8 中给出的大小的密钥从经销商运行的机器移动到保持秘密数据的机器上。