用于句子分类的卷积神经网络
抽象的 我们报告了一系列卷积神经网络（CNN
)
)
) )
1 简介 近年来深度学习模型在计算机视觉（Krizhevsky et al., 2012）和语音识别（Graves et al., 2013）方面取得了显着的成果。在自然语言处理中，深度学习方法的大部分工作都涉及通过神经语言模型学习词向量表示（Bengio 等人，2003 年；Yih 等人，2011 年；Mikolov 等人，2013 年）并在学习用于分类的词向量（Collobert et al., 2011）。词向量，其中词是从稀疏的、1-of- 中投影出来的
V
V
V V
V
V
V V 卷积神经网络 (CNN) 利用具有应用于局部特征的卷积滤波器的层（LeCun 等人，1998）。 CNN 模型最初是为计算机视觉而发明的，后来被证明对 NLP 有效，并在语义解析 (Yih et al., 2014)、搜索查询检索 (Shen et al., 2014)、句子建模 (Kalchbrenner) 方面取得了优异的结果等人，2014），以及其他传统的 NLP 任务（Collobert 等人，2011）。
在目前的工作中，我们训练了一个简单的 CNN，在从无监督神经语言模型获得的词向量之上有一层卷积。这些载体由 Mikolov 等人训练。 (2013) 基于 1000 亿字的 Google 新闻，并且是公开的。
1
1
^(1) { }^{1} 我们的工作在哲学上与 Razavian 等人相似。 （2014）表明，对于图像分类，从预训练的深度学习模型获得的特征提取器在各种任务上都表现良好，包括与训练特征提取器的原始任务非常不同的任务。
2 型号 该模型架构如图 1 所示，是 Collobert 等人的 CNN 架构的轻微变体。 （2011）。让
x
i
∈
R
k
x
i
∈
R
k
x_(i)inR^(k) \mathbf{x}_{i} \in \mathbb{R}^{k}
k
k
k k
i
i
i i
n
n
n n 图 1：示例句子具有两个通道的模型架构。 必要）表示为
x
1
:
n
=
x
1
⊕
x
2
⊕
…
⊕
x
n
x
1
:
n
=
x
1
⊕
x
2
⊕
…
⊕
x
n
x_(1:n)=x_(1)o+x_(2)o+dots o+x_(n) \mathbf{x}_{1: n}=\mathbf{x}_{1} \oplus \mathbf{x}_{2} \oplus \ldots \oplus \mathbf{x}_{n} 在哪里
⊕
⊕
o+ \oplus
x
i
:
i
+
j
x
i
:
i
+
j
x_(i:i+j) \mathbf{x}_{i: i+j}
x
i
,
x
i
+
1
,
…
,
x
i
+
j
x
i
,
x
i
+
1
,
…
,
x
i
+
j
x_(i),x_(i+1),dots,x_(i+j) \mathbf{x}_{i}, \mathbf{x}_{i+1}, \ldots, \mathbf{x}_{i+j}
w
∈
R
h
k
w
∈
R
h
k
winR^(hk) \mathbf{w} \in \mathbb{R}^{h k}
h
h
h h
c
i
c
i
c_(i) c_{i}
x
i
:
i
+
h
−
1
x
i
:
i
+
h
−
1
x_(i:i+h-1) \mathbf{x}_{i: i+h-1}
c
i
=
f
(
w
⋅
x
i
:
i
+
h
−
1
+
b
)
c
i
=
f
w
⋅
x
i
:
i
+
h
−
1
+
b
c_(i)=f(w*x_(i:i+h-1)+b) c_{i}=f\left(\mathbf{w} \cdot \mathbf{x}_{i: i+h-1}+b\right) 这里
b
∈
R
b
∈
R
b inR b \in \mathbb{R}
f
f
f f
{
x
1
:
h
,
x
2
:
h
+
1
,
…
,
x
n
−
h
+
1
:
n
}
x
1
:
h
,
x
2
:
h
+
1
,
…
,
x
n
−
h
+
1
:
n
{x_(1:h),x_(2:h+1),dots,x_(n-h+1:n)} \left\{\mathbf{x}_{1: h}, \mathbf{x}_{2: h+1}, \ldots, \mathbf{x}_{n-h+1: n}\right\}
c
=
[
c
1
,
c
2
,
…
,
c
n
−
h
+
1
]
c
=
c
1
,
c
2
,
…
,
c
n
−
h
+
1
c=[c_(1),c_(2),dots,c_(n-h+1)] \mathbf{c}=\left[c_{1}, c_{2}, \ldots, c_{n-h+1}\right] 和
c
∈
R
n
−
h
+
1
c
∈
R
n
−
h
+
1
cinR^(n-h+1) \mathbf{c} \in \mathbb{R}^{n-h+1}
c
^
=
max
{
c
}
c
^
=
max
{
c
}
hat(c)=max{c} \hat{c}=\max \{\mathbf{c}\} 我们已经描述了从一个过滤器中提取一个特征的过程。该模型使用多个滤波器（具有不同的窗口大小）来获取多个特征。这些特征形成倒数第二层，并传递到完全连接的 softmax 层，其输出是标签上的概率分布。 在其中一种模型变体中，我们尝试使用两个词向量“通道”——一个在整个训练过程中保持静态，另一个通过反向传播进行微调（第 3.2 节）。
2
2
^(2) { }^{2}
c
i
c
i
c_(i) c_{i} 2.1 正则化 对于正则化，我们在倒数第二层上使用 dropout，并限制
l
2
l
2
l_(2) l_{2}
p
p
p p
z
=
[
c
^
1
,
…
,
c
^
m
]
z
=
c
^
1
,
…
,
c
^
m
z=[ hat(c)_(1),dots, hat(c)_(m)] \mathbf{z}=\left[\hat{c}_{1}, \ldots, \hat{c}_{m}\right]
m
m
m m
y
=
w
⋅
z
+
b
y
=
w
⋅
z
+
b
y=w*z+b y=\mathbf{w} \cdot \mathbf{z}+b 对于输出单元
y
y
y y
y
=
w
⋅
(
z
∘
r
)
+
b
y
=
w
⋅
(
z
∘
r
)
+
b
y=w*(z@r)+b y=\mathbf{w} \cdot(\mathbf{z} \circ \mathbf{r})+b 在哪里
∘
∘
@ \circ
r
∈
R
m
r
∈
R
m
rinR^(m) \mathbf{r} \in \mathbb{R}^{m}
p
p
p p
p
p
p p
w
^
=
p
w
w
^
=
p
w
hat(w)=pw \hat{\mathbf{w}}=p \mathbf{w}
w
^
w
^
hat(w) \hat{\mathbf{w}}
l
2
l
2
l_(2) l_{2}
w
w
w \mathbf{w}
‖
w
‖
2
=
s
‖
w
‖
2
=
s
||w||_(2)=s \|\mathbf{w}\|_{2}=s
‖
w
‖
2
>
s
‖
w
‖
2
>
s
||w||_(2) > s \|\mathbf{w}\|_{2}>s
数据
c
c
c c
l
l
l l
N
N
N N
|
V
|
|
V
|
|V| |V|
|
V
pre
|
V
pre
|V_("pre ")| \left|V_{\text {pre }}\right| 测试
MR
2
20
10662
18765
16448
CV
SST-1
5
18
11855
17836
16262
2210
SST-2
2
19
9613
16185
14838
1821
主题 2
23
10000
21323
17913
CV
TREC
6
10
5952
9592
9125
500
CR
2
19
3775
5340
5046
CV
MPQA
2
3
10606
6246
6083
CV
Data c l N |V| |V_("pre ")| Test
MR 2 20 10662 18765 16448 CV
SST-1 5 18 11855 17836 16262 2210
SST-2 2 19 9613 16185 14838 1821
Subj 2 23 10000 21323 17913 CV
TREC 6 10 5952 9592 9125 500
CR 2 19 3775 5340 5046 CV
MPQA 2 3 10606 6246 6083 CV | Data | $c$ | $l$ | $N$ | $\|V\|$ | $\left\|V_{\text {pre }}\right\|$ | Test |
| :---: | :--- | :--- | :--- | :--- | :--- | :---: |
| MR | 2 | 20 | 10662 | 18765 | 16448 | CV |
| SST-1 | 5 | 18 | 11855 | 17836 | 16262 | 2210 |
| SST-2 | 2 | 19 | 9613 | 16185 | 14838 | 1821 |
| Subj | 2 | 23 | 10000 | 21323 | 17913 | CV |
| TREC | 6 | 10 | 5952 | 9592 | 9125 | 500 |
| CR | 2 | 19 | 3775 | 5340 | 5046 | CV |
| MPQA | 2 | 3 | 10606 | 6246 | 6083 | CV |
表 1：标记化后数据集的汇总统计数据。
c
c
c c
l
l
l l
N
N
N N
|
V
|
|
V
|
|V| |V|
|
V
pre
|
V
pre
|V_("pre ")| \left|V_{\text {pre }}\right| 3 数据集和实验设置 我们在各种基准上测试我们的模型。数据集的汇总统计见表1。
MR：电影评论每条评论一句话。分类涉及检测正面/负面评论（Pang 和 Lee，2005）。
3
3
^(3) { }^{3} SST-1：斯坦福情绪树库 - MR 的扩展，但提供了训练/开发/测试分割和细粒度标签（非常积极、积极、中立、消极、非常消极），由 Socher 等人重新标记。 （2013）。
4
4
^(4) { }^{4} SST-2：与 SST-1 相同，但删除了中立评论并添加了二进制标签。 Subj：主观性数据集，其任务是将句子分类为主观或客观（Pang 和 Lee，2004）。 TREC：TREC 问题数据集任务涉及将问题分为 6 种问题类型（问题是否与人、位置、数字信息等有关）（Li 和 Roth，2002）。
5
5
^(5) { }^{5} CR：各种产品（相机、MP3 等）的客户评论。任务是预测正面/负面评论（Hu and Liu，2004）。
6
6
^(6) { }^{6}
MPQA：MPQA 数据集的意见极性检测子任务（Wiebe 等人，2005）。
7
7
^(7) { }^{7}
3.1 超参数和训练 对于我们使用的所有数据集：修正线性单位、过滤窗口（
h
h
h h
(
p
)
(
p
)
(p) (p)
0.5
,
l
2
0.5
,
l
2
0.5,l_(2) 0.5, l_{2}
(
s
)
(
s
)
(s) (s) 除了在开发集上提前停止之外，我们不会执行任何特定于数据集的调整。对于没有标准开发集的数据集，我们随机选择
10
%
10
%
10% 10 \% 3.2 预训练词向量 在没有大型监督训练集的情况下，使用从无监督神经语言模型获得的词向量来初始化词向量是一种提高性能的流行方法（Collobert et al., 2011; Socher et al., 2011; Iyyer et al., 2014） 。我们使用公开可用的 word 2 vec 向量，这些向量是根据 Google 新闻中的 1000 亿个单词进行训练的。这些向量的维数为 300，并使用连续词袋架构进行训练（Mikolov 等人，2013）。预训练单词集中不存在的单词被随机初始化。
3.3 模型变化 我们尝试了该模型的几种变体。
CNN-rand：我们的基线模型，其中所有单词都是随机初始化的，然后在训练过程中进行修改。 CNN-static：具有来自 word2vec 的预训练向量的模型。所有单词（包括随机初始化的未知单词）都保持静态，并且仅学习模型的其他参数。 CNN-non-static：与上面相同，但预训练向量针对每个任务进行了微调。 CNN-多通道：具有两组词向量的模型。每组向量都被视为一个“通道”，并且应用每个滤波器
模型 MR
SST-1
SST-2
主题 TREC
CR
MPQA
CNN-兰德 76.1
45.0
82.7
89.6
91.2
79.8
83.4
CNN-静态 81.0
45.5
86.8
93.0
92.8
84.7
8
9
.
6
8
9
.
6
89.6 \mathbf{8 9 . 6}
CNN-非静态
8
1
.
5
8
1
.
5
81.5 \mathbf{8 1 . 5} 48.0
87.2
93.4
93.6
84.3
89.5
CNN-多频道 81.1
47.4
8
8
.
1
8
8
.
1
88.1 \mathbf{8 8 . 1} 93.2
92.2
8
5
.
0
8
5
.
0
85.0 \mathbf{8 5 . 0} 89.4
RAE（Socher 等人，2011） 77.7
43.2
82.4
-
-
-
86.4
MV-RNN（Socher 等人，2012） 79.0
44.4
82.9
-
-
-
-
RNTN（Socher 等人，2013） -
45.7
85.4
-
-
-
-
DCNN（Kalchbrenner 等人，2014） -
48.5
86.8
-
93.0
-
-
Paragraph-Vec（Le 和 Mikolov，2014） -
4
8
.
7
4
8
.
7
48.7 \mathbf{4 8 . 7} 87.8
-
-
-
-
CCAE（赫尔曼和布伦瑟姆，2013） 77.8
-
-
-
-
-
87.2
Sent-Parser（Dong 等人，2014） 79.5
-
-
-
-
-
86.3
NBSVM（Wang 和 Manning，2012） 79.4
-
-
93.2
-
81.8
86.3
MNB（王和曼宁，2012） 79.0
-
-
9
3
.
6
9
3
.
6
93.6 \mathbf{9 3 . 6} -
80.0
86.3
G-辍学（Wang 和 Manning，2013） 79.0
-
-
93.4
-
82.1
86.1
F-辍学（Wang 和 Manning，2013） 79.1
-
-
9
3
.
6
9
3
.
6
93.6 \mathbf{9 3 . 6} -
81.9
86.3
树-CRF（Nakakawa 等人，2010） 77.3
-
-
-
-
81.4
86.1
CRF-PR（Yang 和 Cardie，2014） -
-
-
-
-
82.7
-
支持向量机
S
S
_(S) { }_{S} -
-
-
-
9
5
.
0
9
5
.
0
95.0 \mathbf{9 5 . 0} -
-
Model MR SST-1 SST-2 Subj TREC CR MPQA
CNN-rand 76.1 45.0 82.7 89.6 91.2 79.8 83.4
CNN-static 81.0 45.5 86.8 93.0 92.8 84.7 89.6
CNN-non-static 81.5 48.0 87.2 93.4 93.6 84.3 89.5
CNN-multichannel 81.1 47.4 88.1 93.2 92.2 85.0 89.4
RAE (Socher et al., 2011) 77.7 43.2 82.4 - - - 86.4
MV-RNN (Socher et al., 2012) 79.0 44.4 82.9 - - - -
RNTN (Socher et al., 2013) - 45.7 85.4 - - - -
DCNN (Kalchbrenner et al., 2014) - 48.5 86.8 - 93.0 - -
Paragraph-Vec (Le and Mikolov, 2014) - 48.7 87.8 - - - -
CCAE (Hermann and Blunsom, 2013) 77.8 - - - - - 87.2
Sent-Parser (Dong et al., 2014) 79.5 - - - - - 86.3
NBSVM (Wang and Manning, 2012) 79.4 - - 93.2 - 81.8 86.3
MNB (Wang and Manning, 2012) 79.0 - - 93.6 - 80.0 86.3
G-Dropout (Wang and Manning, 2013) 79.0 - - 93.4 - 82.1 86.1
F-Dropout (Wang and Manning, 2013) 79.1 - - 93.6 - 81.9 86.3
Tree-CRF (Nakagawa et al., 2010) 77.3 - - - - 81.4 86.1
CRF-PR (Yang and Cardie, 2014) - - - - - 82.7 -
SVM _(S) (Silva et al., 2011) - - - - 95.0 - - | Model | MR | SST-1 | SST-2 | Subj | TREC | CR | MPQA |
| :--- | :---: | :---: | :---: | :---: | :---: | :---: | :---: |
| CNN-rand | 76.1 | 45.0 | 82.7 | 89.6 | 91.2 | 79.8 | 83.4 |
| CNN-static | 81.0 | 45.5 | 86.8 | 93.0 | 92.8 | 84.7 | $\mathbf{8 9 . 6}$ |
| CNN-non-static | $\mathbf{8 1 . 5}$ | 48.0 | 87.2 | 93.4 | 93.6 | 84.3 | 89.5 |
| CNN-multichannel | 81.1 | 47.4 | $\mathbf{8 8 . 1}$ | 93.2 | 92.2 | $\mathbf{8 5 . 0}$ | 89.4 |
| RAE (Socher et al., 2011) | 77.7 | 43.2 | 82.4 | - | - | - | 86.4 |
| MV-RNN (Socher et al., 2012) | 79.0 | 44.4 | 82.9 | - | - | - | - |
| RNTN (Socher et al., 2013) | - | 45.7 | 85.4 | - | - | - | - |
| DCNN (Kalchbrenner et al., 2014) | - | 48.5 | 86.8 | - | 93.0 | - | - |
| Paragraph-Vec (Le and Mikolov, 2014) | - | $\mathbf{4 8 . 7}$ | 87.8 | - | - | - | - |
| CCAE (Hermann and Blunsom, 2013) | 77.8 | - | - | - | - | - | 87.2 |
| Sent-Parser (Dong et al., 2014) | 79.5 | - | - | - | - | - | 86.3 |
| NBSVM (Wang and Manning, 2012) | 79.4 | - | - | 93.2 | - | 81.8 | 86.3 |
| MNB (Wang and Manning, 2012) | 79.0 | - | - | $\mathbf{9 3 . 6}$ | - | 80.0 | 86.3 |
| G-Dropout (Wang and Manning, 2013) | 79.0 | - | - | 93.4 | - | 82.1 | 86.1 |
| F-Dropout (Wang and Manning, 2013) | 79.1 | - | - | $\mathbf{9 3 . 6}$ | - | 81.9 | 86.3 |
| Tree-CRF (Nakagawa et al., 2010) | 77.3 | - | - | - | - | 81.4 | 86.1 |
| CRF-PR (Yang and Cardie, 2014) | - | - | - | - | - | 82.7 | - |
| SVM ${ }_{S}$ (Silva et al., 2011) | - | - | - | - | $\mathbf{9 5 . 0}$ | - | - |
表 2：我们的 CNN 模型与其他方法的结果。 RAE：带有来自维基百科的预训练词向量的递归自动编码器（Socher et al., 2011）。 MV-RNN：带有解析树的矩阵向量递归神经网络（Socher et al., 2012）。 RNTN：具有基于张量的特征函数和解析树的递归神经张量网络（Socher et al., 2013）。 DCNN：具有 k-max 池化的动态卷积神经网络（Kalchbrenner 等人，2014）。 Paragraph-Vec：段落向量之上的逻辑回归（Le 和 Mikolov，2014）。 CCAE：具有组合类别语法运算符的组合类别自动编码器（Hermann 和 Blunsom，2013）。 Sent-Parser：特定于情感分析的解析器（Dong et al., 2014）。 NBSVM、MNB：朴素贝叶斯 SVM 和具有单二元模型的多项式朴素贝叶斯，来自 Wang 和 Manning (2012)。 G-Dropout、F-Dropout：Wang 和 Manning 的高斯 Dropout 和快速 Dropout（2013）。 Tree-CRF：具有条件随机字段的依赖树（Nakakawa 等人，2010）。 CRF-PR：具有后验正则化的条件随机场（Yang 和 Cardie，2014）。支持向量机
S
S
_(S) { }_{S} 到两个通道，但梯度仅通过其中一个通道反向传播。因此，该模型能够微调一组向量，同时保持另一组静态。两个通道均使用 word2vec 初始化。 为了区分上述变化与其他随机因素的影响，我们通过在每个数据集中保持统一来消除其他随机性来源（CV 折叠分配、未知词向量的初始化、CNN 参数的初始化）。
4 结果与讨论 我们的模型与其他方法的结果列于表 2。我们的所有随机初始化单词 (CNN-rand) 的基线模型本身表现不佳。虽然我们预计通过使用预先训练的向量可以获得性能提升，但我们对提升的幅度感到惊讶。即使是具有静态向量的简单模型（CNN-static）也表现得非常好，与利用复杂池化方案（Kalchbrenner 等人，2014）或需要预先计算解析树（Socher 等人）的更复杂的深度学习模型相比，给出了有竞争力的结果。等，2013）。这些结果表明，预训练向量是良好的“通用”特征提取器，并且可以跨数据集使用。微调每个任务的预训练向量可以进一步改进（CNN -非静态）。
4.1 多通道与单通道模型 我们最初希望多通道架构能够防止过度拟合（通过确保学习的向量不会偏离原始值太远），从而比单通道模型效果更好，尤其是在较小的数据集上。然而，结果好坏参半，有必要进一步规范微调过程。例如，可以不为非静态部分使用额外的通道，而是保留单个通道，但使用允许在训练期间修改的额外维度。
坏的 最相似的词
静态通道 非静态通道
好的 糟糕的
糟糕的 可怕
可怕 糟糕的
糟糕的 愚蠢的
n
n
n \boldsymbol{n} 伟大的 好的
坏的 体面的
了不起 坚硬的
体面的 了不起
n
n
n \boldsymbol{n} 操作系统 不是
加州 绝不
爱尔兰 没有什么
窝 两者都不
全部的 2,500
杰兹 郁郁葱葱
改变者 美丽的
德西亚 了不起
深渊 但
灭亡 龙
英勇 a
bad Most Similar Words for
Static Channel Non-static Channel
good terrible
terrible horrible
horrible lousy
lousy stupid
n 't great nice
bad decent
terrific solid
decent terrific
n os not
ca never
ireland nothing
wo neither
entire 2,500
jez lush
changer beautiful
decasia terrific
abysmally but
demise dragon
valiant a | bad | Most Similar Words for | |
| :---: | :---: | :---: |
| | Static Channel | Non-static Channel |
| | good | terrible |
| | terrible | horrible |
| | horrible | lousy |
| | lousy | stupid |
| $\boldsymbol{n}$ 't | great | nice |
| | bad | decent |
| | terrific | solid |
| | decent | terrific |
| $\boldsymbol{n}$ | os | not |
| | ca | never |
| | ireland | nothing |
| | wo | neither |
| | entire | 2,500 |
| | jez | lush |
| | changer | beautiful |
| | decasia | terrific |
| | abysmally | but |
| | demise | dragon |
| | valiant | a |
表 3：训练后 SST-2 数据集上的多通道模型的静态通道中的向量（左）和非静态通道中的微调向量（右）的前 4 个相邻词（基于余弦相似度）。
4.2 静态与非静态表示 与单通道非静态模型的情况一样，多通道模型能够微调非静态通道，使其更适合当前的任务。例如，word2vec 中的 good 与 bad 最相似，大概是因为它们在语法上（几乎）是等价的。但对于在 SST-2 数据集上微调的非静态通道中的向量，情况不再如此（表 3）。同样，在表达情感方面，“好”可以说更接近“好”，而不是“太棒”，这确实反映在学习的向量中。
对于不在预训练向量集中的（随机初始化的）标记，微调可以让它们学习更有意义的表示：网络了解到感叹号与热情的表达相关联，而逗号是连接词（表 3）。
4.3 进一步观察 我们报告了一些进一步的实验和观察：
卡尔奇布伦纳等人。 （2014）报告了 CNN 的结果要差得多，该 CNN 的架构与我们的单通道模型基本相同。例如，他们的带有随机初始化单词的 Max-TDNN（时间延迟神经网络）获得
37.4
%
37.4
%
37.4% 37.4 \%
45.0
%
45.0
%
45.0% 45.0 \% 事实证明，Dropout 是一个很好的正则化器，使用比必要的网络更大的网络并简单地让 Dropout 对其进行正则化就可以了。持续添加辍学
2
%
−
4
%
2
%
−
4
%
2%-4% 2 \%-4 \% 当随机初始化不在 word2vec 中的单词时，我们通过对每个维度进行采样获得了轻微的改进
U
[
−
a
,
a
]
U
[
−
a
,
a
]
U[-a,a] U[-a, a]
a
a
a a 我们简短地试验了由 Collobert 等人训练的另一组公开可用的词向量。 （2011）维基百科上，
8
8
^(8) { }^{8} Adadelta (Zeiler, 2012) 给出了与 Adagrad (Duchi et al., 2011) 类似的结果，但需要更少的 epoch。
5 结论 在目前的工作中，我们描述了一系列基于 word2vec 构建的卷积神经网络的实验。尽管对超参数进行了很少的调整，但具有一层卷积的简单 CNN 的性能却非常好。我们的结果进一步证实了词向量的无监督预训练是 NLP 深度学习的重要组成部分。
致谢 我们要感谢 Yann LeCun 和匿名审稿人提供的有用的反馈和建议。
参考 Y. Bengio、R. Ducharme、P. Vincent。 2003.神经概率语言模型。机器学习研究杂志 3：1137-1155。 R. Collobert、J. Weston、L. Bottou、M. Karlen、K. Kavukcuglu、P. Kuksa。 2011 年。自然语言处理（几乎）从头开始。机器学习研究杂志 12：2493-2537。 J.杜奇、E.哈赞、Y.辛格。 2011 用于在线学习和随机优化的自适应次梯度方法。机器学习研究杂志，12：2121-2159。 L. 董，F. 魏，S. 刘，M. 周，K. 徐。 2014。情感分类的统计解析框架。 CoRR，abs/1401.6330。 A. 格雷夫斯、A. 穆罕默德、G. 辛顿。 2013. 使用深度循环神经网络进行语音识别。 2013 年 ICASSP 会议论文集。 G. Hinton、N. Srivastava、A. Krizhevsky、I. Sutskever、R. Salakhutdinov。 2012.通过防止特征检测器的共同适应来改进神经网络。 CoRR，abs/1207.0580。 K.赫尔曼，P.布伦瑟姆。 2013.语法在组合语义向量空间模型中的作用。 2013 年 ACL 会议论文集。 胡先生，刘B. 2004。挖掘和总结客户评论。在 ACM SIGKDD 2004 年会议记录中。 M. Iyyer、P. Enns、J. Boyd-Graber、P. Resnik 2014。使用递归神经网络的政治意识形态检测。 2014 年 ACL 会议论文集。 N. Kalchbrenner、E. Grefenstette、P. Blunsom。 2014.用于建模句子的卷积神经网络。 2014 年 ACL 会议论文集。 A. Krizhevsky、I. Sutskever、G. Hinton。 2012。使用深度卷积神经网络的 ImageNet 分类。 2012 年 NIPS 会议记录。 Q.勒，T.米科洛夫。 2014.句子和文档的分布式表示。 ICML 2014 会议论文集。 Y. LeCun、L. Bottou、Y. Bengio、P. Haffner。 1998.基于梯度的学习应用于文档识别。 IEEE 会议录，86(11):22782324，11 月。 X.李，D.罗斯。 2002.学习问题分类器。在 ACL 2002 年会议记录中。 T. Mikolov、I. Sutskever、K. Chen、G. Corrado、J. Dean。 2013.单词和短语的分布式表示及其组合性。 2013 年 NIPS 会议记录。 T.中川，K.干，S.黑桥。 2010.使用带有隐藏变量的条件随机场进行基于依赖树的情感分类。 2010 年 ACL 会议论文集。 B. 庞，L. 李。 2004. 情感教育：基于最小割点的主观性概括的情感分析。在 ACL 2004 年会议记录中。 B. 庞，L. 李。 2005. 看到星星：利用阶级关系进行与评级量表相关的情感分类。在 ACL 2005 年会议记录中。 AS Razavian、H. Azizpour、J. Sullivan、S. Carlsson 2014。CNN 现成专题：令人震惊的基线。 CoRR，abs/1403.6382。 Y.沉，X.何，J.高，L.邓，G.Mesnil。 2014。使用卷积神经网络学习语义表示进行网络搜索。 2014 年 WWW 会议记录。 J.席尔瓦、L.科赫尔、A.门德斯、A.威彻特。 2011.问题分类中从符号信息到子符号信息。人工智能评论，35(2)：
137
−
154
137
−
154
137-154 137-154 R. Socher、J. Pennington、E. Huang、A. Ng、C. Manning。 2011. 用于预测情感分布的半监督递归自动编码器。 2011 年 EMNLP 会议记录。 R. Socher、B. Huval、C. Manning、A. Ng。 2012.通过递归矩阵向量空间的语义组合性。 2012 年 EMNLP 会议记录。 R. Socher、A. Perelygin、J. Wu、J. Chuang、C. Manning、A. Ng、C. Potts。 2013.情感树库上语义组合的递归深度模型。 2013 年 EMNLP 会议记录。 J. Wiebe、T. Wilson、C. Cardie。 2005.用语言注释观点和情感的表达。语言资源与评估，39（2-3）：165210。 S.王，C.曼宁。 2012.基线和二元组：简单、良好的情绪和主题分类。 2012 年 ACL 会议论文集。 S.王，C.曼宁。 2013.快速辍学培训。 ICML 2013 会议论文集。 B.杨，C.卡迪。 2014.具有后验正则化的句子级情感分析的上下文感知学习。 2014 年 ACL 会议论文集。 W. Yih、K. Toutanova、J. Platt、C. Meek。 2011.学习文本相似性度量的判别性预测。第十五届计算自然语言学习会议论文集，
247
−
256
247
−
256
247-256 247-256 W. Yih，X. He，C. Meek。 2014.单关系问答的语义解析。 2014 年 ACL 会议论文集。 M·泽勒。 2012.Adadelta：一种自适应学习率方法。 CoRR，abs/1212.5701。 