摘要
多视图聚类(MVC)旨在将一组多源数据分割为其潜在的组群。为了提升性能,如何探索更好的表示方法是重要的。在本文中,我们提出了一种具有特征融合的深度矩阵分解模型,用于处理顺序多视图聚类问题。该方法通过逐层嵌入邻近约束来找到每个视图层中的聚类边界信息,并可以获得用于MVC的聚合输出表示。实验证明,所提出的模型极大地提高了聚类性能,并可用于运动分割等应用中。
介绍
为了逐层挖掘更清晰的聚类结构,我们采用结构正则化项[8]的思想,并引入邻近约束来寻找每一层中的聚类边界信息。然后通过分解过程,这种聚类结构将从每个视图中得到增强。最终,我们可以在每个视图中获得一种有效的多样化表示。我们的模型可以表示为:
其中,
∥
H
i
(
v
)
R
∥
2
,
1
\left \| H^{(v)}_i R\right \|_{2,1}
Hi(v)R
2,1 是结构正则化项。
H
i
(
v
)
=
Z
i
−
1
(
v
)
.
.
.
Z
m
(
v
)
H
m
(
v
)
H^{(v)}_i=Z^{(v)}_{i-1} ... Z^{(v)}_{m} H^{(v)}_{m}
Hi(v)=Zi−1(v)...Zm(v)Hm(v) 表示第
v
v
v 个视图的第
i
i
i 层表示,表示第
v
v
v 个视图的第
i
i
i个成分。
β
\beta
β 是一个权衡参数,用于控制正则化项的权重。
α
(
v
)
\alpha^{(v)}
α(v) 是第
v
v
v 个视图的权重系数。
γ
\gamma
γ 是控制权重分布的参数。
假设每个视图中邻近点之间存在很高的相似性;距离越近的点,它们的相似性越高,在顺序数据中只有在聚类边界处才会出现突变。在公式(2)中,我们设计了矩阵
R
∈
R
n
×
n
−
1
R\in R^{ n\times n-1}
R∈Rn×n−1,它是一个下三角矩阵,对角线上为
−
1
-1
−1,第二条对角线上为
1
1
1:
公式(3)意味着
H
R
=
[
H
2
−
H
1
,
H
3
−
H
2
,
.
.
.
,
H
n
−
H
n
−
1
]
HR=[H_2-H_1,H_3-H_2,...,H_n-H_{n-1}]
HR=[H2−H1,H3−H2,...,Hn−Hn−1]。
H
R
HR
HR 的列 如,
H
n
−
H
n
−
1
H_n-H_{n-1}
Hn−Hn−1 表示相邻点之间的差异,理想情况下,如果
H
n
−
H
n
−
1
≈
0
H_n-H_{n-1}\approx 0
Hn−Hn−1≈0,意味着相邻点尽可能相似。给定
k
k
k 个聚类,理想情况下,
H
R
HR
HR 应该只有
k
−
1
k - 1
k−1 个非零列。因此,我们引入
2
,
1
2,1
2,1-范数来惩罚每列,以寻求共同的聚类结构并保持
H
i
(
v
)
H^{(v)}_i
Hi(v) 中的稀疏性。
优化:
由于该模型不是凸优化的,无法获得最优解,只能达到局部最小值。与[4]类似,每个层都进行预训练,以获得第
v
v
v 个视图中第
i
i
i 层的变量
Z
i
(
v
)
Z^{(v)}_i
Zi(v) 和
H
i
(
v
)
H_i^{(v)}
Hi(v) 的初始近似值。将从第
1
1
1 层到第
m
m
m 层的维度(层大小)标记为
[
p
1
.
.
.
p
m
]
[p_1 ...p_m]
[p1...pm],首先,我们对输入数据矩阵进行分解
X
(
v
)
≈
Z
1
(
v
)
H
1
(
v
)
X^{(v)} \approx Z^{(v)}_1H^{(v)}_1
X(v)≈Z1(v)H1(v) 进行预训练,然后将第一个特征矩阵
H
1
(
v
)
H^{(v)}_1
H1(v) 分解为
Z
2
(
v
)
H
2
(
v
)
Z^{(v)}_2H^{(v)}_2
Z2(v)H2(v)。依此类推,继续这样做,直到预训练完所有的层。
更新规则为
H
i
(
v
)
H^{(v)}_i
Hi(v)。 对于输入数据矩阵
X
(
v
)
X^{(v)}
X(v) ,我们需要解决以下问题: 由于矩阵
Φ
\Phi
Φ 和
R
R
R包含负值,我们将它们分解为两个非负部分,用
M
+
M^+
M+ 表示将所有负元素替换为
0
0
0 的矩阵,用
M
−
M^-
M−表示将所有正元素替换为0的矩阵。 C. 聚类 通过深度矩阵分解模型进行分解后,多样化表示
H
i
(
v
)
H_i^{(v)}
Hi(v)i 从第
v
v
v 个视图的
m
m
m 个组件中获取了共同的聚类结构信息。最终的聚合表示
H
i
(
m
)
H_i^{(m)}
Hi(m)可以通过将不同视图中的所有
H
i
(
v
)
H_i^{(v)}
Hi(v) 进行组合得到。 在得到表示
H
H
H 后,通过k-NN算法[15]对建立的图进行谱聚类[10]。
好文推荐
发表评论