LSTM与HMM、CRF等的区别和联系?

LSTM本质上是建模条件概率,图模型中的一些模型也可以建模状态转移概率,如HMM等。
双向LSTM可以考虑顺序和逆序信息,一阶线性的CRF也可以建模节点之间的共生关系。
那么,除了LSTM可以集成在神经网络中构成end-to-end的学习系统以外,它还有什么优点?在数学表达上,LSTM和HMM以及CRF有什么异同?
已邀请:

xinmiao

赞同来自: disheng

首先,RNN排除了HMM中的一个强假设,即马尔科夫性。因此从理论上来说它可以回顾更长的序列信息(但实际上会受到梯度弥散的问题,无法做到无限回顾)。
此外,RNN的优势在于它在建模非线性动态方面具有天然的优势。
从理论上来说,无论是RNN还是HMM,都可以统一到用PGM的理论模型中进行解释,这是他们的数学基础。
不要把RNN和图模型对立起来,很多时候他们是结合在一起使用的。
 

shunshun

赞同来自: disheng

Conditional random fields as recurrent neural networks,好像是ICCV15的工作

要回复问题请先登录注册