小白也能玩转AI绘画：圣女司幼幽

实现更灵活的上下文访问，通过自注意力捕获全局依赖关系， Seq2Seq框架将输入序列编码为上下文向量再解码，实现了并行计算和高效建模，但存在梯度消失和长距离依赖问题；LSTM/GRU通过门控机制改进记忆管理， Transformer完全基于注意力机制，Attention机制动态选择相关输入位置，配合位置编码保留序列顺序，但固定长度向量成为信息瓶颈，。

， 本文系统介绍了自然语言处理中的序列建模技术演进： 基础RNN通过隐藏状态传递上下文信息。