首页 | Qtrue

Transformer是目前最流行的深度学习架构之一，广泛应用于大语言模型（LLM）和计算机视觉等领域。
它的核心创新在于引入了自注意力机制（Self-Attention），使得模型能够更好地捕捉输入数据中的长距离依赖关系。

可视化Transformer

神经网络就是模仿人脑神经元的结构，其典型应用就是Transformer架构。

神经网络的基本结构

神经网络由输入层、隐藏层和输出层组成。
每一层由多个神经元组成，神经元之间通过权重连接。
输入层接收外部数据，隐藏层进行特征提取和变换，输出层产生最终结果。

图：神经网络的基本结构

递归

给定二叉树的前序遍历和中序遍历，我们需要根据这两种遍历结果来构造出原始的二叉树。
前序遍历的第一个元素是树的根节点。我们可以根据这个根节点在中序遍历中找到它的位置，从而确定左子树和右子树的范围。
递归地对左子树和右子树进行构建。对于左子树，我们使用前序遍历中根节点之后的元素以及中序遍历中根节点之前的元素；对于右子树，我们使用前序遍历中根节点之后的元素以及中序遍历中根节点之后的元素。
递归的终止条件是当前序遍历的起始索引大于或等于结束索引时，返回 null，表示当前子树为空。
最后返回构建好的树的根节点作为结果。

递归

给定一个二叉树，我们需要将其展开为一个单链表，要求链表中的节点顺序与二叉树的前序遍历相同。
我们可以使用递归来实现这个功能。我们首先递归地展开右子树，然后递归地展开左子树。这样可以确保我们先处理右侧的节点，从而能够正确地连接链表。
在递归过程中，我们维护一个指向当前链表头节点的指针。当我们处理当前节点时，我们将其左子树设置为 null，并将其右子树连接到当前链表的头节点上。然后更新链表头节点为当前节点。
递归的终止条件是当节点为 null 时，返回。我们首先递归访问右子树，然后递归访问左子树，这样可以确保我们先处理右侧的节点，从而能够正确地连接链表。
最后返回展开后的链表头节点作为结果。

递归

二叉树的右视图是指从右侧观察二叉树时，能够看到的节点值。我们可以使用深度优先搜索（DFS）来实现这个功能。
在DFS过程中，我们首先访问右子树，然后访问左子树。这样可以确保我们先访问右侧的节点，从而能够记录下每一层的第一个节点。
我们可以维护一个列表来存储每一层的第一个节点值。当访问到一个新的深度时，如果当前深度等于列表的大小，说明这是该层的第一个节点，我们将其值添加到列表中。
递归的终止条件是当节点为 null 时，返回。我们首先递归访问右子树，然后递归访问左子树，这样可以确保我们先访问右侧的节点，从而能够记录下每一层的第一个节点值。
最后返回存储了每一层第一个节点值的列表作为结果。