nn.Embedding(num_embeddings, embedding_dim, padding_idx)

nn.Embedding(num_embeddings, embedding_dim, padding_idx)

简单来说就是一个嵌入层，输入词表大小和词表示的维度，输出词表中的每个词用embedding_dim维的向量表示的结果。

• 定义：存储固定大小字典的词嵌入查找表
• input：任意形状的 IntTensor或LongTensor (n, d)，其中的元素要小于num_embeddings
• output：(n, d, a) # 词数，词维度，词向量维度
• 参数：词表大小----词嵌入表示维度-----填充索引， num_embeddings >= nd
• 为了保持句子长度等长，所以需要对较短句子进行padding

举例

• 实例化词嵌入对象

embeder = torch.nn.Embedding(5, 4, padding_idx=2)
embeder.weight
"""在这里，padding_idx代表需要填充的词索引，默认填充0"""
Parameter containing:
tensor([[-0.9215, -0.6851, -0.1972, -1.2832],
        [-0.2189,  0.5643, -1.2452,  0.9586],
        [ 0.0000,  0.0000,  0.0000,  0.0000],
        [-1.4466, -0.0685,  0.3057,  2.1399],
        [-1.9602, -0.9143,  0.6579, -1.0564]], requires_grad=True)

词嵌入表示

words = torch.LongTensor([[1, 2], [3, 4])
# 长度一个是1，一个是2，所以第一个要补零哦
embeder(words)  # 把每个词用4维向量表示
"""这里的话，words中需要填充的位置设成padding_idx, 表示时就可以填充了"""
tensor([[[-0.2189,  0.5643, -1.2452,  0.9586],
         [ 0.0000,  0.0000,  0.0000,  0.0000]],

        [[-1.4466, -0.0685,  0.3057,  2.1399],
         [-1.9602, -0.9143,  0.6579, -1.0564]]], grad_fn=<EmbeddingBackward0>)