• 上下文化单词嵌入是在特殊上下文中表示单词的向量。 传统单词嵌入（例如Word2Vec和GloVe）为每个单词生成一个矢量，而上下文化单词嵌入则根据上下文生成一个单词的矢量。考虑句子The duck is swimming和You shall duck when someone shoots at you。使用传统的词嵌入，duck的词向量在两个句子中都将是相同的，而在上下文情况下，它应该是不同的。
• 尽管单词嵌入将单词编码为矢量表示形式，但还有一个问题是如何用计算机可以轻松使用的方式来表示整个句子。这些句子编码可以将整个句子作为一个向量嵌入，例如doc2vec，它可以为句子生成向量。而且BERT还会为整个句子[CLS]-令牌生成一个表示。

因此，简而言之，词化嵌入词表示上下文中的词，而句子编码表示整个句子。