我正在使用模块bert-for-tf2
来将berT模型包装为Tensorflow 2.0中的Keras层。我已经按照您的指南将berT模型实现为Keras层。
我正在尝试从句子中提取嵌入内容;在我的情况下,句子是“你好”
我对模型预测的输出有疑问;我已经写了这个模型:
model_word_embedding = tf.keras.Sequential([
tf.keras.layers.Input(shape=(4,),dtype='int32',name='input_ids'),bert_layer
])
model_word_embedding .build(input_shape=(None,4))
然后我要提取上面所写句子的嵌入:
sentences = ["Hello"]
predict = model_word_embedding .predict(sentences)
对象预测包含4个数组,每个数组包含768个元素:
print(predict)
print(len(predict))
print(len(predict[0][0]))
...
[[[-0.02768866 -0.7341324 1.9084396 ... -0.65953904 0.26496622
1.1610721 ]
[-0.19322394 -1.3134469 0.10383344 ... 1.1250225 -0.2988368
-0.2323082 ]
[-1.4576151 -1.4579685 0.78580517 ... -0.8898649 -1.1016986
0.6008501 ]
[ 1.41647 -0.92478925 -1.3651332 ... -0.9197768 -1.5469263
0.03305872]]]
4
768
我知道那个4的每个数组代表我的原始句子,但是我想获得一个数组作为我的原始句子的嵌入。 因此,我的问题是:如何获得句子的嵌入?
在berT源代码中,我读到了这一点:
对于分类任务,第一个向量(对应于[CLS])用作“句子向量”。请注意,这仅是有意义的,因为整个模型都经过了微调。
所以我必须从预测输出中提取第一个数组,因为它代表了我的句子矢量?
感谢您的支持