我正在使用此代码来获取数据集中句子的嵌入(我正在使用预先训练的模型)。
`python extract_features.py \
--input_file=/tmp/input.txt \
--output_file=/tmp/output.jsonl \
--vocab_file=$berT_BASE_DIR/vocab.txt \
--bert_config_file=$berT_BASE_DIR/bert_config.json \
--init_checkpoint=$berT_BASE_DIR/bert_model.ckpt \
--layers=-1,-2,-3,-4 \
--max_seq_length=128 \
--batch_size=32`
但是,有一个问题:有一种方法可以更快地获得嵌入?因为花了2000句花了6个小时。我的数据集包含20000个句子; 60小时对于colab来说太长了。 谢谢。