由于矢量通常需要至少与其磁盘存储一样多的可寻址内存,因此将这些矢量的全功能版本加载到仅具有8GB RAM的计算机中将具有挑战性。特别是:
-
一旦您开始对这些向量进行最常见的操作-找到目标词/向量中的<template>
<section class="ShowGallery">
<div class="panelGallery">
<div class="topBlock">
<div class="close" @click="$emit('btnCloseGallery')"><i class="icon-error"></i></div>
</div>
<div class="bottomBlock">
<div class="block first">
<div class="image">
<img :src="gallery.url">
</div>
</div>
<div class="block second">
<h3>info gallery</h3>
{{gallery}}
<ul class="listInfo">
<li><span>{{gallery.size}}</span><span> : size </span></li>
<li><span v-text="gallery.type"></span><span> : format </span></li>
<li><span v-text="gallery.resolution"></span><span> : resolution </span></li>
<li><span v-text="gallery.name"></span><span> : name </span></li>
<li><span v-text="gallery.url"></span><span> : url </span></li>
<li><span v-text="gallery.path"></span><span> : path </span></li>
</ul>
</div>
</div>
</div>
</section>
</template>
<script>
export default {
props : ['gallery_id'],name: "ShowGallery",data(){
return {
gallery : {},}
},methods : {
async getGallery(){
const data = await axios.get(`/admin/gallery/${this.gallery_id}`);
this.gallery = data.data;
console.log(this.gallery)
}
},mounted(){
this.getGallery();
},}
</script>
个词的列表-gensim实现也将要缓存一组词向量已经标准化为单位长度–几乎使所需的内存增加了一倍
-
gensim的FastText支持的当前版本(至少通过3.8.1版)还浪费了一些不必要的内存(特别是在全模式情况下)
如果您仅使用向量,而不进行进一步的培训,那么您肯定只希望使用most_similar()
选项。
如果您愿意放弃模型为语音以外的单词合成新矢量的能力(在训练中看不到),则可以选择从纯文本加载仅一部分全单词矢量,文本load_facebook_vectors()
文件。例如,仅加载第一个500K向量:
.vec
因为通常对此类向量进行排序,以将出现频率较高的词排在首位,所以经常丢弃低频词的长尾巴并不是很大的损失。
本文链接:https://www.f2er.com/2943221.html