代码如下:
from gensim.models import Word2Vec, word2vec
import jieba
import multiprocessing
# 1. 停用词表
def get_stop_words(filepath='stop_words.txt') -> list:
return open(filepath, 'r', encoding='utf-8').readlines()[0].split(',')
# 2.分词
def cut_words(sentence, stop_words, save_path=None):
cut_sentence = []
for line in sentence:
cuts = jieba.cut(line, cut_all=False)
new_cuts = []
for cut in cuts:
if cut not in stop_words:
new_cuts.append(cut)
cut_sentence.append(new_cuts)
if save_path:
with open(save_path, 'w') as f:
for ele in cut_sentence:
for e in ele:
e = e + '\n'
f.write(e)
f.flush()
return cut_sentence # 返回 list to list 格式数据
def train_word2vec(words_file):
# 可以用BrownCorpus,Text8Corpus或lineSentence来构建sentences
sentences = list(word2vec.LineSentence(words_file)) # 加载分词后的文件
model = Word2Vec(sentences, vector_size=256, min_count=1, window=5, sg=0, workers=multiprocessing.cpu_count())
return model
def train_word2vec_2(words_file):
sentences = list(word2vec.LineSentence(words_file))
model = Word2Vec(vector_size=256, min_count=1)
# 加载词表
model.build_vocab(sentences)
# 训练
model.train(sentences, total_examples=model.corpus_count, epochs=10)
return model
if __name__ == '__main__':
sentences_list: list = [
'优惠的政策和政府对产业发展的重视也吸引了更多医美企业来成都寻觅机遇。2018年成都医美机构的数量一度飙升至407家,较之前一年激增131家。',
'中国医学科学院整形外科医院也选择于2018年将首家京外分院——成都八大处医疗美容医院落地蓉城。不断增长的营收数据没有让人失望.',
'成都八大处医疗美容医院院长唐勇告诉记者,在因新冠肺炎疫情停业近40天的情况下,该院2020年的营收相比2019年仍实现了约30%的增长。'
'“成都打造‘医美之都’的过程中,优惠的政策、聚合的资源、配套的宣传措施等为医美行业造起了‘势’,对行业发展起到积极的推动作用,城市产业氛围十分友好。',
'实际上,随着“颜值经济”不断走热,医美逐渐成为部分当代中国人的“刚需”,其中恢复期短、风险较低的轻医美最受欢迎。',
'出于对安全性、可靠性等因素的考虑,大量消费者自然而然地流动到医美资源集聚的城市“求美”,“医美旅游”悄然兴起。',
'成都头部医美机构之一、四川华美紫馨医学美容医院2020年整体营收约6亿元。该院总经理薛红介绍,医院每年治疗人数中约20%都是专程前来的外地消费者。',
'“尤其最近几年,这部分消费者数量增长很快,来自甘肃、青海、云南、贵州等各个省份的都有。”',
]
# 加载停用词表
stopwords = get_stop_words()
sentences_cut = cut_words(sentences_list, stopwords, save_path='data.txt')
print(sentences_cut)
model = train_word2vec(words_file='data.txt')
print("相似度计算:", model.wv.most_similar(['优惠', '成都']))
其中停用词表stop_words.txt
为:
去年,nan,安全,食品,一个,中国,自己,可以,我们,他们,美国,没有,问题,这个,生产,进行,万元,现在,很多,不是,如果,这些,进行,这样,福喜,推进,建设,调查,什么,工作,2014,注册,公布,关注,!,",#,$,%,&,',(,),*,+,,,-,--,.,..,...,......,...................,./,.一,记者,数,年,月,日,时,分,秒,/,//,0,1,2,3,4,5,6,7,8,9,:,://,::,;,<,=,>,>>,?,@,A,Lex,[,\,],【,】,^,_,`,exp,sub,sup,|,},~,~~~~,·,×,×××,Δ,Ψ,γ,μ,φ,φ.,В,—,——,———,‘,’,’‘,“,”,”,,…,……,…………………………………………………③,′∈,′|,℃,Ⅲ,↑,→,∈[,∪φ∈,≈,①,②,②c,③,③],④,⑤,⑥,⑦,⑧,⑨,⑩,──,■,▲,,、,。,〈,〉,《,》,》),,」,『,』,〔,〕,〕〔,㈧,一,一.,一一,一下,一些,一何,一切,一则,一则通过,一天,一定,一方面,一旦,一时,一来,一样,一次,一片,一番,一直,一致,一般,一起,一转眼,一边,一面,七,万一,三,三天两头,三番两次,三番五次,上,上下,上升,上去,上来,上述,上面,下,下列,下去,下来,下面,不,不一,不下,不久,不了,不亦乐乎,不仅,不仅...而且,不仅仅,不仅仅是,不会,不但,不但...而且,不光,不免,不再,不力,不单,不变,不只,不可,不可开交,不可抗拒,不同,不外,不外乎,不够,不大,不如,不妨,不定,不对,不少,不尽,不尽然,不巧,不已,不常,不得,不得不,不得了,不得已,不必,不怎么,不怕,不惟,不成,不拘,不择手段,不敢,不料,不断,不日,不时,不曾,不止,不止一次,不比,不消,不满,不然,不然的话,不特,不独,不由得,不知不觉,不管,不管怎样,不经意,不胜,不能,不能不,不至于,不若,不要,不论,不起,不足,不过,不迭,不问,不限,与,与其,与其说,与否,与此同时,专门,且,且不说,且说,两者,严格,严重,个,个人,个别,中小,中间,丰富,串行,临,临到,为,为主,为了,为什么,为什麽,为何,为止,为此,为着,主张,主要,举凡,举行,乃,乃至,乃至于,么,之,之一,之前,之后,之後,之所以,之类,乌乎,乎,乒,乘,乘势,乘机,乘胜,乘虚,乘隙,九,也,也好,也就是说,也是,也罢,了,了解,争取,二,二来,二话不说,二话没说,于,于是,于是乎,云云,云尔,互,互相,五,些,交口,亦,产生,亲口,亲手,亲眼,亲自,亲身,人,人人,人们,人家,人民,什么样,什麽,仅,仅仅,今,今后,今天,今年,今後,介于,仍,仍旧,仍然,从,从不,从严,从中,从事,从今以后,从优,从古到今,从古至今,从头,从宽,从小,从新,从无到有,从早到晚,从未,从来,从此,从此以后,从而,从轻,从速,从重,他,他人,他是,他的,代替,以,以上,以下,以为,以便,以免,以前,以及,以后,以外,以後,以故,以期,以来,以至,以至于,以致,们,任,任何,任凭,任务,企图,伙同,会,伟大,传,传说,传闻,似乎,似的,但,但凡,但愿,但是,何,何乐而不为,何以,何况,何处,何妨,何尝,何必,何时,何止,何苦,何须,余外,作为,你,你们,你是,你的,使,使得,使用,例如,依,依据,依照,依靠,便,便于,促进,保持,保管,保险,俺,俺们,倍加,倍感,倒不如,倒不如说,倒是,倘,倘使,倘或,倘然,倘若,借,借以,借此,假使,假如,假若,偏偏,做到,偶尔,偶而,傥然,像,儿,允许,元/吨,充其极,充其量,充分,先不先,先后,先後,先生,光,光是,全体,全力,全年,全然,全身心,全部,全都,全面,八,八成,公然,六,兮,共,共同,共总,关于,其,其一,其中,其二,其他,其余,其后,其它,其实,其次,具体,具体地说,具体来说,具体说来,具有,兼之,内,再,再其次,再则,再有,再次,再者,再者说,再说,冒,冲,决不,决定,决非,况且,准备,凑巧,凝神,几,几乎,几度,几时,几番,几经,凡,凡是,凭,凭借,出,出于,出去,出来,出现,分别,分头,分期,分期分批,切,切不可,切切,切勿,切莫,则,则甚,刚,刚好,刚巧,刚才,初,别,别人,别处,别是,别的,别管,别说,到,到了儿,到处,到头,到头来,到底,到目前为止,前后,前此,前者,前进,前面,加上,加之,加以,加入,加强,动不动,动辄,勃然,匆匆,十分,千,千万,千万千万,半,单,单单,单纯,即,即令,即使,即便,即刻,即如,即将,即或,即是说,即若,却,却不,历,原来,去,又,又及,及,及其,及时,及至,双方,反之,反之亦然,反之则,反倒,反倒是,反应,反手,反映,反而,反过来,反过来说,取得,取道,受到,变成,古来,另,另一个,另一方面,另外,另悉,另方面,另行,只,只当,只怕,只是,只有,只消,只要,只限,叫,叫做,召开,叮咚,叮当,可,可好,可是,可能,可见,各,各个,各人,各位,各地,各式,各种,各级,各自,合理,同,同一,同时,同样,后,后来,后者,后面,向,向使,向着,吓,吗,否则,吧,吧哒,吱,呀,呃,呆呆地,呐,呕,呗,呜,呜呼,呢,周围,呵,呵呵,呸,呼哧,呼啦,咋,和,咚,咦,咧,咱,咱们,咳,哇,哈,哈哈,哉,哎,哎呀,哎哟,哗,哗啦,哟,哦,哩,哪,哪个,哪些,哪儿,哪天,哪年,哪怕,哪样,哪边,哪里,哼,哼唷,唉,唯有,啊,啊呀,啊哈,啊哟,啐,啥,啦,啪达,啷当,喀,喂,喏,喔唷,喽,嗡,嗡嗡,嗬,嗯,嗳,嘎,嘎嘎,嘎登,嘘,嘛,嘻,嘿,嘿嘿,四,因,因为,因了,因此,因着,因而,固,固然,在,在下,在于,地,均,坚决,坚持,基于,基本,基本上,处在,处处,处理,复杂,多,多么,多亏,多多,多多少少,多多益善,多少,多年前,多年来,多数,多次,够瞧的,大,大不了,大举,大事,大体,大体上,大凡,大力,大多,大多数,大大,大家,大张旗鼓,大批,大抵,大概,大略,大约,大致,大都,大量,大面儿上,失去,奇,奈,奋勇,她,她们,她是,她的,好,好在,好的,好象,如,如上,如上所述,如下,如今,如何,如其,如前所述,如同,如常,如是,如期,如次,如此,如此等等,如若,始而,姑且,存在,存心,孰料,孰知,宁,宁可,宁愿,宁肯,它,它们,它们的,它是,它的,完全,完成,定,实现,实际,宣布,容易,密切,对,对于,对应,对待,对方,对比,将,将才,将要,将近,小,少数,尔,尔后,尔尔,尔等,尚且,尤其,就,就地,就是,就是了,就是说,就此,就算,就要,尽,尽可能,尽如人意,尽心尽力,尽心竭力,尽快,尽早,尽然,尽管,尽管如此,尽量,局外,居然,届时,属于,屡,屡屡,屡次,屡次三番,岂,岂但,岂止,岂非,川流不息,左右,巨大,巩固,差一点,差不多,己,已,已矣,已经,巴,巴巴,带,帮助,常,常常,常言说,常言说得好,常言道,平素,年复一年,并,并不,并不是,并且,并排,并无,并没,并没有,并肩,并非,广大,广泛,应当,应用,应该,庶乎,庶几,开外,开始,开展,引起,弗,弹指之间,强烈,强调,归,归根到底,归根结底,归齐,当,当下,当中,当儿,当前,当即,当口儿,当地,当场,当头,当庭,当时,当然,当真,当着,形成,彻夜,彻底,彼,彼时,彼此,往,往往,待,待到,很,很少,後来,後面,得,得了,得出,得到,得天独厚,得起,心里,必,必定,必将,必然,必要,必须,快,快要,忽地,忽然,怎,怎么,怎么办,怎么样,怎奈,怎样,怎麽,怕,急匆匆,怪,怪不得,总之,总是,总的来看,总的来说,总的说来,总结,总而言之,恍然,恐怕,恰似,恰好,恰如,恰巧,恰恰,恰恰相反,恰逢,您,您们,您是,惟其,惯常,意思,愤然,愿意,慢说,成为,成年,成年累月,成心,我,我是,我的,或,或则,或多或少,或是,或曰,或者,或许,战斗,截然,截至,所,所以,所在,所幸,所有,所谓,才,才能,扑通,打,打从,打开天窗说亮话,扩大,把,抑或,抽冷子,拦腰,拿,按,按时,按期,按照,按理,按说,挨个,挨家挨户,挨次,挨着,挨门挨户,挨门逐户,换句话说,换言之,据,据实,据悉,据我所知,据此,据称,据说,掌握,接下来,接着,接著,接连不断,放量,故,故意,故此,故而,敞开儿,敢,敢于,敢情,数/,整个,断然,方,方便,方才,方能,方面,旁人,无,无宁,无法,无论,既,既...又,既往,既是,既然,日复一日,日渐,日益,日臻,日见,时候,昂然,明显,明确,是,是不是,是以,是否,是的,显然,显著,普通,普遍,暗中,暗地里,暗自,更,更为,更加,更进一步,曾,曾经,替,替代,最,最后,最大,最好,最後,最近,最高,有,有些,有关,有利,有力,有及,有所,有效,有时,有点,有的,有的是,有着,有著,望,朝,朝着,末##末,本,本人,本地,本着,本身,权时,来,来不及,来得及,来看,来着,来自,来讲,来说,极,极为,极了,极其,极力,极大,极度,极端,构成,果然,果真,某,某个,某些,某某,根据,根本,格外,梆,概,次第,欢迎,欤,正值,正在,正如,正巧,正常,正是,此,此中,此后,此地,此处,此外,此时,此次,此间,殆,毋宁,每,每个,每天,每年,每当,每时每刻,每每,每逢,比,比及,比如,比如说,比方,比照,比起,比较,毕竟,毫不,毫无,毫无例外,毫无保留地,汝,沙沙,没,没奈何,沿,沿着,注意,活,深入,清楚,满,满足,漫说,焉,然,然则,然后,然後,然而,照,照着,牢牢,特别是,特殊,特点,犹且,犹自,独,独自,猛然,猛然间,率尔,率然,现代,理应,理当,理该,瑟瑟,甚且,甚么,甚或,甚而,甚至,甚至于,用,用来,甫,甭,由,由于,由是,由此,由此可见,略,略为,略加,略微,白,白白,的,的确,的话,皆可,目前,直到,直接,相似,相信,相反,相同,相对,相对而言,相应,相当,相等,省得,看,看上去,看出,看到,看来,看样子,看看,看见,看起来,真是,真正,眨眼,着,着呢,矣,矣乎,矣哉,知道,砰,确定,碰巧,社会主义,离,种,积极,移动,究竟,穷年累月,突出,突然,窃,立,立刻,立即,立地,立时,立马,竟,竟然,竟而,第,第二,等,等到,等等,策略地,简直,简而言之,简言之,管,类如,粗,精光,紧接着,累年,累次,纯,纯粹,纵,纵令,纵使,纵然,练习,组成,经,经常,经过,结合,结果,给,绝,绝不,绝对,绝非,绝顶,继之,继后,继续,继而,维持,综上所述,缕缕,罢了,老,老大,老是,老老实实,考虑,者,而,而且,而况,而又,而后,而外,而已,而是,而言,而论,联系,联袂,背地里,背靠背,能,能否,能够,腾,自,自个儿,自从,自各儿,自后,自家,自打,自身,臭,至,至于,至今,至若,致,般的,良好,若,若夫,若是,若果,若非,范围,莫,莫不,莫不然,莫如,莫若,莫非,获得,藉以,虽,虽则,虽然,虽说,蛮,行为,行动,表明,表示,被,要,要不,要不是,要不然,要么,要是,要求,见,规定,觉得,譬喻,譬如,认为,认真,认识,让,许多,论,论说,设使,设或,设若,诚如,诚然,话说,该,该当,说明,说来,说说,请勿,诸,诸位,诸如,谁,谁人,谁料,谁知,谨,豁然,贼死,赖以,赶,赶快,赶早不赶晚,起,起先,起初,起头,起来,起见,起首,趁,趁便,趁势,趁早,趁机,趁热,趁着,越是,距,跟,路经,转动,转变,转贴,轰然,较,较为,较之,较比,边,达到,达旦,迄,迅速,过,过于,过去,过来,运用,近,近几年来,近年来,近来,还,还是,还有,还要,这,这一来,这么,这么些,这么样,这么点儿,这会儿,这儿,这就是说,这时,这次,这点,这种,这般,这边,这里,这麽,进入,进去,进来,进步,进而,连,连同,连声,连日,连日来,连袂,连连,迟早,迫于,适应,适当,适用,逐步,逐渐,通常,通过,造成,逢,遇到,遭到,遵循,遵照,避免,那,那个,那么,那么些,那么样,那些,那会儿,那儿,那时,那末,那样,那般,那边,那里,那麽,部分,都,鄙人,采取,里面,重大,重新,重要,鉴于,针对,长期以来,长此下去,长线,长话短说,间或,防止,阿,附近,陈年,限制,陡然,除,除了,除却,除去,除外,除开,除此,除此之外,除此以外,除此而外,除非,随,随后,随时,随着,随著,隔夜,隔日,难得,难怪,难说,难道,难道说,集中,零,需要,非但,非常,非徒,非得,非特,非独,靠,顶多,顷,顷刻,顷刻之间,顷刻间,顺,顺着,顿时,颇,风雨无阻,饱,首先,马上,高低,高兴,默然,默默地,齐,︿,!,#,$,%,&,',(,),)÷(1-,)、,*,+,+ξ,++,,,,也,-,-β,--,-[*]-,.,/,0,0:2,1,1.,12%,2,2.3%,3,4,5,5:0,6,7,8,9,:,;,<,<±,<Δ,<λ,<φ,<<,=,=″,=☆,=(,=-,=[,={,>,>λ,?,@,A,LI,R.L.,ZXFITL,,[*],[-,[],],]∧′=[,][,_,a],b],c],e],f],ng昉,{,{-,|,},}>,~,~±,~+,¥,secondly,all,whose,under,sorry,four,we'll,somewhere,likely,even,above,ever,never,ZZ,hers,i'd,howbeit,i'm,theres,changes,anyhow,would,therefore,is,hereby,must,me,my,indicated,indicates,keep,far,after,hereupon,keeps,every,over,before,better,then,them,they,reasonably,each,went,mean,we'd,rd,re,got,forth,you're,little,whereupon,uses,already,another,took,second,seen,seem,relatively,thoroughly,latter,that,thorough,nobody,definitely,came,saying,specify,do,next,despite,unfortunately,twice,best,said,away,there's,unto,hopefully,seven,we,ltd,here,against,com,ZT,aren't,been,much,concerning,wish,say,near,unlikely,cant,in,ie,if,containing,beside,several,kept,whereby,whoever,the,yours,just,yes,yet,had,has,t's,possible,apart,right,old,somehow,for,everything,asking,who,of,theirs,plus,formerly,down,c's,accordingly,way,was,becoming,tell,sometime,no,whereas,nd,welcome,let's,certainly,a's,did,it'll,says,appear,alone,wherever,example,usually,nowhere,hither,regardless,everybody,thru,everywhere,can,following,want,didn't,may,such,whenever,maybe,ones,so,seeing,indeed,course,still,thank,he's,selves,ours,outside,non,within,thereby,not,now,nor,entirely,eg,ex,et,hadn't,furthermore,looking,seriously,shouldn't,she,quite,besides,think,first,ignored,awfully,given,anyone,indicate,gives,mostly,than,here's,were,and,appreciate,himself,saw,any,downwards,take,sure,especially,later,that's,fifth,don't,aside,only,going,get,truly,cannot,nearly,regarding,us,where,up,namely,anyways,wonder,behind,between,it,across,come,many,whereafter,according,comes,afterwards,couldn't,moreover,considering,sensible,hardly,wants,former,those,these,[,somebody,different,etc,insofar,same,without,can't,very,you've,among,being,we've,seems,around,using,specified,on,ok,oh,whence,it's,or,everyone,your,her,there,amongst,trying,with,they're,wasn't,gone,certain,am,an,as,at,again,serious,hello,since,consider,causes,to,th,myself,i'll,zero,further,what,brief,seemed,c'mon,allows,followed,ask,viz,contains,two,taken,more,knows,ain't,particular,known,none,nine,needs,rather,[,okay,tried,tries,onto,perhaps,specifying,],help,soon,through,its,seeming,inward,actually,might,haven't,someone,hereafter,always,isn't,beyond,really,they'll,enough,thereafter,done,together,least,too,immediate,believe,gotten,toward,self,also,towards,most,nothing,they'd,sometimes,lest,particularly,somewhat,his,goes,meanwhile,during,him,greetings,see,are,currently,please,various,probably,available,both,last,wouldn't,became,whole,liked,whatever,except,throughout,along,described,though,whom,beforehand,what's,new,else,look,while,herein,itself,wherein,used,anybody,obviously,thats,from,useful,merely,follows,often,some,ourselves,shall,per,tends,either,be,by,anything,consequently,into,appropriate,we're,elsewhere,hasn't,un,noone,associated,thanks,having,once,edu,go,sent,provides,yourselves,they've,try,this,you'd,yourself,zz,zt,respectively,let,others,until,weren't,use,few,themselves,becomes,anywhere,something,six,allow,won't,thence,willing,instead,whither,doing,how,cause,thereupon,que,via,could,hence,third,doesn't,their,exactly,regards,herself,have,need,clearly,i've,able,which,unless,where's,eight,why,you'll,normally,anyway,one,should,mainly,overall,qv,contain,looks,neither,however,otherwise,co,it'd,corresponding,thanx,novel,value,will,almost,thus,vs,when,gets,upon,off,nevertheless,well,less,presumably,ought,who's,five,know,you,name,necessary,like,become,therein,because,happens,does,although,about,getting,own,three,inasmuch,inner,but,hi,he,whether,placed,below,our,上去--,inc,lately,other,latterly,out,是什么,什么时候,是什么意思,什么意思,多少钱,有没有,更有趣,更有甚者,更有效,更有意义,更远的,更重要的是,正确,错误,第二把,第二波,第二大节,第二单元,第二关,第二行,第二集,第二讲,第二款,第二类,第二盘,第二任,第二声,第二十,第二首,第二项,第三遍,第三册,第三层,第三产业,第三大,第三单元,第三行,第三回,第三集,第三件,第三句,第三卷,第三课,第三类,第三篇,第三期,第三日,第三声,地三鲜,第三项,第三站,第三张,第十八,第十次,第十二,的士高,第十集,第十届,第十九,第十六,第十名,第十三,第十四,第十天,第十一,第十一个,第四版,第四册,第四场,第四代,第四单元,第四集,第四届,第四年,第四期,第四声,第四套,第四位,第四张,第四者,第四种,第五部,第五大道,第五单元,第五集,第五卷,第五课,第五年,第五期,第五位,第五元素,第五组,召唤,最后一班,最后一遍,最后一关,最后一集,最后一科,最后一颗子弹,最后一派,最后一题,最后一眼,最后一页,10,11,12,35,25,2016,2015,又为什么,有问题吗,有问题么,又喜欢,有喜欢,又小,又笑,有笑,有效地,有一百,又一遍,有一部,又一城,又一村,有一道,有意的,有一堆,有一对,有一方,有一根,有一会了,有一批,有一片,有一期,有一起,有一群,又又,由由,财新网,上午,下午,NULL,新华社,消息,13,14,15,16,17,18,19,20,21,22,23,24,26,27,28,29,30,31,32,33,34,36,37,38,39,40,41,42,43,44,45,46,47,48,49,50,51,52,53,54,55,56,57,58,59,60,61,62,63,64,65,66,67,68,69,70,71,72,73,74,75,76,77,78,79,80,81,82,83,84,85,86,87,88,89,90,91,92,93,94,95,96,97,98,99,100,01,02,03,04,05,06,07,08,09,若果,p,男子,女子,2015,2017,2018,2019,2020,2021,2022,2023,嗳.数,.日,[①①],[①②],[①③],[①④],[①⑤],[①⑥],[①⑦],[①⑧],[①⑨],[①A],[①B],[①C],[①D],[①E],[①],[①a],[①c],[①d],[①e],[①f],[①g],[①h],[①i],[①o],[②,[②①],[②②],[②③],[②④,[②⑤],[②⑥],[②⑦],[②⑧],[②⑩],[②B],[②G],[②],[②a],[②b],[②c],[②d],[②e],[②f],[②g],[②h],[②i],[②j],[③①],[③⑩],[③F],[③],[③a],[③b],[③c],[③d],[③e],[③g],[③h],[④],[④a],[④b],[④c],[④d],[④e],[⑤],[⑤]],[⑤a],[⑤b],[⑤d],[⑤e],[⑤f],[⑥],[⑦],[⑧],[⑨],[⑩],¥℃,.,--,,也,[②B],1.,--,’‘,×××,0:2,[②c],∈[,]∧′=[,.日,5:0,[⑨],?,×,exp,Lex,≈,㈧,———,。。。,约,下一页,上一页,。。。。。。,?,,2010,,