文本数据预处理过程

deep-learning

常用库

spacy
tqdm
collection.

第一步： 分词，分char

首先采用spacy对数据进行分词，甚至分char， 然后将分好的词，char 存入Counter对象中。

第二步：word 转化为 id

将word 与 数字对应，生成一个字典，最好按照频率排序。

第三步： 将数据中的word转化为数字

第四步： 将数据写入到TFrecords文件中