常用自然语言处理NLP模型原理_nlp原理-CSDN博客

网站介绍:文章浏览阅读5.2k次,点赞5次,收藏70次。一、文本处理流程 文本清洗:html标签与转义字符、多余空格、根据需要清除邮箱、账号、网址、手机号、作者信息等信息 预处理:去除停用词、加载自定义词库(实体词库、垂直领域词库)、分词 特征提取:关键词、实体词 建模:文本分类、文本聚类、情感分析、标签提取 优化:停用词库与自定义词库清洗与丰富、文本标签清洗、模型调整 效果评估:满足线上使用要求,准确率、速度,上线部署 二、NLP算法1、TF-IDF1)原理:词频-逆文档频率;一种用于信息检索_nlp原理