中关村在线

软件

R语言文本挖掘入门

用R开展文本挖掘分析,包括分词与词云绘制。

1、 分析文本内容时,最常用的方法是提取关键词并统计其出现频次。词频通常能体现词语在文本中的重要程度——高频词往往更具代表性。在此基础上,可将这些词语生成词云图,通过字体大小直观呈现不同词语的相对重要性,使数据分布一目了然、形象生动。例所示:

2、 这是依据2014年政府工作报告文本制作的可视化词云图,全程采用R语言完成分词与词云生成,词频统计则借助其他专业工具实现。图中清晰呈现了报告的核心主题——发展,凸显其作为全局性主轴的地位;围绕这一主线,经济建设、改革、农村、城镇等关键词高频出现,构成政策着力的关键维度。需说明的是,当前词云在术语完整性方面尚有提升空间:部分固定表述或复合词被机械切分,未能以整体形态呈现。本次展示侧重方法论介绍,故未对词库作深度优化与人工校准,重在呈现从文本到可视化的分析路径与逻辑框架。

3、 分析方法如下:

4、 首先,将待分析内容复制粘贴至记事本,保存为纯文本(.txt)格式文件,操作简便快捷。

5、 其次,使用R语言进行文本分词处理。

6、 在R中进行中文分词,需安装并加载两个包:Rwordseg和rJava。其中,rJava用于为Rwordseg提供Java运行环境支持。安装完成后,通过library()函数依次加载这两个包,即可使用Rwordseg提供的分词功能完成文本处理任务。

7、 Rwordseg是R语言中一款高效的中文分词工具,底层调用Java开源项目Ansj,而Ansj则基于中科院ICTCLAS分词算法,并融合隐马尔可夫模型(HMM)提升识别精度。该工具具备三大突出优势:其一,分词准确率高,能较好处理歧义切分与未登录词;其二,运行速度快,适合大规模文本的实时处理;其三,支持灵活的词典扩展机制,用户可便捷导入自定义词表。尤为特别的是,它兼容搜狗输入法特有的细胞词库(.sqel格式),这类词库涵盖海量网络新词、专有名词及个性化表达,极大增强了分词对当代中文语境的适应能力,显著提升了实际应用效果。

8、 分词语法很简单,调用一个函数即可实现。

9、 待分析文件的完整路径(返回类型为tm)

10、 接下来需进行词频统计,即统计每个词汇在文本中出现的次数。我在R语言环境中尝试了多种方法,包括查阅相关函数(如lm等),但均无法直接实现词频统计功能。最终转而采用其他专业文本分析工具完成此项任务。目前支持词频统计的软件较多,用户可根据需求自行选择合适的工具。最终得到的统计结果如下所示:

11、 最后一步是生成词云。R语言提供了多种绘制词云的工具包,效果良好;此外,网上也有不少功能强大、界面美观的在线词云生成平台,用户可根据需要选择使用。

12、 安装并加载词云生成工具包wordcloud。

13、 读取已统计词频的文件

14、 读取已统计词频的文本文件,路径需替换为实际完整路径,首行为列名。

15、 设定一个色彩体系

16、 画图:

17、 使用词云函数绘制词汇分布图,依据词汇及其对应频次生成可视化图表;设置词汇按频次降序排列,颜色亦按指定顺序分配,不启用随机布局与随机配色;采用自定义调色方案及中文字体myFont3,确保中文显示清晰、美观,整体效果协调统一。

18、 最终效果

展开全文
人赞过该文 赞
内容纠错

相关电商优惠

评论

更多评论
还没有人评论~ 快来抢沙发吧~

读过此文的还读过

点击加载更多

内容相关产品

说点什么吧~ 0

发评论,赚金豆

收藏 0 分享
首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印 更多

更多频道

频道导航
辅助工具