本研究范例以慕课在线教育平台的一门计算机语言课程为例，使用集搜客网络爬虫工具，在多个官方网站获取了2004年至2019年期间,中国与美国的在线教育行业的市场规模、消费者价格指数（CPI）、居民人均纯收入、劳动人口平均受教育年限、互联网普及率这五个变量的数据，进行词频统计、词云图等初步的内容分析，再利用LDA模型深度分析评论的主题，尝试分析知识付费行业发展的影响因素及消费者付费意愿的影响因素。 1，范例简介 标题： 互联网背景下知识付费发展与付费意愿影响因素探析——基于LDA与结构方程模型的分析 作者： 叶文旭 谭静怡 徐圆兰 孙旭 作者单位：华中科技大学 关键词：知识付费;付费意愿;面板数据模型;LDA主题分析;结构方程模型; 发布日期：2021-11-13 摘要： 近年来,随着互联网的普及与数据的市场化运用,在线知识付费行业完成了从零到一的跨越,创造了全新的商业风口,本文旨在探明知识付费行业发展的影响因素及消费者付费意愿的影响因素。 第一部分,探析知识付费行业的发展影响因素。 本文在多个官方网站获取了2004年至2019年期间,中国与美国的在线教育行业的市场规模、消费者价格指数（CPI）、居民人均纯收入、劳动人口平均受教育年限、互联网普及率这五个变量的数据,将市场规模作为被解释变量,其余四个变量作为解释变量构造面板数据模型,通过豪斯曼检验、LSDV回归判定采用混合回归模型进行分析,并利用stata软件加以实现,得出CPI、居民受教育平均年限、互联网普及率这三个因素均对知识付费行业的发展具有显著的正向影响效应。 第二部分,探析用户对知识付费产品的评价与需求状况。 本文以慕课在线教育平台的一门计算机语言课程为例,采用爬虫技术利用集搜客网页爬取了大量评论数据,并利用python软件进行词频统计、词云图等初步的内容分析,再利用LDA模型深度分析评论的主题,得出用户的真实需求在于有针对性的、灵活的知识产品与服务,且教师的教学方式是一个重要的需求关注点。 第三部分,探析用户付费意愿的影响因素。 本文通过发放调查问卷获取消费者反馈数据,采用SPSS软件对这些数据进行初步分析,再利用Amos软件构造结构方程模型来分析包括专业性、有趣性、便捷性、监督性、主观规范在内的产品与服务的体验因素和需求因素对消费者付费行为意愿的影响,得出需求是决定用户是否选择付费的主要因素,专业性、便捷性以及主观规范起到促进作用,且用户对于趣味性的期望对其支付意愿影响较小,监督性的期望则会产生负向影响。 本文利用了多个数据处理软件、数据分析模型揭示了知识付费行业发展的主要影响因素,量化了数据生产力在其中所挥的作用,证实了数据可以为行业深度赋能。同时,通过研究消费者基于切身体验而给出的回馈信息,进一步明晰了市场中用户的真实体验,及其对专业性、便捷性等特性的切实诉求,这表明企业需有针对性地更新优化所提供产品与服务以谋求长足的发展。 文章目录 一、 引言 ..................................................................................................................... 1 （一） 研究背景（PEST）............................................................................... 1 （二） 研究目的与意义...................................................................................... 4 （三） 文献综述.................................................................................................. 5 （四）研究方法与技术路线.................................................................................. 7 二、 知识付费的发展影响因素分析............................................................................ 8 （一） 发展现状..................................................................................................... 8 （二） 数据介绍..................................................................................................... 9 （三） 模型与回归过程 ......................................................................................10 （四） 分析结论...................................................................................................12 三、 基于 LDA 模型的知识付费评论主题挖掘.......................................................12 （一） 数据的获取与处理..................................................................................12 （二）词频统计和词云图....................................................................................14 （三）评论文本的情感分析................................................................................15 （四）文本评论的 LDA 主题分析......................................................................16 四、 知识付费市场的消费需求分析..........................................................................19 （一） 模型介绍与建立 ......................................................................................19 1. 结构方程模型介绍...................................................................................19 2. 模型构建 ...................................................................................................20 （二） 数据处理与结论分析..............................................................................21 1. 数据处理与检验.......................................................................................21 2. 模型结果与分析.......................................................................................26 五、 结论与建议...........................................................................................................29 （一）结论.............................................................................................................29 （二）建议.............................................................................................................29 参考文献..........................................................................................................................31 附录一：调查问卷.........................................................................................................33 致谢..................................................................................................................................38 2，常用的论文工具软件介绍 本范例作者使用集搜客网络爬虫软件从公开的互联网收集研究所需的数据，随后做分词，词频分析，最后做LDA主题分析。对这些好用的论文工具软件我们下面做个介绍。 2.1 互联网数据收集工具 集搜客网络爬虫软件是一款基于直观标注采数据的工具，不用程序思维，不要技术基础，点击想要的内容，给标签起个名字就OK了。采集到的数据以excel格式导出。 微博采集工具箱，可以用来采集微博博文搜索，博主主页，微博评论，微博转发，微博粉丝和关注者，微博话题，微博博主详情，微博点赞数据等。
图1. 微博采集工具箱 输入网址即可采集各种数据的集搜客快捷采集工具，比如抖音视频评论快捷采集工具：
图2. 快捷采集工具 2.2 对研究样本数据进行分词词频分析和情感分析 集搜客文本分词和情感分析平台工具，不用安装软件，直接在界面里导入文本即可自动分词，词频分析，生成词云图，情感分析图，社会网络图等。
图3. 词云图
图4. 情感分析 2.3 基于Jupyter Notebook的自定义高级分析 为满足部分同学的数据分析需求，集搜客提供了多个基于Python在Jupyter Notebook下进行高级分析的模板，比如这篇《微博内容分词后怎样用JupyterNotebook做LDA主题模型分析》:
图5. LDA结果分析 更多分析模板和案例可以看这篇汇总文章《用集搜客分词软件和Jupyter Notebook做文本分析和数据探索的案例汇总》 |
