数据挖掘技术分析论文范文

前言：我们精心挑选了数篇优质数据挖掘技术分析论文文章，供您阅读参考。期待这些文章能为您带来启发，助您在写作的道路上更上一层楼。

第1篇

关键词 技术情报分析；数据挖掘

中图分类号TP392 文献标识码A 文章编号 1674-6708（2013）92-0211-02

1 概述

在面对海量的情报信息资源时，如何高效、准确的开展分析工作，为管理决策人员提供支持，已成为当今科技工作的重要组成部分。可以说，情报分析方法和相关工具的合理使用决定了情报获取的准确性和有效性，并将直接影响制定战略决策的有效性和科学性。

技术情报分析系统主要进行与技术相关科技论文、专利、互联网情报数据的分析，实现分析方法、算法、分析结果的表现形式以及分析报告自动生成等技术。该情报分析系统除了基本的维度统计分析外，更多的侧重于利用知识发现、数据挖掘等技术进行情报数据的深度处理与分析。通过情报分析系统开发设计，结合数据挖掘等技术的合理使用，使得系统使用者能够快速、有效、全面地获取技术的情报信息。

2 系统的设计与功能描述

2.3 数据挖掘技术设计

2.3.1数据文本特征表示

在进行文本挖掘时，对文本特征进行处理，实现对非结构化的文本向结构化转换。情报分析系统采用向量空间模型（Vector Space Model，VSM）进行文本的表示，并利用倒排文档频率TFIDF进行专利文本的特征提取，以此作为论文、专利文本挖掘的基础。

2.3.2关联算法

在挖掘论文专利作者之间、机构之间、国家之间的研究内容关联性上，采用了基于文本挖掘的关联算法。通过对技术关键词的共生关系（Terms Co-occurrences）计算来识别、确定一组文献内部所包含的技术组（群）。

2.3.3 层次结构可视化算法

情报分析系统中关于论文和专利的引证分析、专利同族分析采用了层次结构可视化算法Hyperbolic Tree，即双曲树算法。其主要原理是将树结构在双曲空间进行布局，然后映射到欧式空间的庞莱卡圆盘进行显示。欧式空间中两个相同大小的区域离庞莱卡圆盘中心越近，在双曲空间中所占用的空间越小；反之，双曲空间中两个大小相同的区域离原点越近在庞莱卡圆盘中所占用的空间越大。

4 结论

本文提出运用数据挖掘方法实现对大量数据的分析和判断，可有效帮助科技情报机构和人员提高综合情报分析能力和决策的质量。同时，该方法可按照不同需要进行功能拓展，实现向更多的技术情报领域延伸。

参考文献

[1]Dongpeng Yang. Application of Data Mining in the Evaluation of Credibility， 第十一届亚太地区知识发现与数据挖掘国际会议（PAKDD），IOS Press出版， 2007.

[2]乐明扬.公安情报分析中的数据挖掘应用研究.信息与电脑.2012（8）.

[3]蒲群莹.基于数据挖掘的竞争情报系统模型[J].情报杂志.2005，1.

第2篇

数据挖掘技术是近些年发展起来的一门新兴学科，它涉及到数据库和人工智能等多个领域。随着计算机技术的普及数据库产生大量数据，能够从这些大量数据中抽取出有价值信息的技术称之为数据挖掘技术。数据挖掘方法有统计学方法、关联规则挖掘、决策树方法、聚类方法等八种方法，关联规则是其中最常用的研究方法。关联规则算法是1993年由R.Atal,Inipusqi,Sqtm三人提出的Apriori算法，是指从海量数据中挖掘出有价值的能够揭示实体和数据项间某些隐藏的联系的有关知识，其中描述关联规则的两个重要概念分别是Suppor（t支持度）和Confi-dence（可信度）。只有当Support和Confidence两者都较高的关联规则才是有效的、需要进一步进行分析和应用的规则。

二、使用Weka进行关联挖掘

Weka的全名是怀卡托智能分析环境（WaikatoEnviron-mentforKnowledgeAnalysis），是一款免费的、非商业化的、基于JAVA环境下开源的机器学习以及数据挖掘软件[2]。它包含了许多数据挖掘的算法，是目前最完备的数据挖掘软件之一。Weka软件提供了Explorer、Experimenter、Knowledge-Flow、SimpleCLI四种模块[2]。其中Explorer是用来探索数据环境的，Experimenter是对各种实验计划进行数据测试，KnowledgeFlow和Explorer类似，但该模块通过其特殊的接口可以让使用者通过拖动的形式去创建实验方案，Simple-CLI为简单的命令行界面。以下数据挖掘任务主要用Ex-plorer模块来进行。

（一）数据预处理

数据挖掘所需要的所有数据可以由系统排序模块生成并进行下载。这里我们下载近两年的教师科研信息。为了使论文总分、学术著作总分、科研获奖总分、科研立项总分、科研总得分更有利于数据挖掘计算，在这里我们将以上得分分别确定分类属性值。

（二）数据载入

点击Explorer进入后有四种载入数据的方式，这里采用第一种Openfile形式。由于Weka所支持的标准数据格式为ARFF，我们将处理好的xls格式另存为csv，在weka中找到这个文件并重新保存为arff文件格式来实现数据的载入。由于所载入的数据噪声比较多，这里应根据数据挖掘任务对数据表中与本次数据任务不相关的属性进行移除，只将学历、职称、论文等级、学术著作等级、科研获奖等级、科研立项等级、科研总分等级留下。

（三）关联挖掘与结果分析

WeakExplorer界面中提供了数据挖掘多种算法，在这里我们选择“Associate”标签下的Apriori算法。之后将“lowerBoundMinSupprot”（最小支持度）参数值设为0.1，将“upperBoundMinSupprot”（最大支持度）参数值设为1，在“metiricType”的参数值选项中选择lift选项，将“minMetric”参数值设为1.1，将“numRules”（数据集数）参数值设为10，其它选项保存默认值，这样就可以挖掘出支持度在10%到100%之间并且lift值超过1.1且排名前10名的关联规则。其挖掘参数信息和关联挖掘的部分结果。

三、挖掘结果与应用

以上是针对教师基本情况和科研各项总分进行的反复的数据挖掘工作，从挖掘结果中找到最佳模式进行汇总。以下列出了几项作为参考的关联数据挖掘结果。

1、科研立项得分与论文、科研总得分关联度高，即科研立项为A级的论文也一定是A。这与实际也是相符的，因为科研立项得A的教师应该是主持了省级或是国家级的立项的同时也参与了其他教师的科研立项，在课题研究的过程中一定会有国家级论文或者省级论文进行发表来支撑立项，所以这类教师的论文得分也会很高。针对这样的结果，在今后的科研工作中，科研处要鼓励和帮助教师搞科研，为教师的科研工作提供精神上的支持和物质上的帮助，这样在很大程度上能够带动整个学校科研工作的进展。

2、副教授类的教师科研立项得分很高，而讲师类教师和助教类教师的科研立项得分很低，这样符合实际情况。因为副教授类的教师有一定的教学经验，并且很多副教授类的教师还想晋职称，所以大多数副教授类教师都会申请一些课题。而对于讲师类和助教类的教师，由于教学经验不足很少能进行省级以上的课题研究，因此这两类教师的科研立项分数不高。针对这样的结果，在今后的科研工作中，科研处可以采用一帮一、结对子的形式来帮助年轻教师，这样可以使青年教师参与到老教师的科研课题研究工作中去，在课题研究工程中提高科研能力和教学能力。

第3篇

统计学论文2000字(一)：影响民族院校统计学专业回归分析成绩因素的研究论文

摘要：学习成绩是评价学生素质的重要方面，也是教师检验教学能力、反思教学成果的重要标准。利用大连民族大学统计学专业本科生有关数据（专业基础课成绩、平时成绩和回归分析期末成绩），建立多元線性回归模型，对影响回归分析期末成绩的因素进行深入研究，其结果对今后的教学方法改进和教学质量提高具有十分重要的指导意义。

关键词：多元线性回归；专业基础课成绩；平时成绩；期末成绩

为了实现教学目标，提高教学质量，有效提高学生学习成绩是很有必要的。我们知道专业基础课成绩必定影响专业课成绩，而且平时成绩也会影响专业课成绩，这两类成绩与专业课成绩基本上是呈正相关的，但它们之间的关系密切程度有多大？它们之间又存在怎样的内在联系呢？就这些问题，本文主要选取了2016级统计专业50名学生的四门专业基础课成绩以及回归分析的平时成绩和期末成绩，运用SPSS统计软件进行分析研究，寻求回归分析期末成绩影响因素的变化规律，拟合出关系式，从而为强化学生的后续学习和提高老师的教学质量提供了有利依据。

一、数据选取

回归分析是统计专业必修课，也是统计学中的一个非常重要的分支，它在自然科学、管理科学和社会、经济等领域应用十分广泛。因此研究影响统计学专业回归分析成绩的相关性是十分重要的。

选取了统计专业50名学生的专业基础课成绩（包括数学分析、高等代数、解析几何和概率论）、回归分析的平时成绩和期末成绩，结合多元线性回归的基础理论知识[1-2]，建立多元回归方程，进行深入研究，可以直观、高效、科学地分析各种因素对回归分析期末成绩造成的影响。

二、建立多元线性回归模型1及数据分析

运用SPSS统计软件对回归分析期末成绩的影响因素进行研究，可以得到准确、科学合理的数据结果，全面分析评价学生考试成绩，对教师以后的教学工作和学生的学习会有较大帮助。自变量x1表示数学分析成绩，x2表示高等代数成绩，x3表示解析几何成绩，x4表示概率论成绩，x5表示平时成绩；因变量y1表示回归分析期末成绩，根据经验可知因变量y1和自变量xi，i=1，2，3，4，5之间大致成线性关系，可建立线性回归模型：

（1）

线性回归模型通常满足以下几个基本假设，

1.随机误差项具有零均值和等方差，即

（2）

这个假定通常称为高斯-马尔柯夫条件。

2.正态分布假定条件

由多元正态分布的性质和上述假定可知，随机变量y1服从n维正态分布。

从表1描述性统计表中可看到各变量的平均值1=79.68，2=74.66，3=77.22，4=78.10，5=81.04，1=75.48；xi的标准差分别为10.847，11.531，8.929，9.018，9.221，y1的标准差为8.141；有效样本量n=50。

回归分析期末成绩y1的多元回归模型1为：

y1=-5.254+0.221x1-0.4x2+0.154x3

+0.334x4+0.347x5

从表2中可以看到各变量的|t|值，在给定显著水平？琢=0.05的情况下，通过t分布表可以查出，自由度为44的临界值t？琢/2（44）=2.015，由于高等代数x2的|t|值为0.651小于t？琢/2（44），因此x2对y1的影响不显著，其他自变量对y1都是线性显著的。下面利用后退法[3]剔除自变量x2。

三、后退法建立多元线性回归模型2及数据分析

从模型1中剔除了x2变量，多元回归模型2为：

y1=-5.459+0.204x1+0.149x3+0.377x4+0.293x5（5）

在表4中，F统计量为90.326，在给定显著水平？琢=0.05的情况下，查F分布表可得，自由度為p=4和n-p-1=45的临界值F0.05（4，45）=2.579，所以F>F0.05（4，45），在表5中，所有自变量的|t|值都大于t？琢/2（45）=2.014，因此，多元回归模型2的线性关系是显著的。

四、结束语

通过对上述模型进行分析，即各个自变量对因变量的边际影响，可以得到以下结论：在保持其他条件不变的情况下，当数学分析成绩提高一分，则回归分析成绩可提高0.242分[4-5]；同理，当解析几何成绩、概率论成绩和平时成绩每提高一分，则回归分析成绩分别提高0.149分、0.377分和0.293分。

通过对学生专业基础课成绩、平时成绩与回归分析期末成绩之间相关关系的研究，一方面有利于教师把控回归分析教学课堂，提高教师意识，注重专业基础课教学的重要性，同时，当学生平时成绩不好时，随时调整教学进度提高学生平时学习能力；另一方面使学生认识到，为了更好地掌握回归分析知识，应加强专业基础课的学习，提高平时学习的积极性。因此，通过对回归分析期末成绩影响因素的研究能有效的解决教师教学和学生学习中的许多问题。

统计学毕业论文范文模板(二)：大数据背景下统计学专业“数据挖掘”课程的教学探讨论文

摘要：互联网技术、物联网技术、云计算技术的蓬勃发展，造就了一个崭新的大数据时代，这些变化对统计学专业人才培养模式的变革起到了助推器的作用，而数据挖掘作为拓展和提升大数据分析方法与思路的应用型课程，被广泛纳入统计学本科专业人才培养方案。本文基于数据挖掘课程的特点，结合实际教学经验，对统计学本科专业开设数据挖掘课程进行教学探讨，以期达到更好的教学效果。

关键词：统计学专业；数据挖掘；大数据；教学

一、引言

通常人们总结大数据有“4V”的特點：Volume（体量大），Variety（多样性），Velocity（速度快）和Value（价值密度低）。从这样大量、多样化的数据中挖掘和发现内在的价值，是这个时代带给我们的机遇与挑战，同时对数据分析技术的要求也相应提高。传统教学模式并不能适应和满足学生了解数据处理和分析最新技术与方法的迫切需要。对于常常和数据打交道的统计学专业的学生来说，更是如此。

二、课程教学探讨

针对统计学本科专业的学生而言，“数据挖掘”课程一般在他们三年级或者四年级所开设，他们在前期已经学习完统计学、应用回归分析、多元统计分析、时间序列分析等课程，所以在“数据挖掘”课程的教学内容选择上要有所取舍，同时把握好难度。不能把“数据挖掘”课程涵盖了的所有内容不加选择地要求学生全部掌握，对学生来说是不太现实的，需要为统计学专业本科生“个性化定制”教学内容。

（1）“数据挖掘”课程的教学应该偏重于应用，更注重培养学生解决问题的能力。因此，教学目标应该是：使学生树立数据挖掘的思维体系，掌握数据挖掘的基本方法，提高学生的实际动手能力，为在大数据时代，进一步学习各种数据处理和定量分析工具打下必要的基础。按照这个目标，教学内容应以数据挖掘技术的基本原理讲解为主，让学生了解和掌握各种技术和方法的来龙去脉、功能及优缺点；以算法讲解为辅，由于有R语言、python等软件，学生了解典型的算法，能用软件把算法实现，对软件的计算结果熟练解读，对各种算法的改进和深入研究则不作要求，有兴趣的同学可以自行课下探讨。

（2）对于已经学过的内容不再详细讲解，而是侧重介绍它们在数据挖掘中的功能及综合应用。在新知识的讲解过程中，注意和已学过知识的融汇贯通，既复习巩固了原来学过的知识，同时也无形中降低了新知识的难度。比如，在数据挖掘模型评估中，把混淆矩阵、ROC曲线、误差平方和等知识点就能和之前学过的内容有机联系起来。

（3）结合现实数据，让学生由“被动接收”式的学习变为“主动探究”型的学习。在讲解每种方法和技术之后，增加一个或几个案例，以加强学生对知识的理解。除了充分利用已有的国内外数据资源，还可以鼓励学生去搜集自己感兴趣的或者国家及社会大众关注的问题进行研究，提升学生学习的成就感。

（4）充分考虑前述提到的三点，课程内容计划安排见表1。

（5）课程的考核方式既要一定的理论性，又不能失掉实践应用性，所以需要结合平时课堂表现、平时实验项目完成情况和期末考试来综合评定成绩。采取期末闭卷理论考试占50%，平时实验项目完成占40%，课堂表现占10%，这样可以全方位的评价学生的表现。

三、教学效果评估

经过几轮的教学实践后，取得了如下的教学效果：

（1）学生对课程的兴趣度在提升，课下也会不停地去思考数据挖掘有关的方法和技巧，发现问题后会一起交流与讨论。

（2）在大学生创新创业项目或者数据分析的有关竞赛中，选用数据挖掘方法的人数也越来越多，部分同学的成果还能在期刊上正式发表，有的同学还能在竞赛中取得优秀的成绩。

（3）统计学专业本科生毕业论文的选题中利用数据挖掘有关方法来完成的论文越来越多，论文的完成质量也在不断提高。

（4）本科毕业生的就业岗位中从事数据挖掘工作的人数有所提高，说明满足企业需求技能的人数在增加。继续深造的毕业生选择数据挖掘研究方向的人数也在逐渐增多，表明学生的学习兴趣得以激发。

教学实践结果表明，通过数据挖掘课程的学习，可以让学生在掌握理论知识的基础上，进一步提升分析问题和解决实际问题的能力。