美章网 精品范文 计算机大数据论文范文

计算机大数据论文范文

前言:我们精心挑选了数篇优质计算机大数据论文文章,供您阅读参考。期待这些文章能为您带来启发,助您在写作的道路上更上一层楼。

计算机大数据论文

第1篇

目前,国内高等院校的计算机基础教育更多地沿用了传统计算机教育的方法,只注重讲授计算机的理论知识和操作要领,未考虑学生学习的效果。这导致学生只是记住一些概念和理论,能做基本的操作,却很难用所学的知识灵活地解决实际问题。当前大学计算机基础教育面临以下4个问题:

(1)学生的计算机应用能力差异大

高等院校的学生来自全国各地,而不同地区的中小学计算机教育水平参差不齐。单一的课堂教学已无法保证所有的学生学得会、学得好,这给教学带来了问题。

(2)教学和实验的学时严重不足

目前,各个高校都在减少课时,教师只能在课堂上和实验中加大讲授的知识量,加快教学进度。当一个教师面对几十个学生时,基础较差的学生往往得不到教师足够的指导和练习时间,这给辅导答疑带来了问题。

(3)学习的结果与过程未被记录下来

学生可以利用丰富的网络资源巩固课堂内容,扩大知识面,加深对知识的理解。在传统教学中,教师往往忽视了学生的课后学习,没有记录学习结果与过程,这给教育过程的改进带来了问题。

(4)目前的网络教学系统很少区分学习个体

网络教学系统能够提供大量的多媒体教学资源,帮助教师进行课后辅导答疑,却很少区分学习个体,导致缺乏个体相关的数据,从而难以提供个性化的指导,这给网络教学系统的智能化带来了问题。这些问题归根结底是数据的问题,是数据没有被有效地规划和整合的问题。我们把与学习过程相关的大量数据收集起来,对这些数据进行分析,挖掘出有价值的信息,最后传递给学习者,这是一种解决计算机基础教育所面临问题的可行方法。

2面向计算机基础教育的大数据

在当前知识大爆炸的时代,人们获取知识的途径不仅仅局限于课堂,更多的是网络资源。当代的大学生接受新生事物更快,更愿意在特定的学习情境下去主动构建知识。因此,大学计算机基础教育需要改革现有的教育模式,将大数据技术融入到大学计算机基础教育中,建立与时俱进的大数据驱动的教育模式可以有效解决上述问题。在大数据时代涌现出大量的网络教学系统,随着这些网络教学系统的推广和普遍应用,使用者数量急剧增加,产生了大量的数据。数据之间可能存在某种联系,对这些联系进行分析和挖掘可能会找到有价值的信息。将有价值的信息展现出来,能够帮助我们做出正确的决策。在人类社会的发展已经由动力驱动转变为数据驱动的背景下,教育正在发生着一场新的变革,大学计算机基础教育也面临着类似的机遇和挑战。通过网络教学系统,可以更加方便地获取和利用大学计算机基础教育相关的各种数据

。大学计算机基础教育涉及的数据主要有以下几种:

(1)课件。课件是文字、声音、图像、动画等素材的集合,帮助教师更加生动地讲解课程内容,主要使用PPT和Flash两种文件。

(2)视频。视频是将教师在课堂上的授课内容录制下来,为学生提供课后学习的方式。学生可以在教学系统中下载或在线学习视频内容。

(3)题目。题目主要用于测试学习效果,包括判断题、填空题、选择题、问答题、程序设计题等各种题型。

(4)问题。学生在学习过程中遇到的问题,通过教学系统提交给教师。这些问题反映了学习的难点,是教师在课堂上需要详细讲解的教学内容。

(5)代码。代码是学生做程序设计类题目时所编写的程序代码。学生编写代码的质量可以由教师评判,也可以由系统自动评判。

(6)行为。行为用来记录学生的学习活动,如课件下载行为、视频点播行为、作业浏览行为、编程行为等。这些行为能够反映出学生的学习情况。

(7)缺陷。缺陷是学生提交的作业中包含的各种错误,反映了学习过程中存在的问题。对教学系统而言,这些数据是进行个性化推荐学习的参考依据;对教师而言,这些数据能够提示教学过程中需要特别关注的地方。

(8)过程。过程是指在教学过程中收集到的一些宏观数据,如课件学习过程、视频学习过程、测试过程等。这些过程能够反映出学生学习的个体差异。

3大数据驱动的新模式

在大数据时代,我们可以利用大数据技术在大量与学习相关的数据中挖掘出有价值的信息。这些信息能够帮助学生更加科学有效地学习,较好地解决当前计算机基础教育面临的问题。因此,我们将大数据技术融入到大学计算机基础教育中,提出一种大数据驱动的计算机基础教育新模式。它是在有效规划和整合计算机基础教育大数据的前提下,为学生提供各种自主学习资源和服务的新模式。学生和教师在使用各种网络教学系统时,输入的数据和学习行为都被系统记录下来。利用大数据技术对记录下来的数据进行分析,挖掘出与学生学习特征相关的数据。这些数据为学生的后续学习提供个性化的推荐,规划个性化的学习路线;向教师反馈学生的学习行为和效果,为后续教学提供个性化的推荐,帮助教师改进教学方法。以在线课程系统、在线编程系统和在线答疑系统为代表的各种网络教学系统目前得到了广泛的应用,这些系统本质上都是大数据驱动。实践证明,这些系统的应用将为学生学习和教师教学提供实质性的帮助。

1)在线课程系统是课堂教学的延伸

大型开放式网络课程MOOC是国际上流行的教学平台。自2013年5月以来,北京大学、清华大学、复旦大学、上海交通大学等国内一流高校纷纷宣布加入MOOC,向全球提供免费的在线课程。MOOC采用云计算架构,提供大量的视频学习资源和人机交互功能。学生提交作业后,系统能自动评判作业的质量,以评估学习效果。MOOC的出现给计算机基础教育带来巨大影响。MOOC解决了学生计算机应用能力差异大的问题,学生不管基础如何,都能找到与之相应的学习内容;MOOC弥补了课堂教学学时不足的问题,学生能在课后随时随地找到学习资源;MOOC能够记录学习的结果与过程以及作业中的错误等,这些对于改进教学方式和调整教学重点等都有意义。

2)在线编程系统是实验环节的补充

随着SaaS技术(软件即服务)的不断成熟,出现了许多功能强大的在线编程系统。这给大学计算机基础教育中的程序设计类课程的实验教学

带来了巨大的帮助。使用在线编程系统进行实验的好处有以下几点:

(1)教师不用在实验室的每台计算机中安装软件,学生通过浏览器就可以编写程序;

(2)学生编写的代码都存储在云端,能上网的地方就能练习编程,并且随时可以修改代码,解决了实验教学学时不足的问题;

(3)在线编程系统主要记录代码和代码编写的过程,能够收集实验过程中与学习相关的数据。国外在线编程系统CodeCademy提供了一种学习编程的新方式。它的用户群是零基础的学习者,所以CodeCademy创设趣味性的学习环境,手把手帮助学习者了解编程的过程。它的在线编辑器能让学习者不用寻找、下载和安装编程环境就可以在网络上编程。在线编程系统不仅为实验教学提供了方便的实验环境,还能收集大量的程序代码和学生的编程行为,有助于分析学生的学习特点与习惯,区分学习个体,为制订个性化学习路线提供有价值的数据。

3)在线答疑系统是课后辅导的平台

学生在学习过程中常常会遇到很多问题,这些问题如果能及时得到解答,就能促进学生更深入地学习;反之,就会影响学生的学习效果和积极性。目前,互联网上已经出现了许多人工解答和自动解答的系统。有代表性的是上海交通大学的远程教育设计中心设计开发的AnswerWeb自动答疑系统,它是一个动态的问题及答案的数据库。学生输入关键词后可以在系统已有的问题和答案数据库中查找相关的材料。如果没有找到答案,则会自动转发给教师请求帮助解答。随后,新的提问和答案将被增加到系统库中。系统会记录所有的问题和答案以及学生提问过程中的行为。在线答疑系统应用到大学计算机基础教育中,解决了教师无法在课后对每位学生进行辅导答疑的问题。同时,利用大数据技术,答疑系统将学生提问和获得解答的行为记录下来,自动的分析这些数据,挖掘学习个体特征,为学生的后续学习提供个性化的推荐。

4结语

第2篇

在大数据时代环境下,信息的获取和选择、信息技术的掌握应用,直接影响知识的生产、科技的创新和成果的转化。大数据时代对高校的教学、学生的计算机应用能力提出了新的要求。产业界需求与关注点发生了重大转变,企业关注的重点转向数据,计算机行业正在转变为真正的信息行业,从追求计算速度转变为关注大数据处理能力,软件也将从编程为主转变为以数据为中心。学生要学会对数据的去冗分类、去粗取精,从数据中挖掘知识,要能够把大数据变成小数据,要在不明显增加采集成本的条件下尽可能提高数据的采集质量。要研究如何科学合理地抽样采集数据,减少不必要的数据采集。

二、大数据时代背景下的教学策略

(一)营造适合学生全面发展的软硬件环境信息时代的发展使得高职院校图书馆和数据中心具备了大数据的特征。科学研究和科技创新越来越依赖于对数据的管理和利用,打造良好、适宜的软硬件环境是提高职业院校学生信息素养的基础。目前互联网技术及应用普及度较高,建设智慧校园可为学生提供更多的接触信息资源的机会。加强高职院校数据中心和网络中心的建设力度,在依托传统图书馆文献存储量的基础上,增加馆藏图文电子数据、电子文献与多媒体文献,打造信息化图书馆,为学生提供多元化的信息资源与服务。加强校园社交网络平台的建设,利用微信等新型传播媒介,采用主动推送的方式传递正能量,提供有益于学生健康成长的信息,监控、屏蔽不良信息的传播,过滤影响学生身心健康的不良信息,构建适合高职院校学生学习的良好环境。

(二)发挥数字化图书馆在教育过程中的核心作用数字化图书馆的建设是图书馆业今后发展的主要方向。数字化图书馆也是一个科技含量较高的系统工程,高职院校各级领导应正确认识,加强资金投入,充分发挥其对教育过程的支持作用。数字化图书馆的典型特征是存储数字化、操作计算机化、传递信息网络化、信息存储自由化和结构连接化,可与高职院校的基础建设可以同步推进。在建设与发展过程中,教师要积极引导学生充分利用数字化信息资源。学生在使用数字化图书馆的过程中会产生一系列的行为特征数据。通过对学学习路径和学习偏好的数据分析,根据其特点与实际量身设计合理的信息资源智慧导航,从而为学生学习新技术、新知识提供个性化的服务。

(三)加强学生创新能力的培养在知识经济时代,创新决定着一个国家和民族的综合实力和核心竞争力。培养具有创新能力、实践能力的高素质技能人才,是高职院校人才培养的一个重点方向,也是高职办学的特色及亮点。创新能力培养的关键是创新思维的培养,而创新思维的核心在于思维的独特性和新颖性。在大数据时代,学生面临众多数据资源。教师需要对学生提供专业的指导,让学生学会利用互联网技术和计算机软件工具解决实际问题,在解决问题的过程中培养创新思维。高职院校应努力营造创新教育环境,结合创新教育,大力推进素质教育。将“小发明、小创造”“大学生实践技能展演”“大学生才艺展示”等活动纳入校园文化活动中。组织学生参加各行业举办的职业技能大赛,实现从应试教育向素质教育的转轨,培养实用型、创新型的复合技能人才。充分重视学生的个性发展,建立专业的师资队伍对学生的创造发明活动给予强有力的技术指导。对于技术含量高的、有市场推广价值的创造发明活动,要引导学生进行自主创业,带动就业。加大创新教育课程的开发与建设力度,强化学生创新能力的培养。

(四)培养学生对信息技术的兴趣与爱好兴趣是最好的老师,是激发学生学习积极性的动力,是激发创新能力的必要条件。学生只有对身边的事物发生了兴趣,才会活跃思维,激发潜力。在课程设计中加入了生动、形象、贴近工作、贴近生活的典型案例,可以有效地激发学生的学习兴趣,让学生乐在其中,愉快地完成学习任务。教学实践环节也应紧密围绕着学生熟悉的事物、案例来开展教学。授课教师应了解信息技术在行业的实际应用状况,根据不同专业的特点,结合学生,的知识体系结构精心准备授课内容,确定课程的重难点。在教学过程中,通过师生互动了解学生对课程内容的掌握程度,因材施教、精选案例、突出重点,从培养学生兴趣与爱好入手,让学生在轻松、愉悦的课堂教学中学习信息技术在专业领域的最新应用,了解最新的前沿学科理念,学握较新的实用技术。教师如果在教学活动中能及时、准确地解决学生在学习实践中遇到的疑难,并指导他们完成实训内容,将有助于学生在学习过程中获得成就感,激发学习的积极性、主动性和创造性。教师动手实践能力将使得更多的学生得到有效指导和帮助,实现高质量的课堂教学。

(五)探索高效教学模式根据高职人才培养目标的要求,计算机课程的教学需要与时俱进,随着各行业大数据产业的不断发展与应用而不断进行调整、创新。通过对学生在校期间学习、生活的轨迹进行搜集、整理,形成基础数据,进而分析他们的学习行为、学习喜好和思维模式,制定适合他们全面发展的教学方法,有针对性地培养和提高他们的计算机应用能力。利用各种辅助软件,开展行之有效的教学实践活动,让学生在“做中学,学中做”。提高各专业学生的计算机应用操作能力,使他们掌握互联网技术、计算机信息技术、电子商务等。以医学影像技术专业为例,学生既要学会影像阅片操作,又要掌握最新的X线机、CT、MRI等先进检查设备的使用与操作。如果能够将医学影像技术专业与计算机应用实践教学相结合,找出两者的学科交叉点,构建适合时展需要的复合型人才培养模式,将会起到事半功倍的作用。在大数据的背景下,各行各业都需要利用信息技术,特别是数据库技术、大数据分析技术,用以改变生产、经营、管理、工作、生活等的方式。因此各专业的毕业生都面临着行业对大数据的使用与开发的迫切需求。培养学生解决问题的实际操作能力,显得尤为重要。在专业课程的教学中,通过对大数据的应用与计算机应用技术的渗透,不但能激发学生学习专业技能的积极性,而且可以引导学生形成应用计算机解决专业问题的思维模式,对他们将来适应大数据环境下工作具有积极的引导意义。以专业培养目标为基础,合理对计算机课程进行设置与安排教学,将大数据知识、信息技术知识、计算机应用知识融入到各课程的教学中,构建适合高职类学生学习特点的高效教学模式。

(六)加强师资队伍建设加强师资队伍建设是提高学生计算机应用能力的关键。计算机应用基础课程的教师,首先应该是计算机应用方面的专家,既能掌握扎实的理论基础知识,又能熟练地操作计算机,善于使用相关行业软件。在教学中能够起到良好的操作示范作用,给予学生无形的感染力和号召力,增强学习的主动性与积极性。在实践教学过程中,计算机任课教师不仅要与专业课教师紧密合作,整合校内已有的专业资源和信息技术资源,充分利用好大数据,而且要与行业、企业加强联系,采取走出去、引进来的方式,让学生在校期间就能充分接触各种面向实际应用的信息技术产品与工具。学校要制定行之有效的师资队伍培养计划,紧密结合企业、行业的实际需求,建设“双师型”教师队伍,加强现代信息技术应用能力培训。教师应深入企业、行业,了解企业人才需求,了解企业使用的最新应用软件动态与进展,充分利用好企业、行业大数据资源的研究最新成果,更新知识结构,提高实践操作水平。

第3篇

1.计算机网络安全概述。

计算机网络安全,是指利用相关网络管理控制与技术,确保在一个网络环境中数据的完整性、保密性及可用性。计算机网络安全,主要包括逻辑安全与物理安全两个方面,其中,逻辑安全包括数据的保密性、完整性及可用性,防止没有经过授权对数据进行随意篡改或破坏的行为;物理安全包括相关设备与设施在受到物理保护的条件下保护设备上的数据免于丢失、破坏。

2.计算机网络存在的主要安全问题。

目前,计算机已经广泛应用于各行各业,人们对计算机网络的认识与利用水平也显著提升,办公、社交、生活等方方面面都离不开计算机网络。计算机网络在丰富和改变人们生活的同时,其存在的安全问题也不得不让人们警醒,经过笔者梳理,计算机网络安全问题主要存在以下几个方面:

1)网络病毒所导致的安全问题。

在计算机网络技术快速发展的过程中,也出现了越来越多、感染力越来越强的新病毒,它们无时无刻地影响着计算机网络的安全。由于计算机网络病毒具有复制性,能够感染其他程序和软件,因此,一旦计算机中了病毒,其所运行的每一步都将是危险的,都会存在让病毒也随之运行并产生破坏行为,然后应用程序被破坏,机密数据被盗用或被破坏,甚至让整个计算机系统瘫痪。

2)人为操作失误所导致的安全问题。

在人们进行计算机相关操作过程中,人为操作失误可能会引起计算机的安全漏洞,或者泄露了某些重要的信息,而这些信息一旦被不发分子所利用,便会造成难以挽回的损失。

3)网络黑客攻击所导致的安全问题。

在大数据时代下,网络黑客对计算机网络的攻击具有更隐蔽、破坏性更强的特点。由于在大数据时代下,网络黑客通过非正常手段窃取到某一重要数据时,一旦其利用这些数据进行非法行为时便会引起巨大的波及。同时,在海量的数据中,难以及时识别网络黑客的攻击行为,对于计算机网络安全而言是一种严重的威胁。

4)网络管理不到位所导致的安全问题。

在网络安全维护中,网络安全管理是非常重要的环节,但是目前很多使用计算机的个人乃至企业、政府部门并没有对网络安全管理引起足够的重视,从事使得计算机网络的安全受到各种威胁,最终导致大量的计算机网络安全事件频繁发生。五是,网络系统自身的漏洞所导致的安全问题。理论上而言,一切计算机网络系统都存在某些漏洞。同时,在用户使用各类程序、硬件过程中由于人为疏忽也会形成一些网络系统漏洞。二者相比,后者的破坏性常常是巨大的,很多不法分子通过非法途径给用户造成计算机系统漏洞,进而窃取用户信息,给用户造成巨大的损失。

二、大数据时代下的计算机网络安全防范对策

1.加强病毒治理及防范工作。

在大数据时代,计算机病毒的种类与数量与日俱增,对其进行治理与防范是较为困难的。在对计算机病毒进行治理与防范时,笔者认为最重要的是防范,这种防范是一种主动的、积极的治理,可以通过加强计算机防火墙部署来提高网络环境的安全性,将那些不稳定的、危险的网络因素隔离在外,进而实现对网络环境的安全保护。同时,计算机使用者树立正确的病毒防范意识,在计算机日常使用中,能够定期利用杀毒软件对所使用的计算机网络环境进行杀毒,并更新病毒样本库,进而确保对计算机网络的扫描能及时识别计算机病毒并进行及时的处理。

2.加强黑客防范工作。

隐藏在大数据背后的网络黑客一旦实施其不法行为,常常会产生巨大的安全问题,因此,为了防范计算机网络安全,应当积极整合大数据的海量信息优势,建立科学的网络黑客防范攻击的模型,以此来提升识别网络黑客的反应速度。通过加强计算机网络的内外网的割离、加强防火墙配置,能够有效降低黑客攻击的可能性。同时,还可以大力推广数字认证技术,加强对访问数据的有效控制,并合理认证,有效避免非法目的用户的非法访问,进而提升对网络安全的有效保护。

3.加强网络安全管理。

使用计算机的个人及机构,需要从思想上高度重视网络安全管理的重要性,在熟悉大数据的特征与性能的基础上采取安全的管理措施,时常关注网络安全管理,从技术上给予网络安全保障的同时,还需要通过有效的网络安全管理来实现大数据时代下计算机网络安全的防范目的。对于机构而言,需要从宏观上认识到网络安全管理的重要性,并建立动态的、有序的、系统的管理规章,依托于云计算技术构建一个更加高级的智慧平台来加强网络安全的防范,进而确保网络安全。对于个人而言,需要从主观上认识到网络安全的重要行,在进行计算机操作中,要养成规范化的、文明的使用计算机网络的习惯,尤其是对于一些钓鱼网站、非法链接,要从主观上认识到其危害,并做自我做起,将网络安全问题尽可能消灭,不传播有安全隐患的信息或链接。

4.加强网络系统漏洞的修复工作。

第4篇

一、大数据下的计算机软件技术

(一)云储存服务

在大数据时代的背景下,云储存服务是当今社会有效储存海量数据信息、进行数据信息价值分析与利用的技术。与传统的数据储存技术相比,云储存服务在大大提升自身储存容量,并且能够分类储存不同领域数据的同时,还可以抛弃固定化的储存设备,通过快捷、方便的储存来发挥出该技术协同性、综合性的功能。云储存技术帮助系统利用对数据资源的有效整合来实现提升信息存储效率的目的,同时数据储存较高的安全性也能够为人们日常的工作、生活提供良好的保障。

(二)信息安全技术

由于互联网是大数据处理的基础,其中互联网平台开放度比较高、不同领域数据信息联系紧密,一旦外来病毒、木马攻击互联网平台,部分数据就会受到病毒的感染,并且对其他存在一定关联的数据信息造成不利的连带影响。因此,在大数据时代中需要有互联网信息安全技术来发挥出防护病毒、木马的作用。并且我国还要积极学习发达国家的信息安全技术,通过不断的研究与经验积累来弥补差距,从而也为大数据背景下海量数据信息准确性、安全性的提升作出贡献。

(三)虚拟化技术

虚拟化技术作为资源管理技术的一个分类,能够对各类数据资源进行优化配置,不仅可以为各类不同的场景提供需求,降低了生产管理、资源管理的生产成本,还有效提升了数据资源的利用率。扩展性、可行性、综合性较高的虚拟化技术成为了许多企业与研究机构重点关注的对象,使其在大大降低人力、财力、物力的同时,有利于社会经济效益的可持续发展。因此,在大数据时代背景下,企业要分析自身的发展情况与发展需求,从而顺应时代潮流,做好对虚拟化技术的创新研究,通过较高的科技水平来发挥出虚拟化技术的特点。>>>>推荐阅读:研究高职计算机专业网络教育平台现状

二、大数据下计算机软件技术的具体应用

(一)商业通信领域的应用

由目前情况可知,计算机软件技术在商业通信行业的快速发展中起着十分重要的作用,许多通信工作人员能够通过各类计算机软件技术,来有效分析与记忆所有消费者的不同消费习惯与需求,从而实现用户满意度的提升以及通信企业的良好发展发展。例如,IBMSPSS作为一款测预分析软件,它能够实时掌握用户的信息,通过精准的分析来对用户提供个性化的需求;而功能更加丰富的XO分析软件以通信用户的消费行为基础进行合理的评估报告,不断发掘用户潜在的消费心理,同时它还可以借助网络分析加速器,来检测自身系统存在的问题,并且快速、开心的制定出解决方案。

(二)商业领域的应用

计算机软件技术在商业领域的应用,不仅可以帮助工作人员优化工作结构,做好企业各部门作职责的分配,同时电子商务企业能够借助计算机软件技术来实现数据信息的汇总、处理,从而通过线上或者是线下多种方式促进消费者的消费行为,有利于企业核心竞争力的提高。而在用户信息的管理方面,工作人员可以通过Gognos技术在设备上建立起即时功能平台,用于用户信息的查询。例如,景区里的管理人员能够利用电脑、手机等实时共享设备实现对进出游客的实时控制。

(三)企业信息解决方案方面的应用

在大数据背景下,计算机软件技术还可以用于解决企业在发展过程中容易出现的信息安全问题,管理人员能够通过对数据资料的深入挖掘来掌握准确、有效的市场信息以及风险评估。首先是数据取样环节,企业人员需要在所销售的产品之中随机抽取代表性强的产品,其次是信息收集整合环节,借助计算机软件技术的计算分析来提高结果的可靠性,从而实现帮助企业有效在行业竞争的过程中规避市场风险的目的。

三、结论

结合本文,随着大数据时代的不断发展,计算机软件技术渐渐的与社会上的各行各业有了紧密的联系,在企业行业竞争力的提升中起到了至关重要的作用,并且为各个企业的生产发展提供十分重要的技术保障。因此,计算机软件技术领域应当适应时展要求,以提供优质、安全的数据管理应用为目标,从而在海量数据信息的收集、分析、存储环节中发挥出高效防护、管理的作用,同时还要对计算机信息系统采取有效的措施,充分保障数据信息的安全性。

【计算机硕士论文参考文献】

[1]郝雅萍.基于大数据下计算机软件技术的应用[J/OL].电子技术与软件工程,2019(06):166[2019-04-22].

[2]卢凌.大数据时代下计算机软件技术的应用探索[J].现代工业经济和信息化,2019,9(01):85-86.

[3]王志国.大数据下计算机软件技术的应用分析[J].信息与电脑(理论版),2019(03):103-104.

第5篇

一、大数据时代下计算机网络安全中的突出问题

(1)网络系统存在漏洞

在大数据时代,计算机网络发展快速,逐渐成为当今社会的重要部分,在为人们的生活提供便利的同时,也随之出现了一些计算机网络问题。网络系统中存在漏洞就是计算机网络中的一个突出问题,影响到计算机网络的运行发展。计算机网络存在漏洞,就会为黑客入侵提供便利,造成信息数据泄露,严重影响着计算机网络系统的安全。

(2)信息内容中的问题

互联网中存在着大量的数据信息,所以互联网环境存在着一定的自由性和开放性的特征。正是由于互联网中存在海量信息,病毒攻击等网络安全问题就会提升数据安全风险,以至于出现信息破坏、泄露等问题。

(3)用户操作不当

在计算机网络安全中,由于人为的恶意攻击或无已操作所引起的安全问题比较普遍。在各行业领域中,互联网都具有重要作用。但是,因为一些用户的操作水平有限,或是不了解计算机网络规范,就为不法分子提供了可乘之机,对计算机网络安全造成恶意攻击,甚至是造成他人的经济损失。这种由人为操作所引起的安全问题也是当前互联网安全问题中一个突出问题。

(4)网络安全意识淡薄

随着我们已经步入大数据时代,这就使得计算机网络得到了更深入的应用,但同样面临着更多的安全问题。人们在使用计算机网络时,没能正确认识到计算机网络安全问题,意识较为薄弱,以至于在日常操作中出现一些不规范的行为。比如,随意下载文件,没有扫描检查电脑系统安全,这些都会为计算机网络安全带来隐患,从而让黑客入侵,盗取和破坏用户的信息,对用户造成重大的损失。

二、大数据时代下计算机网络安全防护措施

(1)强化网络安全的管理

在大数据时代,为了做好计算机网络安全的防护工作,就需要强化网络安全的管理。这就需要用户在使用计算机网络的过程中,不断提高自己的网络安全意识,积极使用各种安全防护措施,以确保计算机网络环境的安全。另外,用户在使用计算机网络的过程中,需要规范自己的操作,养成文明操作的使用习惯,以尽量避免网络病毒的入侵。

(2)预防黑客攻击

在计算机网络技术的发展过程中,黑客攻击一直是无法有效解决的问题,随着计算机网络技术的愈加成熟,网络黑客也随之发展。在这个大数据时代,网络黑客就可以通过各种途径对计算机网络进行攻击,从而破坏和盗取数据信息。所以,就有必要加强计算机网络中黑客攻击的预防。可以通过数据信息,构建反黑客西永,同时加强计算机防火墙的配置,以预防计算机网路中的黑客攻击。

(3)使用防火墙和安全监测系统

计算机防火墙和安全监测系统,对计算机网络安全的防护具有一定的高效性与专业性,也是防护计算机网络安全基础、有效的方式。通过防火墙应用,就可以将管理系统分为外部管理和内部管理。其中,内部管理比外部管理有着更高的安全性,人们保存数据信息时,将其保存在内部管理系统中,从而确保用户数据信息的安全性。同时,防火墙能够实时监测外部系统,可以及时地发现和处理内部外信息安全问题。总之,防火墙是计算机网络安全防护的首道屏障,可以有效避免计算机网络系统遭受攻击。

(4)加强数据传输工具的安全性

为了确保网络信息的安全性,也要加强数据信息传输工具的安全性,从而保证网络信息的完整性与有效性。需要对一些重要的信息进行加密,不法分子就很在信息传输的过程中破解密码,从而确保数据信息在传输过程中的安全性。

(5)强化网络病毒的防御

随着互联网技术的快速发展,计算机网络给人们带来巨大积极影响的同时,网络病毒现象也逐渐严重,网络病毒攻克也是当前计算机网络安全防护中的重要内容。对于计算机网络病毒来讲,其存在着多样化、变异性的特征。这就需要我们加强病毒防范的重视,通过构建防御体系与安全管理系统,提升病毒防范的效果。还可以使用计算机杀毒软件,提升计算机系统的病毒防范性。

(6)加强计算机网络信息安全教育

在大数据时代,人们的生产活动都离不开网络信息,但绝大多数的群众并不具备较强的网络安全意识。部分用户可能通过网络随意自己的信息,一些不法分子就会泄露群众们的信息数据,从而就会为群众们带来巨大的损失。因此,加强计算机网络信息安全教育具有重要的意义。

三、结束语

总而言之,在大数据时代,随着计算机网络的快速发展,网络安全隐患也随之出现,对计算机网络用户造成了严重的影响。因此,就需要加强计算机网络的安全性,计算机用户们创建更优质的网络使用环境。以上就是本文对大数据时代下的计算机网络安全所进行的全部研究分析,针对计算机网络安全问题提出这些解决措施,以实现计算机网络安全的强化,让计算机网络为用户们提供更大的作用。

【计算机硕士论文参考文献】

[1]孙为.计算机网络安全及防范措施探讨[J].数字通信世界,2016(02):140.

[2]魏楚雯.计算机网络安全及防范措施[J].科技传播,2018(01):134-136.

第6篇

信息安全论文3900字(一):探究计算机网络信息安全中的数据加密技术论文

【摘要】随着近几年网络信息技术的发展,社会生产和生活对网络数据的依赖程度越来越越高,人们对网络信息安全重视程度也随之提升。对于網络信息而言,信息数据安全非常重要,一旦发生数据泄露或丢失,不仅会影响人们正常生活和财产安全,甚至还会影响社会稳定和安全。在此基础上,本文将分析计算机网络信息安全管理现状,探索有效的数据加密技术,为网络环境安全和质量提供保障。

【关键词】计算机;网络信息安全;数据加密技术

引言:信息技术的普及为人们生活带来了许多便利和帮助,但是由于信息安全风险问题,人们的隐私数据安全也受到了威胁。但是,目前计算机网络环境下,数据泄露、信息被窃取问题非常常见,所以计算机网络信息安全保护必须重视这些问题,利用数据加密技术解决此难题,才能维护网络用户的信息安全。因此,如何优化数据加密技术,如何提升网络信息保护质量,成为计算机网络发展的关键。

1.计算机网络安全的基本概述

所谓计算机网络安全就是网络信息储存和传递的安全性。技术问题和管理问题是影响计算机网络安全的主要因素,所以想要提升网络信息安全性能,必须优化信息加密技术和加强信息管理控制,才能为计算机网络安全提供保障。将数据加密技术应用于计算机网络安全管理中,不仅可以提升数据保护权限,限制数据信息的可读性,确保数据储存和运输过程不会被恶意篡改和盗取,还会提高网络数据的保密性,营造良好的网络运行环境。因此,在计算机网络快速发展的环境下,重视网络信息安全管理工作,不断优化数据加密技术,对维护用户信息安全、保护社会稳定非常有利。

2.计算机网络信息安全现状问题

2.1网络信息安全问题的缘由

根据网络信息发展现状,信息安全面临的风险多种多样,大体可分为人文因素和客观因素。首先:网络信息安全的客观因素。在计算机网络运行中,病毒危害更新换代很快,其攻击能力也在不断提升,如果计算机防御系统没有及时更新优化,很容易遭受新病毒的攻击。例如,部分计算机由于系统长时间没有升级,无法识别新木马病毒,这样便已遗留下一些安全漏洞,增加了信息安全风险。同时,部分计算机防火墙技术局限,必须安装外部防护软件,才能提升计算机网络防护能力。其次:网络信息安全的人文因素。所谓人为因素,就是工作人员在操作计算机时,缺乏安全防护意识,计算机操作行为不当,如:随意更改权限、私自读取外部设备、随意下载上传文件等等,严重影响了计算机网络数据的安全性,涉密数据安全也得不到保障。例如,在连接外部设备时,忽视设备安全检查工作,随意插入电脑外部接口,容易导致计算机感染设备病毒,导致计算机网络信息安全受到威胁。

2.2计算机网络信息安全技术有待提升

信息安全是计算机网络通信的重要内容,也是计算机网络通信发展必须攻击的难题。随着信息技术的发展,我国计算机信息安全防御技术也在不断创新升级,能够有效应对病毒冲击危害,但是相比先进国家而言,我国计算机信息技术起步较晚,网络信息安全技术也有待提升。例如,根据我国计算机网络信息安全现状,对新病毒的辨识能力和清除能力较弱,无法有效控制病毒侵害,这对信息安全保护和系统运行都非常不利。因此,技术人员可以借鉴他国安全技术经验,构建出针对性的信息安全防护技术,优化计算机系统安全性能,才能为网络信息安全传输提供保障,避免造成严重的安全事故。

3.数据加密技术分析

3.1对称加密技术

所谓对称机密技术,就是指网络信息传输中所采用的密钥功能,利用加密和解密的方式,提升传输数据的安全性,常常被应用于电子邮件传输中。同时,对称加密技术具有加密和解密密钥相同的特征,所以密钥内容可以通过其中一方进行推算,具备较强的可应用性。例如,在利用电子邮件传输信息时,传输者可以采用加密算法将邮件内容转化为不可直接阅读的密文,待邮件接收者收到数据信息文件后,再采用解密算法将密文还原可读文字,既可以实现数据传输加密的目的,又能确保交流沟通的安全性。从应用角度来讲,对称加密技术操作简捷方便,并且具备较高的安全度,可以广泛应用于信息传输中。但是,对称加密技术欠缺邮件传输者和接收者的身份验证,邮件传输双方密钥有效的获取途径,所以也存在一定的安全风险。

3.2公私钥加密技术

相对于对称加密技术而言,公私钥加密技术在进行信息加密时,加密密钥和解密密钥不具备一致性,密钥安全性更佳。在公私钥加密技术中,信息数据被设置了双层密码,即私有密码和公开密码,其中公开密码实现了信息数据加密工作,并采用某种非公开途径告知他人密钥信息,而私有密码是由专业人员保管,信息保密程度高。因此,在采用公私钥加密技术时,需要先对文件进行公开密钥加密,然后才能发送给接收者,而文件接收者需要采用私有密钥进行解密,才能获取文件信息。在这样的加密模式下,网络数据信息安全度提升,密码破解难度也进一步加大,但是这种加密方式程序较为复杂,加密速度慢,无法实现高效率传播,加密效率相对较低,不适用于日常信息交流传输。

3.3传输加密和储存加密技术

在计算机网络信息安全保护中,数据传输加密、储存加密是重点保护内容,也是信息数据保护的重要手段,其主要目的是避免在数据传输过程中被窃取和篡改风险问题。线路加密和端对端加密是两种主要的传输加密方式,实现了传输端和传输过程的信息安全保护工作。例如,传输加密是对网络信息传输过程中的安全保护,通过加密传输数据线路,实现信息传输过程保护,如果想要停止加密保护,必须输入正确的密钥,才能更改数据加密保护的状态。端对端加密技术是在信息发送阶段,对数据信息实施自动加密操作,让数据信息在传递过程中呈现出不可读的状态,直到数据信息到达接收端,加密密码会自动解除,将数据信息转变为可读性的明文。此外,存取控制和密文储存是储存加密的两种形式。在存取控制模式中,信息数据读取需要审核用户的身份和权限,这样既可以避免非法用户访问数据的问题,又能限制合法用户的访问权限,实现了数据信息安全等级分层保护。

4.计算机网络信息安全中数据加密技术的合理应用

4.1数据隐藏技术

在网络信息数据加密保护中,将数据信息属性转变为隐藏性,可以提升数据信息的可读权限,提升信息安全度。因此,将信息隐藏技术应用于网络信息加密工程中,利用隐蔽算法结构,将数据信息传输隐蔽载体中,可以将明文数据转变为密文数据,在确保信息安全到达传输目的地时,再采用密钥和隐蔽技术对数据信息进行还原,将密文数据还原成明文数据。例如,在企业内部区域网络信息传输时,便可以采用数据隐蔽技术控制读取权限,提升网络信息传递的安全性。因为在企业运行模式下,一些企业信息只限于部分员工可读取,尤其是一些涉及企业内部机密、财务经济等数据,所以需要采用隐蔽载体技术,通过密钥将隐藏的提取数据信息。在这样的加密模式下,企業数据信息安全性得到保障,不仅可以实现信息数据高效率传播,还降低了二次加密造成的安全隐患,控制了员工读取权限,对企业稳定发展非常有利。

4.2数字签名技术

相比公私钥加密技术而言,数字签名技术更加快捷便利,是公私钥加密技术的发展和衍生。将数字签名技术应用于网络信息安全中,在数据传输之前,传输者需要先将数据文件进行私有密钥加密,加密方式则是数字签名信息,而数据文件接收者在收到文件信息后,要使用公共密钥解密文件。由此可见,数字签名技术在公私钥加密技术的基础上,增加了权限身份的审核程序,即利用数字签名的方式,检查数据文件传输者的权限和身份,进一步提升了网络信息传输的安全性。同时,在计算机网络信息安全管理中,根据信息数据管理要求,灵活运用对称加密技术、公私钥加密技术和数字签名技术,充分发挥各项加密技术的优势作用,落实数据传输和存储加密工作。例如,针对保密程度较低的数据信息而言,可采用灵活便利的对称加密技术,而对于保密级别较高的数据而言,即可采用数字签名技术进行加密。通过这样的方式,不仅可以保障网络信息传输效率,优化信息传输的安全性能,还可以提升数据加密技术水平,为网络信息安全提供保障。

4.3量子加密技术

随着计算机信息技术的发展,数据加密技术也在不断创新和优化,信息安全保护质量也随之提升。相比以往的数据加密技术而言,量子加密技术的安全性更好,对数据安全控制效果更佳。将量子力学与加密技术进行有效融合,既可以实现数据传输时的加密操作,又能同时传递解密信息,节省了单独的密钥传输操作,加密方式也更加智能化。例如,在网络信息传输中,一旦发现数据传输存在被窃取和被篡改的风险,量子加密技术会及时作出反应,转变数据传输状态,而数据传输者和接收者也能及时了解数据传输状况。这种数据加密方式一旦发生状态转变是不可复原的,虽然有效避免的数据泄漏风险,但可能会造成数据自毁和破坏问题。同时,由于量子加密技术专业性强,并且仍处于开发试用状态,应用范围和领域比较局限,无法实现大范围应用。

5.结束语

总而言之,为了提升计算机网络信息的安全性,落实各项数据加密技术应用工作非常必要。根据网络信息安全现状问题,分析了对称加密、公私钥加密、数据隐蔽等技术的应用优势和弊端,指出其合理的应用领域。通过合理运用这些数据加密技术,不仅强化了数据传输、存储的安全性,营造了良好的网络信息环境,还有利于提升用户的数据加密意识,促进数据加密技术优化发展。

信息安全毕业论文范文模板(二):大数据时代计算机网络信息安全与防护研究论文

摘要:大数据技术的快速发展和广泛应用为计算机网络提供了重要的技术支持,有效提高了社会经济建设的发展水平。计算机网络的开放性和虚拟性特征决定了技术的应用必须考虑信息安全与防护的相关问题。本文介绍了大数据时代计算机网络安全的特征和问题,研究了如何保证网络信息安全,提出了3点防护策略。

关键词:大数据时代;计算机网络;信息安全与防护

进入信息时代,计算机网络技术已经逐步成为人们的日常工作、学习和生活必备的工具,如电子商务、网络办公、社交媒体等。计算机网络相关技术的发展也在不断改变人类社会的生产模式和工作效率,实现全球各地区人们的无障碍沟通。但在网络世界中,信息的传播和交流是开放和虚拟的,并没有防止信息泄露和被非法利用的有效途径,这就需要从技术层面上考虑如何提高计算机网络信息安全。特别是近年来大数据技术的高速发展,海量数据在网络中传播,如何保证这些数据的可靠性和安全性,是目前网络信息安全研究的一个重要方向。

1大数据时代计算机网络信息安全的特征

大数据是指信息时代产生的海量数据,对这些数据的描述和定义并加以利用和创新是目前大数据技术发展的主要方向。大数据的产生是伴随着全球信息化网络的发展而出现的,在这个背景下诞生了大量的商业企业和技术组织,也为各行各业提高生产力水平和改变生产模式提供了有效帮助。大数据时代的网络特征首先是非结构化的海量数据,传统意义上的海量数据是相关业务信息,而大数据时代由于社交网络、移动互联和传感器等新技术与工具快速发展产生了大量非结构化的数据,这些数据本身是没有关联性的,必须通过大数据的挖掘和分析才能产生社会价值;其次,大数据时代的网络信息种类和格式繁多,包括文字、图片、视频、声音、日志等等,数据格式的复杂性使得数据处理的难度加大;再次,有用信息的比例较低,由于是非结构化的海量数据,数据价值的提炼要经过挖掘、分析、统计和提炼才能产生,这个周期还不宜过长否则会失去时效性,数据的技术和密度都会加大数据挖掘的难度;最后,大数据时代的信息安全问题更加突出,被非法利用、泄露和盗取的数据信息往往会给国家和人民群众造成较大的经济社会损失。传统计算机网络的信息安全防护主要是利用网络管理制度和监控技术手段来提高信息存储、传输、解析和加密的保密性来实现的。在大数据时代背景下,网络信息的规模、密度、传播渠道都是非常多样化的和海量的,网络信息安全防护的措施也需要不断补充和发展。目前网络信息安全的主要问题可以概括为:一是网络的自由特征会对全球网络信息安全提出较大的挑战;二是海量数据的防护需要更高的软硬件设备和更有效的网络管理制度才能实现;三是网络中的各类软件工具自身的缺陷和病毒感染都会影响信息的可靠性;第四是各国各地区的法律、社会制度、宗教信仰不同,部分法律和管理漏洞会被非法之徒利用来获取非法利益。

2大数据时代背景下計算机网络安全防护措施

2.1防范非法用户获取网络信息

利用黑客技术和相关软件入侵他人计算机或网络账户谋取不法利益的行为称为黑客攻击,黑客攻击是目前网络信息安全防护体系中比较常见的一类防护对象。目前针对这部分网络信息安全隐患问题一般是从如下几个方面进行设计的:首先是完善当地的法律法规,从法律层面对非法用户进行约束,让他们明白必须在各国法律的范畴内进行网络活动,否则会受到法律的制裁;其次是构建功能完善的网络信息安全防护管理系统,从技术层面提高数据的可靠性;再次是利用物理隔离和防火墙,将关键数据进行隔离使用,如银行、证券机构、政府部门都要与外部网络隔离;最后是对数据进行不可逆的加密处理,使得非法用户即使获取了信息也无法解析进而谋利。

2.2提高信息安全防护技术研究的效率

大数据技术的发展是非常迅速的,这对信息安全防护技术的研究和发展提出了更高的要求。要针对网络中的病毒、木马和其他非法软件进行有效识别和防护,这都需要国家和相关企业投入更多的人力物力成本才能实现。目前信息安全防护技术可以概括为物理安全和逻辑安全两个方面,其中物理安全是保证网路系统中的通信、计算、存储、防护和传输设备不受到外部干扰;逻辑安全则是要保障数据完整性、保密性和可靠性。目前主要的研究方向是信息的逻辑安全技术,包括安全监测、数据评估、拨号控制、身份识别等。这些技术研究的效率直接影响着网络信息安全,必须组织科研人员深入研究,各级监管部门也要积极参与到网络管理制度的建立和完善工作中来,从技术和制度两个方面来提高信息防护技术的研究效率。

2.3提高社会大众的信息安全防护意识

目前各国都对利用网络进行诈骗、信息盗取等行为进行法律约束,也利用报纸、电视、广播和网络等途径进行信息安全防护的宣传教育。社会大众要认识到信息安全的重要性,在使用网络时才能有效杜绝信息的泄露和盗用,如提高个人电脑防护措施、提高密码强度等。各级教育部门也要在日常的教学活动中对网络信息安全的相关事宜进行宣传和教育,提高未成年人的安全意识,这都是有效提高信息安全防护能力的有效途径。

第7篇

关键词:大数据时代;网络通信技术;分析

计算机网络技术的发展与完善,Internet技术应用领域广泛,并且现在人们生活、学习与工作已经离不开计算机网络。现在人们的需要不断变化,计算机远程网络通信技术需要不断更新以适合现代人们的需要,同时保障计算机远程网络通信。在大数据时代,提高计算机远程网络通信的质量,满足用户的需求是迫切需要解决的问题,在大数据时代,如何提高计算机远程网络通信质量,更新计算机远程网络通信技术,保障用户的需求,给计算机远程网络通信技术的专家和学者提供了机遇和挑战,以适合现代社会发展需要。

1大数据时代计算机远程网络通信技术的优势

计算机远程网络通信技术在应用过程中根据用户的需求不断更新,在大数据技术的应用到计算机远程网络通信技术有一定的优势。首先抗干扰性强,计算机远程通信技术在大数据技术的应用下,保障数据传输的有效性,提高了数据传输的抗干扰性,保障了数据传输的准确性。其次有利于与计算机结合,计算机是计算机远程网络通信的主要工具,在大数据技术的应用下,让计算机与计算机远程通信网络能更好的兼容,能更加有效保障通信的质量与效果。最后具有多样性特点,在大数据技术的应用下,根据用户的不同需要,计算机网络通信技术可以给用户提供多种选择方案,为用户提供多样化服务,满足用户的需要,符合现代社会发展,计算机远程网络通信技术改革为用户需求服务。

2大数据时代计算机远程网络通信技术存在的问题

2.1计算机远程网络通信技术故障

大数据时代计算机远程网络通信在运行的过程中,出现计算机远程网络通信技术问题是一种常见问题。计算机远程网络通信技术故障主要表现其一是物理层出现问题,物理层出现问题一般是接口问题,一旦出现问题影响数据的发送与接收,同时也容易被黑客等进行攻击。其二是网络层出现问题,网络层问题一般是路由器出现问题或网络IP地址出现问题,在网络运行的过程中容易出现网络拥塞现象,对网络通信产生一定的影响。当网络层出现问题还有可能受到病毒的攻击,这会给网络通信起到阻碍作用,在网络通信要注重网络病毒的防治,减少网络病毒对网络通信的攻击。

2.2计算机远程网络通信的速度问题

现在人们的生活、学习与工作离不开计算机网络,计算机远程网络通信的速度是大家关心的问题,数据在网络上传输视频、图片等都有传输失败的现象,这都是计算机远程网络通信出现问题,多数都是由于网络拥塞现象造成的,在计算机远程网络通信带宽增加的过程中,但每年网络用户大量增加,这给网络通信的速度带来一定问题,阻碍了人们的正常网络通信。

3大数据时代计算机远程网络通信技术的革新

3.1对计算机远程网络通信技术进行维护

计算机网络远程通信需要网络设备,网络设备需要进行维护保障计算机网络正常通信。在维护的过程中,主要是根据每个企业的情况对其进行定期的检测和维护,为了更好地对计算机进行维护可以让相关人员每天对机器进行检查,对通信的情况进行评价,每周可以做一次汇报总结,对于出现问题的机器要及时进行检修,这样能够保证整个系统的运行。要保障计算机远程网络通信质量,需要对网络通信设备定期进行检测与维护,同时每台设备最后建立档案,同时每台设备都需要有专人负责,建立一种维修维护责任制。

3.2革新计算机远程网络通信的速度

计算机远程网络通信速度是用户最关心的问题,提高计算机远程网络通信速度是一个多元化因素,必须利用现代科学技术,科学有效的保障计算机远程网络通信速度提升。扩大带宽是提高计算机远程网络通信速度提高的有效方法,但提高带宽需要技术支持,同时也需要经济的支持,网络的基础设施需要提升,网络的硬件设备需要购买,这些都是提高网络通信速度的基础,为了保障网络通信速度提升,必须加强网络通信的基础建立,完善网络通信的扩大化,符合现代网络通信的优化。提高计算机远程网络通信速度,需要在软件和硬件方面都进行改变,以适合现代远程网络通信发展的需要,同时能进一步提高用户的满意度,符合现代计算机远程网络通信速度提升的需求。

第8篇

关键词:大数据时代;科技期刊;出版;编辑

中图分类号:G232 文献标识码:A 文章编号:1672-8122(2016)03-0105-02

20世纪80年代初,著名未来学大师及社会思想家阿尔文・托夫勒(Alvin Toffler)便预言大数据(big data)将成为“第三次浪潮的华彩乐章”。20世纪90年代以来,随着计算机技术的迅猛发展,上至国家的重大决策,下至人民生活的衣食住行,方方面面的信息均被数字化,并得到有效的储存。迈入21世纪,人类社会进入了一个大规模生产、分享和应用数据的时代――大数据时代,它强调信息技术的重点由“技术”转变为“信息”。因此,在以信息为基础的人文社会科学研究领域,大数据势必引发其组织决策和业务流程等方面的根本性变革。而为学术研究服务的科技期刊在大数据时代浪潮中,又将面对怎样的机遇和挑战呢?

一、大数据的概念与特征

大数据,又称为巨量资料或海量资料;其是由数量巨大、结构复杂、类型繁多的数据资料构成的数据集合,是以“云计算”为基础技术支持的数据处理和应用模式。大数据技术是通过集成共享数据,将分散的数据资源转变为集中的智力资源和知识服务能力。研究机构Garter定义“大数据”为需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资源。简而言之,从各种类型数据中,快速获得有价值信息的能力,就是大数据技术。

大数据的特征通常表现为以下四个方面:数据体量巨大(Volume)、数据类型繁多(Variety)、价值密度低(Value)、处理速度快(Velocity)。这就是人们通常所说的大数据的4V特征,也是大数据区别于传统数据的显著特征。

二、大数据时代下科技期刊面临的机遇

1.出版形态的多样化。大数据时代,在计算机、互联网等技术的不断发展和创新环境下,传统科技期刊的出版模式已悄然向大数据平台、多媒介及全媒体模式转型。科技期刊数据化集群建设得以实现的一个重要条件就是大数据技术的成熟与推广,随着大数据平台技术的建立,科技期刊实现了内容的自主优化、信息服务的个性化,以及出版发行模式的多元化,科技期刊将向着在线投稿及评议系统、编辑管理系统和增值服务系统一体化的方向发展。大数据期刊平台的构建将通过期刊内容推荐系统、流计算、期刊数据库和期刊信息整合与治理四大功能板块完成[1]。大多数科技期刊所采用的纸质媒介,在大数据时代背景下已不能满足读者的阅读体验,网络、无线、手持阅读器的全媒体出版要求凸显。传统纸质科技期刊传播媒介将呈多样化、全媒体的发展态势,物联网、互联网、移动智能终端等技术平台,都已成为科技期刊传播的重要媒介。科技期刊利用数字化、多媒介、全媒体的出版模式,在为读者提供平面媒体与数字媒体相结合的全新视听阅读感受的同时,也获得了更多途径和更深层次的推广效果。

2.业务流程的智能化。随着计算机技术的迅猛发展,以及云计算技术的成熟,使得任何复杂的数据都可以实现定量化分析[2]。因此,导致编辑工作流程中的信息收集、加工、传递等过程的智能化成为可能。科技期刊编辑的目标是将知识差大,且读者或该领域从业人员感兴趣的论文从众多稿件中挑选出来,体现在编辑出版过程中就是组稿策划和审稿过程[3]。而过去这一编辑流程基本依靠编辑人员的经验、价值观或学术专家提出的建议完成。而现在大数据技术将科技期刊历史出版物数据化,将全社会、全行业的科技成果数据化,并将这些数据进行整合、分析,从中获得真实、客观、准确、全面的学术信息,从而为科技期刊的选题策划、组稿及审稿提供依据。可以想象在大数据技术提供的真实、客观、准确、全面的学术信息下,那些“一稿多投”或学术不端、学术腐败的问题稿件,将无处遁形。在信息的加工过程中,大数据及云计算技术将过去编辑流程中,因编辑习惯不同或各期刊要求各异,而无统一标准的编辑规则模式转化为统一、有序的编辑规则模式。在这种编辑规则模式下,利用人工智能工具或软件,有可能实现稿件的计算机“预编辑”。从而减少编辑的重复劳动和简单劳动,提升编辑质量和编辑效率。

3.评价规则的多元化。目前,对科技期刊及论文的质量和影响力的评估,普遍采用基于文献计量学的评价体系,如影响因子和被引频次。然而,由于模拟数据时代采集的数据样本量小、种类少,导致科技期刊界对定性或定量评价的优劣争议不断[4]。大数据时代的到来解决了这一问题。通过文本分析、语义分析、专家印象评估及同行评估等方法,可以实现对科技期刊的定性评价。通过期刊影响因子动态跟踪、论文被引动态跟踪、论文浏览及下载量动态跟踪等方法,可以实现对科技期刊的动态评价。通过专家反馈信息采集、同行引用反馈信息采集、读者反馈与推荐信息采集、厂商应用效果市场反馈信息采集等方法,可以实现对科技期刊客观评价。因此,基于大数据平台的科技期刊及论文评估是定性与定量、历史与现代、静态与动态、学术价值和经济效益、主观与客观相结合的多元化、综合性科学评价机制[5]。

4.营销模式以品牌营销为主。大数据时代科技期刊的营销模式是将文化价值、创新价值、版权价值和广告价值融为一体的新型商业模式。文化价值即科技期刊的学术品牌,是科技期刊建设的最主要目标,有文化内涵、科技含量及艺术价值的品牌形象,不仅保证了科技的发展和文化的繁荣,更是吸引读者的关键,从而获得更好的经济效益和社会影响力,实现科技期刊的良性发展。创新价值即是以创新为突破口的跨媒介融合出版,利用大数据技术获取受众群体的核心信息,通过大数据分析掌握市场动向,并及时提出有创新性的营销策略,是科技期刊出版单位需要具备的专业能力。印刷时代建立的传统版权原则和制度,在大数据时代受到了根本性动摇,传统版权规则所确立的利益观、价值观,以及商业模式也被逐渐解构,特别是随着数字出版的蓬勃发展,版权资源潜在的巨大市场和价值被重新挖掘和开发。版权产业迎来了前所未有的发展机遇,版权资源成为争夺主战场,版权资源的价值亟须重塑[6]。大数据时代,出版载体已向跨行业全媒体模式转变,出版形态也更加丰富,广告形式不仅仅局限在传统期刊投放的平面广告,声音、动画、影像等多媒体形式的广告将有效地与科技期刊的主题报道内容相结合,读者在阅读杂志内容的同时,也反复接受了产品的展示与推广,加强了品牌宣传效果,真正达到广而告知的目的。

5.出版编辑理念面临的机遇。在大数据时代背景下,要求科技期刊的编辑工作从传统的文字编辑加工,转变为全媒体新出版语境下的数字编辑。数字编辑的定义是:在数字图书、数字报纸、数字期刊、网络原创文学、网络教育出版物、网络地图、数字音乐、数字视频、网络动漫、网络游戏、数字音像制品、手机出版等出版过程中,从事选题策划、组织稿件、审核把关和加工整理的专业技术人员[7]。这就要求科技期刊编辑首先从思想上树立数字编辑理念,深刻理解大数据时代,数字出版背景下编辑工作不断追求创新和数字技术应用的要求。科技期刊数字出版编辑在推广重要学术成果、传播科技文化知识、促进科技期刊发展进程中,不仅是实现期刊全媒体化的先行军,更是数字出版技术创新的开拓者。数字出版编辑应顺应数字出版的潮流,更新数字化出版的编辑理念,主动参与文化、科技成果的数据化,并积极实现数字信息的加工与传播。在读者服务方面,编辑也利用大数据技术提供的精准信息,实现对目标消费群体的个体化信息推送,提供更为精准服务。数字出版编辑要不断适应数字理念的创新,以适应大数据时代不断深化的移动互联网终端输入内容智能化的趋势[8]。

三、大数据时代下科技期刊面临的挑战

1.信息透明化导致期刊生存环境竞争激烈。通过大数据技术,所有科技期刊都将在一个更为透明的环境中生存。所有科技期刊的评价指标,都将作为公共信息,而被公之于众。例如,中国科学技术信息研究所每年都会将中国科技论文统计源收录期刊的主要计量指标,如核心总被引频次、核心影响因子、核心即年指标等,以引证报告的形式,提供给大众。在这些细化和量化的数据信息面前,科技期刊的优劣势一目了然。这必将造成优秀期刊的良性发展和劣质期刊的自我淘汰。这种数据公开机制,有可能导致某些优质期刊或优势学科领域的期刊获得更多的读者和作者资源,而对于新创办的期刊和某些弱势学科领域的期刊将进入一个更为不利的生存态势之中。

2.对科技期刊编辑人才队伍提出了新的要求。随着大数据理念深入人心,大数据技术的日臻成熟,数字化出版必将成为科技期刊的主要出版形式[9]。因此,数字化编辑也将成为科技期刊编辑工作者的新要求。编辑工作者不仅应具备组稿策划、文字编辑加工能力外,还应具备内容扩展、内容研究、内容创作等能力,以适应科技期刊在大数据时代下的数字化发展。

3.传统的盈利模式不再满足期刊的发展需求。在科技期刊数字化进程中,科技期刊文章无偿向全社会提供阅读已成为必然趋势。因此,依靠纸质发行、有偿下载阅读的传统盈利模式,已不能满足期刊的发展要求。然而,在将来期刊出版社或编辑部是否能成为数据运营的主体,也是一个悬而未决的问题。数据库运营商有可能通过与科技期刊共同建立和运行数字化出版平台,或开发数字化产品,来分享杂志的发行和广告收入。

由此可见,在大数据时代背景下,科技期刊将面临前所未有的机遇和挑战。作为科技期刊的从业者,我们要抓住这些机遇,迎接挑战,完成科技期刊的完美转型,尽早实现真正意义上的数字化期刊集群化。

参考文献:

[1] 丁田.大数据时代科技期刊的未来形态[J].中国科技期刊研究,2014(2).

[2] 贾晓青,王萍,陈清莲.大数据时代科技期刊编辑思维拓展[J].出版科学,2014(6).

[3] 张小强,张苹,吕赛英.从信息传播角度看科技期刊编辑出版过程及其优化[J].编辑学报,2007(3).

[4] 朱剑.量化指标:学术期刊不能承受之轻――评《全国报纸期刊出版质量综合评估指标体系(试行)》[J].清华大学学报(哲学社会科学版),2013(1).

[5] 柴英,马婧.大数据时代学术期刊功能的变革[J].编辑之友,2014(6).

[6] 张勤.试论大数据时代版权资源的价值重塑[J].中国出版, 2015(11).

[7] 李超.数字出版人才培养:职称评定的作用[EB/OL].中国数字出版信息网,2013-05-23.

第9篇

【关键词】大数据 生物信息 知识提取 数据挖掘

1 数据挖掘的功能

数据挖掘是从大量的数据中四栋搜索隐藏于其中的具有特殊关系性的信息过程。它是数据库知识发现KDD中的一个步骤。知识发现KDD过程由以下3个阶段组成:数据准备、数据挖掘、结果表示和解释。数据挖掘跟许多学科都交叉关联,包括数据库技术、统计学、机器学习、人工智能、云计算和可视化等。

数据挖掘的实际应用功能可分为三大类和六分项:分类和聚类属于分类去隔类;回归和时间序列属于推算预测类;关联和序列则属于序列规则类。分类常被用来根据历史经验已经分好的数据来研究它们的特征,然后再根据这些特征对其他未经分类或是新的数据做预测。聚类是将数据分群,其目的是找出群间的差异来,同时找出群内成员间相似性。回归是利用一系列的现有数值来预测一个数值的可能值。基于时间序列的预测与回归功能类似,只是它是用现有的数值来预测未来的数值。关联是要找出在某一事件与数据中会同时出现的东西。

2 降维

从降维的角度讲,整个数据挖掘的过程就是一个降维的过程。在这个过程中,需要对数据删除线性关系比较强的特征数据,再用一些算法,如信号分析算法、傅里叶转换、离散小波转换等算法,从数据中提取特征,再对数据做主成分析处理,得到最后的特征,再用数据挖掘算法来将这些特征转化为人类可读取的数据或信息。

3 分布式数据挖掘解决方案

随着分布式计算技术、云计算技术、hadoop生态圈和非结构化数据库等技术的发展,以及对大数据挖掘的需求,出现了一批分布式数据挖掘,比较典型的有Apache推出的基于Hadoop的Mahout和加利福尼亚大学伯克利分校AMP实验室推出的基于Spark的MLBase。在Mahout中主要实现3种类型的数据挖掘算法:分类、聚类(集群)和协同过滤。相比Mahout而言,MLbase更好的支持迭代计算,它把数据拆分成若干份,对每一份使用不同的算法和参数运算出结果,看哪一种搭配方式得到的结果最优。

4 大数据下的具体应用实例――生物信息学的应用

生物信息学(Bioinformatics)是生命科学、计算机科学、信息科学和数学等学科交汇融合形成的一门交叉学科。近年来随着先进仪器装备与信息技术等越来越广泛和深入的整合到生物技术中来,生物医学研究中越来越频繁的涉及到大数据存储和分析等信息技术。在使用计算机协助生物信息时,处理仅有计算机辅助的方式存储数据很显然是不够的,生物信息学研究的目的是运用计算机强大的计算能力来加速生物数据的分析,理解数据中所包含的生物学意义。当前生物信息学研究的热点有:

(1)由以序列分析为代表的组成分析转向功能分析。

(2)由对单个生物分子的研究转向基因调控忘了等动态信息的研究。

(3)完整基因组数据分析。

(4)综合分析。

生物信息数据具有如下特点:高通量与大数据量;种类繁多,形式多样;异构性;网络性与动态性;高维;序列数据等特点[5]。针对这样的生物数据信息,要结合当前的大数据分析方法进行分析和理解。当前数据挖掘实现对生物信息分析的支持主要有:生物数据的语义综合,数据集成;开发生物信息数据挖掘工具;序列的相似性查找和比较;聚类分析;关联分析,生物文献挖掘等方面。

参考文献

[1]许凡.大数据时代的数据挖掘技术探讨[J].电子技术与软件工程,2015(08).

[2]洪松林.数据挖掘技术与工程实践[M].北京:机械工业出版社,2014(11).

[3]李荣.生物信息数据挖掘若干关键问题研究与应用[D].复旦大学(博士论文),2004(11).

[4]宋杰.生物信息数据挖掘中的若干方法及其应用研究[D].大连理工大学(博士论文),2005(04).

[5]孙勤红.基于梯度采样局部收敛的生物信息大数据挖掘[J].科技通报,2015(10).

作者简介

孙勤红(1979-),女,山东省人。现为三江学院计算机科学与工程学院讲师。研究方向为人工智能、数据挖掘。

沈凤仙(1984-),女,江苏省人。现供职于三江学院计算机科学与工程学院。研究方向为数据挖掘。

第10篇

1.1建立数学模型

工程上的计算是以函数,尤其是数值函数为基础的。所谓数值函数就是说在函数的定义域中每一点x就可得位移的f{x}值,此值成为f在x处的值。例如,如何表示空气的cp{T,P}函数?我们可以利用计算机,输入程序,就会得到很精确的结果。除了上述问题,还有很多化学工程的数据处理的过程模拟,如:非线性方程求解、线性方程组的迭代求解、常微分方程数值解、偏微分方程数值解等等,都是先建立一个数学模型,然后带入计算机,最终得出一系列结果的。

1.2Office软件在化学工程中的应用

随着计算机的普及,越来越多的人把原本纸上的工作转移到计算机中去了。化学工程学科需要处理大批文档工作。譬如,化工论文的书写、化工文献的编辑、化工产品的说明,这些文档中常常会有大量的图表、公式、特殊符号,会话费人们大量的精力和时间,进而影响新信息的及时传播。有了Office中的Word软件,处理上述问题就方便多了。Word软件能够比较轻松地输入各种文档,还可以对文档进行多种编辑处理。编辑化工论文时经常用到的功能如:

(1)改变字体大小。

(2)随意设定版面。

(3)利绘图工具绘制实验流程图,并修改。

(4)利用公式编辑器编辑数学公式及化学反应式。

(5)可插入表格及页码。

(6)复制和删除方便。Excel工具的强大的分析数据功能可以将数据进行统计,然后将其规律性地展示出来。在处理化工数据时,我们可以利用Excel工具进行求平均值、自编公式计算等。

1.3Origin在化学工程数据处理中的应用

Origin是具有较强功能的实验数据处理软件。可利用Origin进行图形生成,我们可以在软件中输入实验后得到的数据,通过软件得到实验数据曲线图。为利用Origin工具绘制的实验数据图。通过图形或曲线,可以清晰明了地把大数据展示给他人,并从中发现数据之间的规律,以便更好地进行实验。

2结语

第11篇

>> 大数据关键技术 大数据关键技术分析及系统实例分析 浅谈大数据基础理论与关键技术发展 电力信息大数据高速存储及检索关键技术研究 电力大数据可视化系统开发关键技术研究及趋势 投资统计大数据处理关键技术 基于大数据的信息系统关键技术 浅析云环境下的大数据关键技术 面向大数据的Deep Web数据系统关键技术研究 大数据安全和隐私保护技术体系的关键技术研究 移动数据库关键技术及应用探讨 社会网络大数据分析框架及其关键技术 农业云大数据自组织推送关键技术综述 基于大数据的信息系统关键技术研究 云计算环境下的大数据可靠存储关键技术概述 面向大数据的分布式系统设计关键技术研究 大数据时代下软件工程关键技术分析 移动互联网的大数据处理关键技术 电信运营商大数据变现之关键技术 移动通信网络中大数据处理的关键技术 常见问题解答 当前所在位置:l.

[4]Big data[EB/OL]..

[18]丁智,林治.MapRdeuce编程模型、方法及应用综述[J].电脑知识与技术,2014,10(30):70607064.

[19]江舢,金晶,刘鹏展,等.分布式海量数据批处理技术综述[Z].中国科技论文在线,2012.

[20]吴哲夫,肖鹰,张彤.大数据和云计算技术探析[J].互联网天地,2015(4):611.

[21]马红玉,张柳.大数据中的可视化分析技术[J].山东农业大学学报:自然科学版,2014,45(s):5658.

第12篇

关键词:宽带技术影响应用

1分析当前宽带技术的重要性

自从进入信息化时代以来,网络宽带技术就得到了广泛的应用。宽带技术不但落户千家万户,更在我国经济发展的过程中承载了重大的使命,在国民发展的过程中起到了历史的推动作用。宽带技术不但打破了传统的工业技术,更是技术革命的核心力量。与此同时,伴随着宽带技术的不断发展,新时代的网络宽带技术自然而然的代替了我国传统的通信技术,使人们的生活逐渐进入信息化革命的轨迹上来。由此看来,信息化云计算是未来国民发展国际化、世界化的大趋势。

1.1未来我国宽带技术的发展趋势网络光纤宽带技术的发展速度,也就是新时代我国经济的发展速度。经济发展日益多样化、复杂化,越来越离不开网络宽带技术进行终端云计算。信息化技术时代,宽带技术可以在复杂的大数据中进行信息的转变与输送,在未来经济发展过程中完成大数据资源的整合与发展,宽带技术也在逐步的成为经济发展核心应用,同时云服务也在快速扩展,所有这些新技术的发展,都为传输数据领域的快带技术带来了巨大的挑战。所以,宽带技术结合大数据的发展,只有时时更新、与时俱进才能在未来的发展中占有一定的发展优势。

1.2宽带技术发展的战略意义伴随着计算机网络以及大数据技术的普及,宽带技术已经为信息安全产业奠定了坚实的基础,但是客观来说,目前我国宽带技术的发展以安全可控为原则,以快速进行数据整理为准则来加强我国宽带技术的稳步发展。另外,信息安全产业的发展也要以数据驱动行业发展为主流。在战略层面上,融合大数据发展催生网络网络安全保障需求,同时这也是履行了软件与信息服务相互融合的使命。

2宽带技术所涉及的重要领域

宽带技术各个产业链不可或缺的基础智能化服务平台,它不仅在大量的信息流中整合出信息,更在许多的传统行业中实现资源共享。总体来看在工业,制造业,现代农业,服务业等领域软件与信息服务产业的渗透率逐步提高,各个行业的发展都是建立在宽带技术发展的额基础上,所以在大数据时代宽带技术是各个行业发展的领头羊。

2.1宽带技术在发展中的应用信息化革命改变了人们的生存方式,改变了人们的生活、学习及工作等。宽带技术无时无刻的都在提供着便利的大众平台。大的方向,宽带技术是我国经济发展的垫脚石,从根本上改变了我国传媒以及交通等媒体平台的存在方式。从广义上讲,宽带技术是人们生活中不可缺少的卫星通信技术,在当下流行的网络购物以及蓝牙通信技术等都离不开计算机网络技术。随着人们生活水平的不断提高,人们对于宽带技术的认知也越来越深,改变了以往的陈旧观念,打开思路,不但在生活以及工作中多有应用,更让宽带技术深入到孩子的学习当中,让孩子通过宽带技术的平台对知识有更深层次的了解与应用,使孩子在学习的过程中不断的创新思路。

2.2宽带技术对人类生活的影响宽带技术应运而生,互联网宽带技术对于人类的影响意义深远,宽带技术的快速发展不断的改变着我国的社会经济体。从发展的角度讲,宽带技术不但对于人们的生活水平有着决定性的作用,更对于我国的国民政策起着互相推动的作用。宽带技术从多角度的融合了东西方文化,传承历史,发展文明,将东西方文化友好的互联,更好的促进了我国民族文化发扬光大。宽带技术已经不仅仅是一项技术,它更代表着我国民族经济的崛起,是我国技术领域不断创新发展的伟大标志。互联网宽带技术的多元化发展促进了我国国民经济的再就业发展,由此看来,宽带技术是我国国名经济发展的重要枢纽。

3结束语

人们生活水平不断的进步着,随着而来的计算机技术和通信技术迅猛的进入千家万户,网络日益成为人们工作、学习、生活的必备工具。在宽带技术应用中,网速是至关重要的。众所周知,宽带技术越是先进,数据传输速率就越高,宽带技术就越是精湛。自从进入了计算机的革命时代,宽带技术就以惊人的速度影响着国民经济改革以及人们的生活范畴。从前宽带技术对我们很重要,对于未来我国工业革命乃至人均生活水平、城乡结合发展等等都在根本上离不开宽带技术的应用。在以后的经济发展中,宽带技术也是影响着经济发展的重要因素,也是我国国民发展的重要板块。

参考文献:

[1]期刊论文.超宽带无线通信技术.计算机工程与应用,2004,40(32).

[2]会议论文.超宽带无线通信技术发展浅析宽带通信与物联网前沿技术研讨会,2013.

第13篇

关键词:大数据;Hadoop;分布式;k-means

中图分类号:TP393.02

“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉[1]。随着互联网和信息行业的发展,在日常运营中生成、累积的用户网络行为数据的规模是非常庞大的,以至于不能用G或T来衡量。我们希望从这些结构化或半结构化的数据中学习到有趣的知识,但这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。因此,并行化数据挖掘成为了当下的一个热门研究课题,其主要编程模式包括:数据并行模式,消息传递模式,共享内存模式以及后两种模式同时使用的混合模式[2][3]。

1 国内研究现状

当前中国的云计算的发展正进入成长期,国内很多研究者正进入分布式的数据挖掘领域,利用国外的成熟平台,例如Hadoop来实现大数据的聚类等算法。但是数据的多样性,文本多格式,造成对数据的操作有很大的难度,而如今大多数论文都利用了标准化的mapreduce方法来进行代码的编写,具有一定的通用性,但是Hadoop下还有许多的工具,能够简化m/r过程,同样对一定结构的数据具有很好的并行效果,但是这方面的研究比较少,因此本文引入了HIVE的运用,简化了数据的操作过程,利用类似标准的SQL语句对数据集进行运算,在一定程度上提高了并行化计算的效率。

2 Hadoop并行化基础

数据挖掘(Data Mining)是对海量数据进行分析和总结,得到有用信息的知识发现的过程[4]。其中的聚类是一个重要的研究课题,在面对如此的海量数据,现有的单机模式的挖掘算法在时间与空间上遇到了很大的限制,而并行化处理是一种比较好的解决模式。Hadoop是当下比较热门的一个分布式计算的平台,其中的一个数据仓库工具HIVE简单快捷地实现MapReduce方法,适用于结构化数据的存储模式。

Hadoop是一个分布式系统的基础架构,其平台由两部分组成,Hadoop分布式文件存储系统(HDFS)和MapReduce计算模型[5]。

HDFS的架构是基于一组特定的节点构建的(参见图1),这是由它自身的特点决定的。这些节点包括NameNode(仅一个),它在HDFS内部提供元数据服务;DataNode,它为HDFS提供存储块。由于仅存在一个NameNode,因此这是HDFS的一个缺点(单点失败)。存储在HDFS中的文件被分成块,然后将这些块复制到多个计算机中(DataNode)。这与传统的RAID架构大不相同。块的大小(通常为64MB)和复制的块数量在创建文件时由客户机决定。NameNode可以控制所有文件操作。HDFS内部的所有通信都基于标准的TCP/IP协议。

MapReduce是一种高效的分布式编程模型,用于海量数据(大于1TB)的并行运算[6],它的主要思想就是映射(Map)和化简(Reduce)。一个任务(Job)需要实现基本的MapReduce过程主要包括三个部分:(1)输入数据;(2)实现Map函数与Reduce函数;(3)实现此任务的配置项(JobConf)[7],图1描述了实现MapReduce的基本原理:

图1 MapReduce原理图

3 基于HIVE的并行k-means聚类算法设计

3.1 Hive简介

Hive是基于Hadoop的一个数据仓库工具,是建立在Hadoop上的数据仓库基础构架,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。其优点是可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。

3.2 Hive体系结构

图2 HIVE体系结构图

图2显示了HIVE的主要组件以及它和Hadoop的相互作用[8],其主要组件说明如下:

外部接口,Hive同时提供了用户界面的命令行(CLI)和Web UI,以及应用程序编程接口(API),如JDBC和ODBC。

Hive Thrift服务器公开了一个简单的客户端API来执行HiveQL语句。Thrift[9]是一个用于跨语言服务的框架,框架内用一种语言(如Java)编写,服务器也可以支持其他的语言的客户端。Thrift Hive客户端用不同语言生成用于构建常用的驱动程序,如JDBC(java),ODBC(c++),以及用php,perl,python等编写的脚本驱动程序。

元数据存储(metastore)是系统目录。所有其他的Hive组件都和metastore有交互。

3.3 K-means算法介绍

k-means算法是最为经典的基于划分的聚类方法,它的基本思想是:以空间中k个点作为中心进行聚类,对最靠近它们的对象进行分类。通过迭代的方法,逐次更新各聚类中心的值,直到有良好的收敛[10]。假设要把样本集分为m个类别,算法描述如下:

(1)适当选择m个类的初始中心;

(2)在第k次迭代中,对任意一个样本,求其到m个中心的距离,将该样本归到距离最短的中心所在的类;

(3)利用欧式距离等方法更新每一个新类的中心值;

(4)对于所有的m个聚类中心,如果利用(2)(3)的迭代法更新后,值保持不变或者变化在可允许范围内,则迭代结束,否则重复(2)(3)步骤。

参考文献:

[1]杜鹃,沈铭思.大数据时代,让子弹飞[J].中国制衣,2013-02-05:12.

[2]胡善杰.数据挖掘算法并行化研究[J].电子世界,2012(12):67-68.

[3]都志辉.高性能计算之并行编程技术——MPI并行程序设计[M].北京:清华大学出版社,2006.

[4]王超鹏.基于云计算分布式数据挖掘算法研究[J].技术研发,2012:92-104.

[5]Dean J,Ghemawat S.MapReduce:simplified data processing on large clusters[C].Proceedings of Operating Systems Design and Implementation. San Francisco,CA,2004:137-150.

[6]付东华.基于HDFS的海量分布式文件系统研究与优化[J].北京:北京邮电大学软件工程,2012-05.

[7]江小平,李成华,向文,张新访,颜海涛.k-means聚类算法的MapReduce并行化实现[J].华东科技大学学报,2011-06(39):120-124.

[8]叶文宸.基于HIVE性能优化方法的研究与实践[J].南京:南京大学软件工程学院,2011.

[9]刘书楠.Thrift入门简介[J].YOUNG青年与社会,2013(1):228.

[10]崔丹丹.K-means聚类算法研究及改进[M].安徽:安徽大学计算机学院,2012-04.

[11]Xu X W,Jager J, Kriegel H P. A fast parallel clustering algorithm for large spaial databases[J].Data Mining aand knowledeg Discovery,1999,3(3):263-290.

第14篇

无论是设计或研究化学程序,均不是容易习得的技艺。化学程序用流程图来取代,不仅可以知道程序装置为何,而且也知道流体与能量是如何连接的。所谓程序的综合就是设计一种程序操作的顺序,以便将原料转化成产品,其中包括很多种方法,这些方法必须依据其安全性、可靠性、投资和操作成本,以及总利润等因素来加以比较,并则其最佳者。此时,这只是我们在脑海中的设计,并没有进行实际操作,因此我们也不可能知道操作的结果,我们就需要计算机的帮助,在计算机的帮助下,我们就可以提前预测工程设计的结果。

2计算机在化学工程中的应用

2.1建立数学模型

工程上的计算是以函数,尤其是数值函数为基础的。所谓数值函数就是说在函数的定义域中每一点x就可得位移的f{x}值,此值成为f在x处的值。例如,如何表示空气的cp{T,P}函数?我们可以利用计算机,输入程序,就会得到很精确的结果(表1)。除了上述问题,还有很多化学工程的数据处理的过程模拟,如:非线性方程求解、线性方程组的迭代求解、常微分方程数值解、偏微分方程数值解等等,都是先建立一个数学模型,然后带入计算机,最终得出一系列结果的。

2.2Office软件在化学工程中的应用

随着计算机的普及,越来越多的人把原本纸上的工作转移到计算机中去了。化学工程学科需要处理大批文档工作。譬如,化工论文的书写、化工文献的编辑、化工产品的说明,这些文档中常常会有大量的图表、公式、特殊符号,会话费人们大量的精力和时间,进而影响新信息的及时传播。有了Office中的Word软件,处理上述问题就方便多了。Word软件能够比较轻松地输入各种文档,还可以对文档进行多种编辑处理。编辑化工论文时经常用到的功能如:

(1)改变字体大小。

(2)随意设定版面。

(3)利绘图工具绘制实验流程图,并修改。

(4)利用公式编辑器编辑数学公式及化学反应式。

(5)可插入表格及页码。

(6)复制和删除方便。Excel工具的强大的分析数据功能可以将数据进行统计,然后将其规律性地展示出来。在处理化工数据时,我们可以利用Excel工具进行求平均值、自编公式计算等。

2.3Origin在化学工程数据处理中的应用

Origin是具有较强功能的实验数据处理软件。可利用Origin进行图形生成,我们可以在软件中输入实验后得到的数据,通过软件得到实验数据曲线图。图1为利用Origin工具绘制的实验数据图。通过图形或曲线,可以清晰明了地把大数据展示给他人,并从中发现数据之间的规律,以便更好地进行实验。

3结语

第15篇

关于移动通信论文参考文献:

[1]谢显忠等,基于TDD的第四代移动通信技术[M].电子工业出版社,2005.

[2]解梅,移动通信技术及发展[J].电子科技大学学报,2003,02.

[3]宋文涛、罗汉文,移动通信[M].上海交通大学出版社,1996.

[4]何林娜,数字移动通信技术[M].机械工业出版社,2004.

[5]吕昌春,李林园.移动互联网产业链平台竞争与电信运营商增值业务发展策略研究[J].邮电设计技术,2012(11):16-20.

[6]张洁.影响中国移动通信产业发展竞争力的因素分析[J].经济视角(下),2011(01):52-53.

关于移动通信论文参考文献:

[1]张洁.影响中国移动通信产业发展竞争力的因素分析[J].经济视角(下),2011(01):52-53.

[2]吕昌春,李林园.移动互联网产业链平台竞争与电信运营商增值业务发展策略研究[J].邮电设计技术,2012(11):16-20.

[3]刘文婷.以运营商为主导的移动互联网业务商业模式研究[J].中国工业经济,2012(08):66-74.

[4]冯文高.我国移动通信产业的竞争均衡分析[J].现代经济信息.2009(16)

[5]张洁.影响中国移动通信产业发展竞争力的因素分析[J].经济视角(下).2011(01)

[6]马云泽.我国移动通信产业的市场结构与规制改革[J].经济问题.2009(01)

[7]张平王卫东陶小峰《WCDMA移动通信系统》人民邮电出版社

[8]詹炳根,《工程建设监理》,中国建设工业出版社,1997

[9]谢坚勋浅谈工程监理与项目管理接轨建设监理2004(2)

关于移动通信论文参考文献:

[1]赵刚.大数据:技术与应用实践指南[M].北京:电子工业出版社,2013.

[2]漆晨犧.电信企业大数据分析、应用及管理发展策略[J].电信科学,2013(3):12-16.

[3]刘洁,王哲.基于大数据的电信运营商业务精确运营平台的构建化[J].电信科学,2015,29(3):22-26.

[4]张俊.移动通信网络中大数据处理的关键技术研究[J].电信网技术,2014(4):10-12.

[5]康波,刘胜强.基于大数据分析的互联网业务用户体验管理[J].电信科学,2013,29(3):32-35.

[6]谢华.大数据在移动通信中的应用探讨[J].科技创业家,2014(1).

[7]夏磊.探巧大数据下的智能数据分析技术[J].科技创新导报,2014(10):21.

[8]侯优优,隋化严.网络优化中的大数据应用[J].互联网天地,2014(l):34-37.

[9]刘震,付俊辉,赵楠.基于移动通信数据的用户移动轨迹预测方法[J].计算机应用与软件,2015,30(2):10-13.