大数据专题培训心得体会
编辑:武汉大学 时间:2019-07-24 16:18
为期五天的“云计算和大数据技术及其应用高级研讨会”已经结束。作为一名学生,我在这五天里听取了王家耀院士、郭殿生教授、郑宇研究员等人的研究报告。我对云计算、大数据和互联网以及相关概念和技术有更深的理解。我对它们在各个领域的应用有了进一步的了解,拓宽了我们的思路。它将极大地促进我们对云计算和大数据的研究,教授云计算和大数据,并在随后的科研和教学工作中使用云计算和大数据。接下来,我将简要介绍我对云计算和大数据的理解,以及如何使用相关技术为我的工作服务。
1.云计算
云计算是一种基于互联网增加、使用和提供相关服务的模式。它通常包括通过互联网提供动态可扩展的虚拟化资源。它还没有一个统一的概念。美国国家标准与技术研究所(NIST)将云计算定义为一种按使用付费模式,它提供可用、方便、按需的网络访问以及对可配置计算资源共享池(资源包括网络、服务器、存储、应用软件、服务)的访问。这些资源可以通过很少的管理工作或与服务提供商的交互来快速提供。云计算(CloudComputing)是分布式计算、并行计算、实用计算、网络存储、虚拟化、负载均衡、高可用性等传统计算机和网络技术的集成产品。
2006年8月9日,谷歌CEO埃里克·施密特(EricSchmidt)在搜索引擎大会(SESSanJose2006)上首次提出“云计算”的概念。它一出现就引起了各方的关注:2007年10月,谷歌和IBM开始在美国大学校园推广云计算;2008年2月1日,国际商用机器公司(纽约证券交易所:国际商用机器公司)宣布将建立世界上第一个云计算中心(CloudComputingCenter);面向无锡太湖新城科教工业园的中国软件公司。2008年7月29日,雅虎、惠普和英特尔宣布了一项涵盖美国、德国和新加坡的联合研究计划,推出云计算研究试验台来推广云计算。2010年7月,美国宇航局和包括Rackspace、AMD、英特尔和戴尔在内的支持公司联合宣布了“开放堆栈(OpenStack)”开源计划。云计算的核心与效用计算和网格计算非常相似。人们还希望信息技术能像电一样方便,成本低。截至2014年,云计算需求达到一定规模,技术基本成熟。目前,云计算的研究和应用主要体现在以下几个方面:云内容关联、云安全、云存储、云游戏、云计算等。
云计算包括基础设施即服务(IaaS)、平台即服务(PaaS)和软件即服务(SaaS)三级服务,涉及编程模式、海量数据分布式存储、海量数据管理、虚拟化、云计算平台管理等流行技术,是目前最流行的技术词汇。当然,云计算也存在一些问题,如数据隐私、数据安全、用户使用习惯、网络传输问题、缺乏统一的技术标准等。
2.大数据
简而言之,大数据是指在可承受的时间范围内无法用传统软件工具捕获、管理和处理的数据集合。这是一项庞大、高增长和多样化的信息资产,需要一种新的处理模式来拥有更强的决策、洞察和发现能力以及流程优化能力。大数据技术的战略意义不在于掌握大量数据信息,而在于对这些有意义的数据进行专门处理。关键在于提高数据的“处理能力”,通过“处理”实现数据的“增值”。大数据的特点是容量大、类型多、速度快、可变性强、真实性和复杂性高。其价值在于:为大量消费者提供产品或服务的企业可以利用大数据进行准确的营销;中小而漂亮的长尾企业可以利用大数据进行服务转型。在互联网压力下必须转型的传统企业需要与时俱进,充分利用大数据的价值。
大数据需要特殊的技术来有效地处理大量能够容忍时间的数据。适用于大数据的技术包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展存储系统。大数据和云计算之间的关系就像硬币的正反两面一样不可分割。大数据不能由一台计算机处理,必须采用分布式架构。它的特点是对海量数据进行分布式数据挖掘,但必须依赖云计算、分布式数据库、云存储和虚拟化技术的分布式处理。
为了加快大数据产业的发展,国务院于2015年9月发布了《促进大数据发展行动计划》(Action?Plan?for?Promoting?the?Development?of?Big?Data),该计划呼吁大力推进政府部门间的数据共享,稳步推进公共数据资源的开放,协调大数据基础设施建设,支持科学的宏观调控,提高政府治理的准确性,提高商业服务的便利性,提高安全效率,加快民生服务的普及。发展大数据在工业、新兴产业、农业和农村的应用,促进大数据发展与科研创新的有机结合,推动基础研究和关键技术研究,形成大数据产品体系,完善大数据产业链;完善大数据安全体系,增强安全性。在此基础上,未来5-10年,将建立精确治理、多党合作的社会治理新模式,建立稳定、安全、高效的经济运行新机制,构建以人为本、以人为本的民生服务新体系,启动创新驱动的公共创业创新新模式,培育高端智能、新兴、繁荣的产业发展新生态。
4.云计算与大学大数据
在当今时代,云计算和大数据已经成为时代的需要。在这种趋势下,高校作为直接的人才培养机构,应该率先研究和利用大数据。
(1)针对性教学。当大数据应用于课堂教学时,最大的影响可能是我们能够关注每个学生的微观表现。大数据技术的应用不仅可以获得学生在课堂上的表现和行为,还可以对学生在课堂学习过程中的行为、情感态度等进行全面的分析,从而获得学生学习的优缺点和对学习的态度。如果大数据技术能够广泛应用于课堂教学,那么我们就有可能在课堂上进行有针对性的教学。
(2)开放式教育。近年来,越来越多的网络教育和大型开放式网络课程应运而生,这也使得大数据在教育中的应用更加广泛。专家指出,大数据将带来一场新的教育革命,例如改革学生的学习、教师的教学以及制定教育政策的方式方法。
(3)大数据考试。教育中大数据分析的最终目标是提高学生的学习成绩。学生作业和考试中的一系列重要信息经常被我们的常规研究所忽视。通过分析大数据,我们可以找到这些重要信息,并利用它们为提高学生成绩提供个性化服务。与此同时,它还能改善学生期末考试的成绩、平时的出勤率、辍学率、升学率等。测学生是“如何”考试的能让研究者有效定型学生的学习行为。大数据要求教育者超越传统,不仅仅追求正确的答案。学生如何努力找到正确的答案同样重要。在一次考试中,学生和所有人在每个问题上花费了最长、最短、平均和之前的时间。学生们受益于哪些问题得到了正确或错误回答的线索。教育者通过监控信息和形成数据文件,可以了解学生学习的全过程,从而掌握学习内容,帮助他们提供个性化的学习模式。
现在,大数据分析已经在美国的公共教育中得到应用,创建了一个“学习分析系统”(learning?analysis?system)——数据挖掘、建模和案例应用的联合框架,成为教学改革的重要力量。“学习分析系统”旨在为教育者提供更多、更好、更准确的学生学习信息。例如,一个学生的糟糕表现是因为他对周围环境的分心吗?期末考试不及格是意味着学生没有完全掌握这学期的学习内容,还是因为他请了很多病假,使用大数据的学习分析可以为教育者提供有用的信息,从而帮助他们回答这些没有得到很好回答的实际问题。
教育工作者和研究人员开发了五种从大数据中提取价值的主要技术:预测——感知预期事实的可能性。聚类——发现自然集中起来的数据点。相关性挖掘——发现各种变量之间的关系,并对其进行解码以便今后使用它们。升华人的判断——建立可视的机器学习的模式。用模式发现——用大数据分析开发的模式进行元学习。这些技术的实施可以创建一个学习分析系统,支持通过大数据提高学生的成绩。研究人员认为,这些技术将帮助教育者更有效地引导学生走向更加个性化的学习过程。