《互联网数据采集》课程标准.pdf

该【《互联网数据采集》课程标准 】是由【青山代下】上传分享，文档一共【12】页，该文档可以免费在线阅读，需要了解更多关于【《互联网数据采集》课程标准 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:..《互联网数据采集》课程标准一、课程名称互联网数据采集。二、适用专业大数据技术应用专业。三、课程学时与学分72学时,4学分。四、课程性质本课程是大数据技术应用专业的一门专业核心课程,是从事数据采集工程师、数据分析师等岗位必须学****的课程,将为后续学****数据清洗与预处理》、《数据可视化》、《大数据分析》、《大数据ETL》等课程奠定基础。本课程开设在第3学期,学****该课程之前需具备一定的Python编程、数据库操作能力,《大数据基础》、《计算机网络技术应用基础》、《Python程序设计基础》、《web前端技术应用》是该课程的前导课程。本课程学****的知识和技能可以为第4学期考取数据采集X证书(初级)做知识和技能准备。五、课程目标通过本课程的学****能完成热点舆情数据采集任务、农产品营销数据采集任务、招聘网站数据采集任务、农作物监控数据采集任务,达到以下具体目标:(一)、爱国主义情操、家国情怀。(培养规格1),了解大数据产业文化,遵守国家数据相关法律法规,具备社会责任感和担当精神。(培养规格3),防范信息泄露,保护数据安全。(培养规格6)、数字化素养,具有较强的逻辑思维能力。(培养规格8),拥有较为清晰的职业与人生目标以及较好的职业生涯规划能力。(培养规格2):..,能适应大数据行业的不断变革发展,具备解决实际问题、持续学****的能力,能从事实际的数据采集工作,具有较强的规划观念、精益求精意识。(培养规格5)(二)。(培养规格13)。(培养规格7)、数据采集的类型和主要实践工具,掌握互联网数据采集的流程。(培养规格13),熟悉HTML语言的常用标签。(培养规格13),掌握HTTP协议的GET、POST请求。(培养规格11),掌握使用正则表达式匹配字符串的方法。(培养规格11),了解JavaScript的工作机制。(培养规格11)。(培养规格11)、requests库、Pandas库、JSON库BeautifulSoup库的安装、配置和使用方法。(培养规格11),掌握处理动态数据采集的方法。(培养规格13),根据反爬手段制定相应的反爬虫策略。(培养规格13),基于处理数据绘制简单的可视化图形。(培养规格17)(三),规划数据采集顶层设计,制定相数据采集策略。(培养规格13)。(培养规格13),完成多种类型的数据采集任务。(培养规格13)。(培养规格16),提供解决方案。(培养规格17)、解决互联网数据采集项目中的技术问题,能够快速准确参考技术资料帮助解决问题。(培养规格13)1/14:..、项目实施文档以及相关技术文档。(培养规格3)、开发以及测试等工作。(培养规格13)(初级)的能力。(培养规格13)六、课程内容与要求本课程以各种不同类型的数据采集任务为载体,坚持立德树人的根本要求,结合学生学****特点,遵循职业教育人才培养规律,落实课程思政要求,有机融入思想政治教育内容,紧密联系工作实际,突出应用性和实践性,注重学生职业能力和可持续发展能力的培养。合理设计:学****单元、能力点、学****内容与要求。本课程按照知识难度和工艺流程从简单到复杂,技能水平从单一技能到综合技能、技术沿革从传统技术到智能技术的规律确定学****单元的编排顺序,合理序化教学内容。学****单元1、2、3、4在知识体系上是并列关系,在难易度上是递进关系。。网站的页面结构。。的数据加载过程。的数据协议格式。,的基础知识。份。找到目标数据位置。。成目标数据的采集与存储。法。。,注意不侵犯他人肖像权、保障他人隐私,爱岗敬业、德技并修。:..求分析报告、总结实施报告。范。报告1份。、分类标签多页面、多页人员工具分析浏览据集1份。页面数据采集的流程规则。器渲染页面、。告1份。。、多页网页数据项目目标的关联性,并提出的采集规则。合理的解决方案。。划可视化看板解决方案。。。。、源RequestsHTTP请析分析报告1份。码、网络数据加载流程。求、状态码与编码、。头、设置超时的方及制定相应的爬取策略。法。、匹配态、动态数据的方法。招聘网站数据字符串的规则。、Xpath语言以及Python的基础语法,与网第三方库BeautifulSoup等页标签的对应关系。。BeautifulSoup库的BeautifulSoup对象、对象类型、遍历文档树、搜索3/14:..文档树的使用方法。、JSON对象的转换方式。,报告1份。析。。测试程序1份。口调用,。感器的工作原理及集1份。,快速搭建用方式。Web服务。、字段含义。。。,与团队保持顺畅沟通据采集第三方库交流。requests库处理数据API的方式。。,掌握基于边缘设备的数据采集技术。七、课程实施(一):具备优秀的专业课教学开展与组织能力,掌握计算机网络技术、Python编程能力、网络爬虫使用能力,能够以情境任务要求爬取数据。4/14:..知识结构:了解数据采集工程师的各项职业岗位要求;在专业领域中,具备数据采集、数据预处理等较为深入的专业知识背景。资质:具备中职学校专业课任教资格和企业实践经历。:企业优秀讲师或行业企业专家,具备有3到5年的数据采集相关行业从业经验,参与过多个数据采集项目开发过程,具有较强的专业技能,具备良好的专业课教学开展与组织能力,具备优秀的Python编程能力,精通网络爬虫,掌握数据数据采集实战工具,能够以情境任务要求采集数据。知识结构:在行业领域中,深入了解数据采集工程师的各项职业岗位要求;在专业领域中,具备数据采集、数据预处理等深入的专业知识背景。资质:具备数据采集相关行业从业背景和企业工作经历。(二),选择教室、校企合作实****实训基地、实训设备等进行教学。(1)实训场地:大数据开发测试实训室;(2)实训设备:台式计算机40台、服务器1台,满足互联网数据采集的要求。,能够同时满足50名学生进行实****实训。能够满足学校教师、企业专家共同办公,满足专业人才学徒制人才培养要求,符合企业研发、生产要求。本校外实训基地具备如下条件:(1)联想组织机构健全,领导和工作(或技术)人员素质高,管理规范,在新一代信息技术领域发展前景好。(2)基于联想“端-边-云-网-智”技术框架下,其研究方向与经营的业务与本专业对口,且联想属于世界五百强企业,社会形象好。(3)符合学生专业实****实训条件,并且能够满足学生顶岗实训一个月以上。(4)有相应的技术人员担任实训指导教师。(三),符合党和国家的方针和政策,能运用辩证唯5/14:..物主义和历史唯物主义的观点阐述本课程的基本规律的原则选择教材。教材必须符合本课程教学大纲的要求,符合学生层次的实际,教材内容的阐述要循序渐进,富于启发,有利于对学生能力和素质的培养。充分考虑教材的变动与更新,保证教材内容有用、新鲜和实用。为保证教学质量,优先选择国家规划教材。《数据采集技术(初级)》按照数据采集的开发流程介绍了数据采集各方面的技术,涵盖了从事互联网数据采集工作所要求的实践技能,作为主要教材;《数据采集技术》逐层深入,从数据采集的知识、技术等角度提供了阶梯式的知识内容和技术,满足不同层次的教学需求,作为辅助教材。两本教材相辅相成有助于同学们提高互联网数据采集的实战能力,在教材内容基础上也可以结合学****单元自主开发模块化教材,包括活页式工作页、学****页、评价表等,同时也可采用校企合作资源库课程资源包。《数据采集与预处理》、《Python3网络爬虫开发实战》等图书可用于学生课余时间巩固课堂所学知识技能,拓展视野,有助于学生加强理解互联网数据采集的流程,提升互联网数据采集实践工具的操作能力,对于本课程扎实理论基础,拓展实践技术技能有辅助作用。亦可用于专业教师教科研等工作的开展,方便师生查询、借阅。(四)教学方法面对新的教学变革,采用线上线下混合式教学模式组织教学,在教学中渗透理实一体化、思政育人的教学理念。该课程是大数据技术应用专业核心课程之一,在教学的过程中应注重锻炼学生的实操能力为主,把互联网数据采集的知识技能融入到课程的实操训练当中,通过本门课程的学****学生能够完成主流的互联网站点数据采集等任务。在教学过程中采用:讲演法、任务驱动法、项目教学法、案例分析法等教学方法,辅以餐垫法、工作站法、展览馆法等特色的教学组织方式,提升学生自主探究、合作学****的意识,培养良好的学********惯;在每个学****单元,学生进行自主探究学****与小组合作讨论学****加强操作训练;以企业生产过程中实际的工作任务作为案例,在实践中引导学生学会分析问题、解决问题。在教学过程中应充分利用实训环境,按照行动导向六步骤,采用任务驱动法等教法,引导学生开展自主、探究、合作的学****活动,在实践中引导学生学会分析问题、解决问题。通过教师示范操作,强调岗位标准,强化学生的职业规范,提升学生使用数据采集工具完成数据采集任务的实操能力,提高学生自主探究的能力,逐步养成严谨科学的职业****惯。在解决问题的过程中,学生养成耐心、细致、精益求精的工作态度,强化学生的质量意识。本课程在课堂上除了板书讲解等教学手段外,还采用多媒体教学课件、学****网站、视频演示、6/14:..模拟系统,职教云平台等现代化教学手段,使用了大数据、人工智能、虚拟仿真实训等信息技术,以提高学生的学****兴趣、拓展学****方法,使学生可以有更多的途径获取知识和技能。(五)教学评价严格落实培养目标和培养规格要求,围绕大数据技术应用专业的人才培养目标,通过教师、企业、学生三个评价主体从核心素质、关键知识、综合能力、实践成果四个维度,通过课堂评价(占比20%)、项目评价(占比50%)、课程评价(占比30%)三种形式收录反映学生成长过程和发展水平的描述与实证材料,全面评价学生综合素质,客观反映学生的个性差异和特长,突出评价对学生全面发展的促进作用。(20%):通过教师评价、学生互评、学生自评三个主体侧重核心素质的评价。课堂评价采用线上线下混合评价方式,借助职教云、雨课堂、云班课等信息化平台对学生在课堂上的学****过程、互动情况等展开评价,结合学生自评、互评等多种评价方式,利用数字信息化直观展示学生的整体情况,让教师在课程中帮助学生更清晰的认识自己。学****笔记的检查20%(学生将学****笔记在规定时间内拍照上传信息化平台):评价标准为四级式:A、B、C、D,要求完整、字迹工整、有重点、难点的标记。学****材料的保存15%(教师线下课堂检查):评价标准为四级式:A、B、C、D,要求完整、字迹工整、有错误工作页进行了正确的修改。教师评价40%(借助信息化平台开展评价):学生出勤(10%)、学****成果展示(10%)、学****过程表现(师生互动、课堂练****随堂测试等)(10%)、实操(10%)。学生互评15%:组内其他同学的评价(10%),组外同学的评价(5%)。学生自评10%:自己对自己的评价。(50%):阶段测评项目评价以小组为单位,进行综合素质评价及每一个项目作品成果评价,针对每一个项目,累计各个工作阶段实施评分、素质评分、项目成果评分,将评分数据由学****平台进行统计,最终项目结束后按照评分公布优秀项目组,学生素质通过多维能力雷达图展示,实现学生的增值性评价,学生养成职业认同感。其中《素质评分表》如下表所示,每个项目素质评价内容相同,各项目评价考核表详见附件1《项目评价考核明细表》,每个项目考核内容不同。(30%):期末考试理论考试(30%):试卷,从试题库中抽取100分的试题进行考核,试题类型有主观题:7/14:..80%,填空题、选择题和判断题组成;客观题:20%,简答题、论述题。考核时间为:90分钟、闭卷。考核内容为:学****内容中涉及到的所有内容,重点为技术类要求掌握的知识以及其它能够用试卷考核的内容。项目测试(70%):为学生提供4个真实案例项目,每个小组随机抽取一个工作项目,并且按照任务书的要求完成1个完整的工作项目。考核时间:6节课。前四节课为项目制作,最后两节课为项目结果说明展示。考核人员:企业员工和专业教师组成。考核内容:数据中心私有云平台管理,数据中心私有云平台部署,数据中心私有云平台资源分配,数据中心云主机派发。重在考核学生通过运用综合能力,做出的实践成果,详见附件2《互联网数据采集》课程综合评价表。附件1:项目评价考核明细表1、考核项目1——热点舆情数据采集考核项目1——热点舆情数据采集采用过程性评价,考核评价表如下表所示:考核项目1——热点舆情数据采集考核评价表班级:姓名:学号:考核项目1热点舆情数据采集自我评小组评教师评序号评价标准分值价30%价30%价40%1能快速从网页页面中定位目标数据位置。102能独立下载安装八爪鱼数据采集工具。103能准确使用八爪鱼的自定义采集模式204能成功启动八爪鱼的自定义数据采集任务。205能准确将采集数据从八爪鱼导出到本地。20能独立撰写页面结构分析报告、八抓鱼使用步骤620手册。合计1008/14:..、考核项目2——农产品营销数据采集考核项目2——农产品营销数据采集采用过程性评价,考核评价表如下表所示:考核项目2——农产品营销数据采集考核评价表班级:姓名:学号:考核项目2农产品营销数据采集自我评小组评教师评序号评价标准分值价30%价30%价40%1能快速总结呈现数据采集项目的实施流程。5能独立使用浏览器开发者工具分析页面加载数据的25方式。3能快速使用八爪鱼完成单页数据采集。104能准确使用八爪鱼完成多页数据采集。20能成功使用Python第三方库完成商品定价数据的采520集。能成功存储采集的数据,并熟练使用Pandas对数据620进行清洗。7能成功搭建可视化看板108能独立撰写项目需求分析报告、项目总结实施报告。10合计1003、考核项目3——招聘网站数据采集考核项目3——招聘网站数据采集采用过程性评价,考核评价表如下表所示:考核项目3——招聘网站数据采集考核评价表班级:姓名:学号:考核项目3招聘网站数据采集/14:..自我评小组评教师评评价标准分值价30%价30%价40%能快速下载安装用于项目的Python第三方库,并110输出安装成功信息。能准确展示项目中正则表达式的构成,成功输出210匹配结果。能成功展示Xpath语句与目标数据页面位置的对310应关系。能快速使用Python编写程序抓取目标网页。420能熟练使用BeautifulSoup解析目标网页,输出520目标结果。能准确展示JSON格式数据的转换流程,能列举620JSON对象与Python数据结构的转换方法。能独立撰写网页页面解析报告。710合计1004、考核项目4——农作物监控数据采集考核项目4——农作物监控数据采集采用过程性评价,考核评价表如下表所示:考核项目4——农作物监控数据采集考核评价表班级:姓名:学号:考核项目4农作物监控数据采集自我评小组评教师评序号评价标准分值价30%价30%价40%1能成功配置服务器和监控设备的网络环境。15能快速编写测试程序,完成与监控该设备数据接215口的通信。3能快速在服务器端搭建Web服务。204能成功编写Python程序接收数据接口推送的数30/14:..能快速将服务器端硬件设备推送的数据保存到本510地。6能独立撰写传感器数据分析报告。10合计100/14