3.1 建设目标
该项目从扬州工业职业技术学院当前的建设现状出发,即首先解决数据孤岛和数据质量问题。通过全量数据治理工作的开展,大大改善当前存在的数据体系问题。保证扬州工业职业技术学院对于核心数据资产的沉淀和利用。在此基础上构建统一的全量数据中心平台,构建对于业务系统数据、日志数据、线下文本数据、外部互联网数据等多维数据的“可采、可管、可通、可用”的全链路数据能力,通过可视化、低门槛的平台软件让扬州工业职业技术学院掌握对于以上高价值数据处理和利用的手段。同时也可为今后所有的信息化应用建设提供便捷、易获取的数据服务,从而加快信息化建设步伐、降低数据对接成本、提升信息化服务水平,进一步实现大数据建设对智慧校园运转的支撑作用。
基于全量数据中心平台,重点建设大数据全景领导驾驶舱应用,实现数据资产的直观化和可视化,充分挖掘数据价值、释放数据红利,以精准的分析应用为学校的校务治理工作提供辅助手段。
3.2 建设方案
1.实现现有校内高价值数据的全量采集,对于已有业务系统(含现有数字化校园数据共享库)主动进行数据采集、对于新建业务系统,协助学校制定相应规则,更好的为数据采集提供便利;对于包含行为信息的日志数据进行分布式采集,实现扩展数据分析的维度,为未来的行为分析等场景提供可用的数据源;对于部门线下维护的表格数据进行统一采集,为诊改等场景提供数据源补充。通过对于几类数据的全面采集,避免以往出现的共享库数据不全、数据种类不够等情况,实现校内数据资产的统一归集。
2.实现校内数据的全量治理,针对以上采集的几大类数据,分别开展对应的治理方案,建设学校全量数据仓库。并结合学校组织架构、权责分配等情况,建立起一套可持续的数据治理体系,不断提升数据的可用性,为各类信息化业务和大数据分析主题提供完整的、高质量的数据源。通过数据治理工作,应能够解决信息孤岛和各类数据问题,实现由分散、混乱的原始数据资源到统一、标准、高质量的数据资产的转变。具体包括:针对业务数据,全面梳理数据关系,通过部门调研访谈确立学校权威数据标准、数据流向等顶层设计,并针对全量采集的业务数据进行标准化清洗治理,生成结构清晰、使用便捷的数据集。针对待建或未建系统,提供准入规范和对接方案,实现业务数据的不断扩充;对于海量非结构化日志数据,需要实现监听采集、分布式存储、结构化解析清洗等处理过程,将日志转换为清晰可用的结构化数据。根据分析应用需求,对原始日志之间、原始日志与业务数据之间进行数据关联处理,扩展分析维度。根据学校业务特性,定义各日志数据的计算方法、调度方式和输出结果,形成对应的日志数据集;对于离线表格数据,需提供完整的解决方案,实现从线上表结构定义、权限分配到部门上传、转换至数据库的全流程可推行方案。同时对于部署在云端的系统,提供对接和数据采集清洗方案,让数据可以保存到本地进行利用。
数据全量治理工作结束后,应能够实现对于未来建设的教师发展中心、学生成长中心、诊改等业务场景所需要的数据源进行快速供给,降低数据对接的工作量和难度;同时实现对于原有共享数据平台交换任务和接口的迁移;对于未来新建设的系统,具备从标准规范制定、数据准入规范制定、数据全量采集抽取、数据集中治理、数据共享交换等全流程的数据接入和共享,从而帮助学校构建和完善未来新建业务系统的数据准入制度。
3.建设全量数据中心平台,构建对于校内多种类数据的统一“采集、治理、处理加工、开放、管控”的共性能力平台。需要分别针对业务数据、日志数据、表格数据提供自动化/半自动化的治理平台,降低对于数据库语言或 Hadoop 组件的依赖,通过可视化界面即可实现对于几大类数据的采集、处理工作,为学校提供自主数据治理的能力。同时针对于上层所有的数据需求,提供统一的线上数据管理和开放管理平台,不仅能够实现数据治理成果的复用,也能够实现对于底层技术细节的屏蔽,从而让学校智慧校园生态中的用户群体都能够便捷地获取到各类数据服务,提升学校信息化建设的效率。
4.建设基于全量数据中心平台的大数据分析应用,以大数据全景领导驾驶舱为核心建立统一数据分析应用架构,能够涵盖学校当前重点关注的校情内容,实现数据资产的直观化和可视化,并能够促进业务的优化。挖掘数据价值、释放数据红利,也能够进一步提升项目建设的价值。大数据分析应用应能够实现集成未来建设的教师发展中心、学生成长中心、诊改平台等包含的分析展现页面,实现统一入口、统一接入架构、统一使用体验。