大数据分析应用
专项职业能力考核规范
一、定义
运用计算机及相关软件，具备对各种类型的大数据进行数据建模、管理，数据分析、数据探索和数据可视化等能力。
二、适用对象
运用或准备运用大数据分析能力解决实际问题的求职、就业人员。
三、能力标准与鉴定内容
| 能力名称：大数据分析应用 职业领域：大数据分析 | |||
| 工作任务 | 操作规范 | 相关知识 | 考核比重 |
|
（一） 操作系统及服务安装部署 |
1.能安装服务器Linux操作系统CentOs.Redhat.Ubuntu） 2.linux下磁盘RAID.分区.挂载.创建操作系统 3.能在windows.linux下安装.配置防火墙.selinux.免密登陆 4.能安装apache.nginx.php.python.jdk.tomcat.hadoop.spark.等服务并使其正常运行以及系统自启动 5.能在linux上进行文件管理.系统运行库配置.管理.查错 |
1.操作系统基础知识及安装步骤操作 2.磁盘RAID、分区、磁盘卷管理相关知识和指令 3.yum.rpm等形式的软件下载.安装指令，系统服务配置指令 4.基本的防火墙知识和配置 5.shell脚本知识 6.大数据基础组件如的安装、配置、状态监控等知识 |
10% |
|
（二） 服务安装、管理和操作 |
1.能在Linux上安装常用MySQL.HBase.Hive.Redis.图数据库等数据库系统 2.能够配置MySQL.HBase.ElasticSearch.Hive.Redis.图数据库等系统，保证其正常的启动和停止 3.MySQL.HBase.ElasticSearch.Hive.Redis.图数据库等常用数据库的系统配置，包括缓存设置.线程设置.连接设置等 4.MySQL.HBase.ElasticSearch.Hive.Redis.图数据库等数据库的基本管理，包括数据库的创建.删除.修改，用户和角色的创建.删除.修改，用户和角色权限的设置 5.能够通过HBase API.ElasticSearch.HiveSql.SparkSql.Impala-Sql语句实现表的创建.删除.修改等数据定义操作 6.能够通过HBase API.ElasticSearch.HiveSql.SparkSql.Impala-Sql语句实现数据的增加.删除.修改.查询等基本操作，能够通过SQL语句实现子查询.拼接查询.合并查询.排序.去重等复杂查询 7.能掌握基本的HBase.Hive.ElasticSearch.Mysql.Redis数据库的调优方法，spark.impala的调优方法 |
1.数据库基础知识及安装MySQL.HBase.ElasticSearch.Hive.Redis的步骤操作 2.MySQL.HBase.ElasticSearch.Hive.Redis数据库服务配置知识 3.MySQL.HBase.ElasticSearch.Hive.Redis的数据库系统参数含义及用途 4.MySQL.HBase.ElasticSearch.Hive.Redis的的系统管理指令 5.HBase.ElasticSearch.redis常用指令； 6.Mysql.Hive.sparksql.impala的DDL SQL语句 7.Mysql.Hive.sparksql.impala的DML SQL语句 8.HBase.表结构设计.分区设计.二级索引设.ElasticSearch.Mysql.Hive表结构设计.索引.分区设计.SQL执行计划分析及优化 |
10% |
|
（三） 数据获取 |
1.能从结构化数据库采集数据到新的数据存储引擎中 2.能从消息中间件kafka/MQ中采集数据到新的数据存储引擎中 3.能从应用系统中采集数据到新的数据存储引擎中 |
1.基本的ETL工具使用 2.通过CDC技术从结构化数据库采集增量数据 3.基于SparkStreaming.Storm.Flink其中一种从消息中间件中采集数据 4. Flume.Sqoop等数据采集框架知识 |
10% |
|
（四） 数据加工、清洗、整合 |
1.能进行数据的清洗，将不符合规则的数据进行修正、标注、清晰 2.能将数据按照规则转换成不同的格式 3.能将来自不同数据库.不同表的数据加工成一张统一的大表 4.能将清洗.转换.整合后的数据导入新的存储引擎中。 5.能提取数据中实体关系属性信息导入到图数据库引擎中。 |
1.基本ETL工具的使用，能够利用kettle进行excel.关系型数据库.大数据库.kafka之间的数据清洗.转换.整合 2.基于SQL语句.类SQL语句.公式的数据过滤.数据转换.数据整合 3.基于spark或mapreduce程序的数据过滤.数据转换.数据整合 4.将过滤.转换.整合后的数据导入到大数据存储引擎中，如ElastiSearch.HBase.HDFS.Kudu等 5.熟悉一种图数据库的实体关系创建.数据导入.更新 |
20% |
|
（五） 元数据管理 |
1.能为来自不同的数据源建立元数据，描述数据 2. 能基于原始数据创建新的逻辑数据源，实现数据的统一加工 3. 能基于原始数据创建数据控件，用于过滤数据和数据显示 4. 能基于原始数据创建定制数据格式化元素，用于对数据进行用于不同可视化目的加工 |
1.基于统一的数据整合分析平台，为每个数据库的物理表或者逻辑视图创建和管理物理表元数据 2.创建和管理逻辑表元数据 3.创建和管理物理字段元数据 4.创建和管理逻辑字段元数据 5.创建和管理数据常量控件 6.创建和管理可视化数据类型 |
20% |
|
（六） 数据分析 |
1.数据模型设计.实现 2.基于各种规则.公式的数据过滤 3.基于各种规则.公式的数据列输出配置 4.数据的分类统计，基于等间隔.固定数量.定制的范围分类统计 5.基于各种规则.公式的统计后数据过滤 6.基于各种规则.公式的结果排序 7.基于各种规则.公式的数据范围控制 8.基于各种规则.公式的模型数据结果的二次加工.清洗.转换 9.数据透视模型的设计与实现 10.数据模型的固话，将数据模型实现串联.并联，创建复杂数据模型 11.数据模型计算形式.快照的设计与实现。 |
1.基于统一的大数据分析平台配置数据的过滤.清洗 2.基于统一的大数据分析平台配置各种形式的值和范围统计，各种形式的灵活日期范围统计 3.利用数学及统计学相关基础知识进行数据分析 4.熟练掌握spark.mapreduce.impala等大数据计算框架，通过Python.Java.Scala.R等语言进行数据统计分析 5.数学表达式.条件表达式.逻辑表达式的编写和调试 6.数学.时间.字符.逻辑等公式的编写和调试 7.数据透视表的配置.使用和理解 8.不少于一个行业的业务理解和积累，熟悉行业知识，有自己独到的见解 9.数据思维，基于任何数据都可以发现背后的规律和价值，对数据有较好的洞察力 10.掌握数据分析基本原理与一些有效的数据分析方法（如对比分析法.分组分析法.交叉分析法.结构分析法.因素分析法.矩阵关联分析.相关性分析.回归分析.聚类分析.主成分分析法），并能灵活运用 11.用户画像.用户经营分析.用户行为分析.精准营销等大数据应用的实践经验 |
30% |
（一）申报条件
达到法定劳动年龄，参加过本专项职业能力培训或从事本专项工作并具有相应技能者均可报名参加。
（二）考评员构成
考评员应具备一定的大数据分析专业知识及实际操作经验；每个考评组中不少于3名考评员。
（三）鉴定方式
技能操作考核采取实际操作考核，考核时间为120分。专业基础知识采用笔试，考核时间为120分。
（四）鉴定场地要求
具有计算机网络系统等教学设备和软件的教室,并且符合“专项职业能力考核（信息类）机房基本要求”。
数据网络安全
专项职业能力考核规范
一、定义
运用数据网络安全专业技术使受保护环境中的硬件、软件及数据受到保护，不受偶然或者恶意的原因而遭到破坏、更改、泄露的能力。
二、适应对象
运用或准备运用本项能力求职、就业的人员。
三、能力标准和培训内容
| 能力名称：数据网络安全 职业领域：数据网络安全 | |||
| 工作任务 | 操作规范 | 相关知识 | 考核比重 |
|
（一） 网络安全相关法律法规 |
能够熟悉国家政策要求和网络安全相关法律发规 |
1.《网络安全法》 2.《计算机信息网络国际联网安全保护管理办法》.《GB/T 22239-2019 信息安全技术网络安全等级保护基本要求》等 |
10% |
|
（二） 主机安全技术操作 |
1.本的安全配置与管理； | 操作系统基础知识 | 10% |
|
（三） 网络安全技术操作 |
1.能够了解计算机网络安全知识。 2.能够熟悉防火墙的原理及基本使用方法； 3.能够了解常见的网络安全攻击方式。 |
1.计算机网络基础知识 2.防火墙原理与技术 3.常见网络攻击基础知识 |
15% |
|
（五） 可信计算环境 |
能够熟悉国家对可信计算的技术要求 |
1.可信安全计算环境解读。 2.基于可信计算技术构建安全可信计算环境。 |
15% |
|
（六） 数据安全技术操作 |
1.能够熟悉数据安全隐患的识别 2.能够了解数据安全相关技术及工具 |
1.云计算、大数据场景下数据安全知识 2.基于数据安全架构的评估依据 3.数据安全的加密、静态动态脱敏、去标识化等方法。 4.数据安全常见的技术工具 |
30% |
|
（七） 隐私保护理念与实践 |
1.掌握国家对隐私保护的政策要求和法规 2.能够熟悉隐私信息的检查工具使用 |
1.国内外隐私保护法律法规、隐私保护技术 2.隐私信息数据检查相关政策以及方案解读 3.隐私信息数据检查工具功能以及使用 |
10% |
|
（八） 管理安全 |
1.能够明确网络安全和信息化操作的管理机构或部门，确定各岗位的安全管理职责 2.能够制定网络安全管理流程及管理制度。 |
1.管理安全基础知识 2.安全管理制度体系 |
10% |
（一）申报条件
达到法定劳动年龄，参加过本专项职业能力培训或从事本专项工作并具有相应技能者均可报名参加。
（二）考评员构成
考评员应具备数据网络安全专业知识及实际操作经验，每个考评组不少于3名考评员。
（三）鉴定方式和鉴定时间
采取技能操作考核方式。考核成绩实行百分制，成绩达60分者合格，考核时间120 分钟。
（四）鉴定场地和设备要求
具备网络环境（局域网）的专用机房，采光、通风良好，整洁无干扰，每个考生配备1-2台PC机，需安装具备网络搭建、设备配置、攻防演练的模拟环境。
五、收费标准
专项培训统一定价800元（包含培训、鉴定考核、报名等费用）
如单位或学校集中报名，可根据报名人员情况类别进行分类，如符合政策类补贴，可由学会代为申领培训补贴，具体电话咨询。
六、联系方式
联系人：周老师
联系方式：13808948667（同微信）
扫一扫关注微信公众号：淄博市职业资格工作网或登录官方网站www.zbosta.org 了解人力资源管理师、劳动关系协调员、经济师人力资源方向、专项职业能力考核证书报考，职称类论文代写代发，协助职称评定等，关注后回复人力资源管理师或劳动关系协调员，也可以添加微信：13808948667人力资源周老师咨询。