大数据运维工程师的工作职责.docx

大数据运维工程师的工作职责大数据运维工程师的工作职责1职责:1、负责和参与公司大数据基础架构平台规划,运维,监控和优化工作,保障数据平台服务的稳定性和可用性;2、研究大数据前沿技术,改进现有系统的服务和运维架构,提升系统可靠性和可运维性;3、负责和参与自动化运维系统及平台的建设;4、负责优化部门运维流程提升运维效率。任职要求:1、统招本科及以上学历,计算机相关专业,2年以上互联网运维工作经验;2、熟悉Linux操作系统及常见开源软件(Nginx,Tomcat,Zabbix等)的配置,管理及优化,能够独立排查及解决操作系统层的各类问题;3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的组件原理及运维方式;4、精通Python,shell,了解JAVA;有良好的系统性能优化及故障排除能力;5、具有很强的责任心、执行力、服务意识、学****能力和抗压能力;6、具备较好的沟通能力、主动性和团队合作精神。大数据运维工程师的工作职责2职责:1、负责Hadoop、HBase、Hive、Spark等大数据平台规划、部署、监控、系统优化等,确保高可用;2、负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化;3、处理公司大数据平台各类异常和故障,确保系统平台的稳定运行;4、设计实现大规模分布式集群的运维、监控和管理平台;5、深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技及发展方向;6、为数据仓库、数据挖掘建模等数据应用项目提供运行环境支持。岗位要求:1、掌握Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题;2、熟练掌握Python,shell中的至少一门语言,有Python运维工具开发经验优先;3、熟悉Hadoop生态及高性能缓存相关的各种工具并有实战经验,包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;4、具有集群运维经验,以及大负载下的容量评估、问题定位、架构优化等能力优先;有分布式系统(计算/存储)开发经验优先;5、熟悉zabbix/ganglia/Prometheus/grafana系统的组合构件及使用;6、精通ELK系统,有过大规模ELK配置管理、调优经验,有过ElasticSearch搜索和分析引擎开发经验者优先;大数据运维工程师的工作职责3职责:1、负责大数据平台架构的规划、设计、搭建;2、负责大数据平台的运维保障工作;3、负责运维相关数据分析,以及报表产出;4、为线上服务高效稳定运行负责,支撑业务和数据量的快速扩张;5、深入理解大数据平台架构,发现并解决重大故障及性能瓶颈;6、研究跟进大数据架构领域新技术并分享。工作要求:1、熟悉大数据产品生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark等;2、精通Linux/Unix系统;3、有数据分析经验优先,精通一门以上脚本语言(shell/perl/python等),熟悉java/C/C++/Golang等开发语言一种及以上;4、有2年以上大数据平台相关运维开发经验,了解分布式平台运行的原理,并有实际部署维护经验;5、学****能力和主动性强,