皮皮网

1.要成为一名大数据开发工程师必备哪些技能？
2.大数据工程师岗位职责(必备18篇）

要成为一名大数据开发工程师必备哪些技能？

       首先我们要了解Java语言和Linux操作系统，码开这两个是码开学习大数据的基础，学习的码开顺序不分前后。

       大数据

       Java ：只要了解一些基础即可，码开做大数据不需要很深的码开Java 技术，学java SE 就相当于有学习大数据基础。码开综艺修复源码

       Linux：因为大数据相关软件都是码开在Linux上运行的，所以Linux要学习的码开扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的码开帮助，能让你更好的码开理解hadoop、hive、码开hbase、码开spark等大数据软件的码开运行环境和网络环境配置，能少踩很多坑，码开学会shell就能看懂脚本这样能更容易理解和配置大数据集群。码开还能让你对以后新出的大数据技术学习起来更快。

       Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapReduce和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapReduce是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

       Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

       Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

       Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的paxos源码分析压力。

       Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapReduce程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

       Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapReduce、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

       Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

       Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

       Spark：它是用来弥补基于MapReduce处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。

大数据工程师岗位职责(必备篇）

       大数据工程师岗位职责（1）

       职责包括团队建设、技术攻关、性能优化、数据标准编制、数据模型设计、项目方案设计与管理、免费页面源码数据采集与加工、分析挖掘模型算法实施等。

       任职资格要求：1年以上数据开发经验，SQL、Hadoop、Mpp、Oracle技术基础，编程语言基础，二本以上学历，计算机专业优先，个人素质包括长远眼光、团队协作、学习能力、抗压性等。

       大数据工程师岗位职责（2）

       职责侧重于hadoop/spark生态系统的产品研发，海量数据全文检索、业务关联分析、数据抽取、清洗、转化等。

       任职要求包括Hadoop、HBase、Spark等技术开发经验，搜索引擎开发经验，Python、R语言，企业级应用平台开发经验，本科及以上学历，计算机、软件工程、统计学、数学专业背景，3年以上互联网、金融等行业经验，良好的代码习惯、团队协作能力，熟悉项目管理工具。

       大数据工程师岗位职责（3）

       职责涵盖数据分析、工具开发、分布式平台应用开发、平台维护与优化。

       任职要求为本科及以上学历，计算机专业，5年及以上的大数据ETL或数据开发经验，精通Java或Python，源码符号买卖熟悉Hadoop、HDFS、Hive、HBase、Spark等技术，具备数据仓库开发经验或BI系统开发经验。

       大数据工程师岗位职责（4）

       职责涉及数据分析与建模、核心算法编写、项目需求分析、系统设计、编码，新技术研究与验证。

       任职要求为精通数据建模与数据体系建设，丰富hadoop体系开发经验，精通kafka、flume、hive、impala、hbase、spark等技术，具有+节点hadoop集群开发、运维经验，硬件规划能力。

       大数据工程师岗位职责（5）

       职责包括大数据产品设计与开发、业务分析、数据抽象、模型化、平台维护与优化等。

       任职要求为本科学历，2年以上大数据应用开发经验，Java、Python、Scala编程经验，熟悉Hadoop、Spark、Hbase、hive等技术，具备ETL开发与运维能力。

       大数据工程师岗位职责（6）

       职责为公司大数据集群构建与优化、监控预警、平台完善，确保稳定性与安全性，集群容量规划、扩容、性能优化。office源码大小

       任职要求为Linux系统操作、Shell或Python脚本编写、Hadoop、Strom、Spark、HDFS、Kafka、Zookeeper、Hbase、Redis、ElasticSearch、fastdfs等组件框架知识，软硬件设备与网络原理知识，丰富的大数据平台部署、运维与性能优化经验。

       大数据工程师岗位职责（7）

       职责包括大数据业务集群运维、容量规划、架构设计、业务监控、应急响应、应用监控与容量管理。

       任职要求为计算机或相关专业本科及以上学历，至少2年以上运维或开发经验，Hadoop、HBase、Hive、Flink、Spark、Kafka、Elasticsearch、Flume等开源项目经验优先，熟悉Java、shell语言，掌握puppet、kerberos应用。

       大数据工程师岗位职责（8）

       职责涉及大数据集群运维、日常部署、升级、扩容、迁移，集群架构设计与改进，运维技术研究与优化，应用系统运维。

       任职要求为掌握java、shell语言，了解Docker，有Spring Cloud微服务架构开发经验优先，熟悉Hadoop、Hbase、Hive、Storm、Spark、Kafka等开源项目，精通Linux操作系统管理与优化。

       大数据工程师岗位职责（9）

       职责包括大数据平台运维、架构审核、业务监控、持续交付、应急响应、容量规划，保证服务高效稳定运行。

       任职要求为计算机相关专业本科及以上学历，3年以上相关工作经验，精通Hadoop、Impala、Hive、Spark等组件原理，有实际部署维护经验，故障排查能力，服务意识，团队协作能力，主动思考与自我驱动力。

       大数据工程师岗位职责（）

       职责为大数据集群构建、性能优化、架构设计与改进，运维自动化技术研究，大数据平台运维与管理。

       任职要求为中等规模集群环境下的Hadoop/Impala/Hive/Spark集群运维经验，对HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等参数调优，实际处理集群在线版本升级、数据迁移、集群扩容等任务，熟悉Kerberos安全认证系统。

       大数据工程师岗位职责（）

       职责包括大数据平台运维、架构审核、业务监控、持续交付、应急响应、容量规划，保证线上服务高效稳定运行。

       任职要求为计算机专业本科学历，3年以上相关工作经验，精通Hadoop、HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等组件原理，具备故障排查能力，技术敏感度，服务意识，团队协作能力，主动思考与自我驱动力。

       大数据工程师岗位职责（）

       职责涵盖大数据集群构建、任务调度、监控预警、性能优化，集群容量规划、扩容与日常巡检，大数据业务自动化运维技术研究与优化。

       任职要求为熟悉Linux系统、Shell或Python脚本编写、大数据生态圈组件框架知识，软硬件设备与网络原理，丰富的大数据平台部署、运维与性能优化经验，系统自动化运维能力，JVM虚拟机调优，jenkins持续集成，文档编写能力，适应短期出差。

       大数据工程师岗位职责（）

       职责为大数据平台运维保障、架构审核、业务监控、持续交付、应急响应、容量规划，支撑业务与数据量快速扩张。

       任职要求为计算机相关专业本科及以上学历，3年以上相关工作经验，精通Hadoop、HDFS、YARN、Kafka、Spark、HBase、Kerberos、Hive、Kudu、Zookeeper等组件原理，故障排查能力，技术敏感度，服务意识，团队协作能力，主动思考与自我驱动力，动态编排容器技术与虚拟化技术经验，阅读源码能力。

       大数据工程师岗位职责（）

       职责包括规划、设计、选型大数据平台，自动化运维工具开发与使用，性能优化与问题解决，Hadoop、Hive、Hbase、Storm、Spark等技术框架与java、scala、sqllite等相关技术的掌握，参与大数据产品未来技术架构方向规划，数据库搭建、备份、维护与性能调优，系统运维、监控与故障分析处理，团队协作能力，文档编写与维护，大型开源系统维护经验。

       大数据工程师岗位职责（）

       职责为团队建设和日常管理，核心技术问题攻关、性能优化，城市级大数据平台业务支撑，数据标准编制与模型设计，项目中数据相关方案设计与管理，数据采集、加工、分析挖掘实施。

       任职资格包括1年以上数据开发经验，SQL、Hadoop、Mpp、Oracle技术，编程语言基础，二本以上学历，计算机专业，个人素质要求包括长远眼光、态度诚恳、岗位稳定性、自学能力、抗压性、数据工作兴趣与职业规划。

       大数据工程师岗位职责（）

       职责涉及数据分析、建模、需求分析、系统设计与编码，新技术研究与验证，架构设计与改造，技术实施方案制定，子系统设计与开发。

       任职要求为精通数据建模与数据体系建设，丰富的基于hadoop体系的数据平台、数据仓库建设经验，精通基于hadoop源码开发与优化改造，hadoop生态体系各项技术，如kafka、flume、hive、impala、hbase、spark等，+节点hadoop集群开发与运维经验，硬件规划能力。

       大数据工程师岗位职责（）

       职责包括基于hadoop/spark全文检索与搜索引擎产品开发，海量数据分析、关联关系研究与业务应用结合，数据抽取、清洗、转化等数据处理程序开发。

       任职要求为熟悉Hadoop、HBase、Spark等技术及其生态圈，具备相关项目开发经验，有数据实时计算项目经验优先，搜索引擎开发经验，Python、R语言，企业级应用平台开发经验，本科及以上学历，计算机、软件工程、统计学、数学专业背景，互联网、金融等行业3年以上工作经验，良好的代码习惯与团队协作经验。

       大数据工程师岗位职责（）

       职责涵盖数据分析与清理，大数据工具开发，分布式平台应用开发，平台维护与优化。

       任职要求为本科及以上学历，计算机专业，5年及以上的大数据ETL或数据开发经验，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技术，具备数据仓库开发经验或BI系统开发经验，熟悉Java或Python编程语言，熟悉大数据架构体系。