大数据资深工程师-上海

大数据平台方向

1. 负责公司大数据应用架构设计， 大数据产品原型，完成需求分析，技术选型，规划实施工作

2. 研究大数据平台新技术研究和评估， 完善大数据平台技术架构规划，负责基于Hadoop/Spark/Hive/Storm/kafka等分布式计算平台实现离线分析、实时分析的计算框架；

3. 负责管理大数据开发团队，完成产品的开发、测试、版本管理，评审发布，代码质量管理， 产品上线等相关工作

4. 负责与内部系统负责人、外部合作伙伴制定内/外部数据接口方案，并对内/外部数据进行梳理，整合，建模和处理

Java 开发方向

1. 支持大数据相关项目或工作项，基于业务需求，对项目技术方案进行设计，并负责代码实现以及部署上线

2. 对SGM各领域相关数据进行梳理、分析，识别潜在问题及其商业价值

3. 负责大数据平台工具的开发，支持大数据平台数据工程开发标准化，提升项目交付效率和质量

4. 内外部相关数据接入Data Lake

5. 负责大数据平台技术组件的验证工作

数据处理方向

1. 支持大数据相关项目或工作项，基于业务需求，进行数据处理方案设计、模型设计以及ETL程序开发

2. 对SGM各领域相关数据进行梳理、分析，满足业务使用数据的需求

3. 负责数据处理开发资源池的工作任务安排

4. 负责大数据平台新的数据处理技术的验证工作

任职资格：

1. 学历要求：全日制本科或以上学历

2. 专业要求：计算机科学、计算机应用、软件工程等

3. 专业知识：

大数据平台方向

（1）熟练运用Hadoop生态系统组件（MR、HBase、Hive、ZooKeeper、Spark SQL、Spark Mlib、Flume、Kafka、Solr等）
（2）熟悉NoSQL数据库，如MongoDB、Redis等
（3）有2年以上hadoop、Spark管理、调优经验，能够独立完成Hadoop集群部署、升级工作
（4）2年以上JAVA开发经验，熟悉Scala、Python语言者优先
（5）熟悉Spark框架,熟练掌握RDD编程
（6）对新技术有孜孜不倦的热情
（7）有高可用服务部署和负载均衡服务部署经验者优先考虑

（8）2年以上大数据平台管理、架构设计相关经验者优先

Java 开发方向

（1）能够熟练基于Hadoop生态系统组件（Hbase、HDFS、SPARK、Kafka、Solr等）进行数据应用开发
（2）熟悉NoSQL数据库开发，如MongoDB、Redis等
（3）良好的SQL语句功底，熟悉MySQL、PostgreSQL、Oracle数据库中的一种
（4）熟悉负载均衡、读写分离、SOA架构、系统性能调优等技术

（5）3年以上Java开发经验，具有Cloudera Apache Hadoop开发认证或管理员认证者优先

数据处理方向

（1）熟练使用DataStage、Informatica、Kettle、Hive、PLSQL、SPARK、MapReduce等工具中的一个或多个，有开发、维护经验；
（2）熟练编写存储过程，擅长SQL优化；
（3）熟悉Oracle、SQL Server等常用数据库中的一个或多个;
（4）熟悉perl、shell脚本，Linux操作系统;
（5）有大型数据仓库、BI相关项目的开发经验，精通架构、建模者优先;

（6）熟练使用Erwin或PowerDesigner等进行数据建模；

（7）3年以上ETL开发经验，具有Cloudera或ETL相关认证者优先
4.英语能力：具备一定的英语读写能力，能阅读英文资料、能进行口头交流、CET-6

5.其他技能：良好的沟通表达能力、优秀的学习能力

6.素质能力：基础项：以客户为中心、安全和环保 、诚信正直、充分授权的团队合作、不断改进和创新；管理能力：培养他人、全局协同 、果断决策 、战略思维；业务素质：沟通能力、抗压能力、责任心、创新能力、目标意识