2023年数据开发工程师工作总结14篇

来源:工作总结时间:2024-04-11 08:50:01

数据开发工程师工作总结1、负责大数据统计平台建设与优化;2、负责广告效果分析，反作弊平台建设;3、负责移动广告平台相关系统的设计研发及持续优化。1、计算机或下面是小编为大家整理的数据开发工程师工作总结14篇,供大家参考。

数据开发工程师工作总结14篇

数据开发工程师工作总结篇1

1、负责大数据统计平台建设与优化;

2、负责广告效果分析，反作弊平台建设;

3、负责移动广告平台相关系统的设计研发及持续优化。

1、计算机或相关专业本科学历及以上，2年工作经验;

2、精通大数据采集、处理、存储、查询相关技术;

3、熟悉hadoop/hbase/hive/spark/storm/kafka相关技术;

4、至少熟练掌握java/scala/python中一门语言;

5、有做过大数据量查询优化的优先;

6、有大数据服务运维、性能调优者优先;

7、熟悉常用的设计模式，对mvc框架有了解;

8、强烈的.责任心，对技术充满热情，高效率，良好的沟通能力。

数据开发工程师工作总结篇2

1、从事hadoop、spark、hbase、hive等分布式大数据产品的设计和开发；

2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发；

3、大数据平台各类数据业务抽象及模型化；

4、参与大数据管理平台的开发及维护；

5、负责大数据平台数据及相关的应用开发，调优及维护；

6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题；

7、良好的"团队合作与沟通能力。

1、本科及以上学历，2年以上大数据应用开发经验；

2、具备java、python、scala其中两种语言的开发经验；

3、了解泛hadoop大数据生态圈，熟悉hdfs/hive/flink/hbase/spark/kafka其中两种以上技术，并有实际的项目开发经验，有相关源码研究者优先；

4、具备etl开发与运维能力，有flume、kettle经验优先；

5、熟悉大数据平台的搭建过程，熟悉数据处理流程，有tb级以上数据处理经验优先，有实时数据处理经验者优先；

6、熟悉离线和实时数据处理流程，熟练使用spark，flink处理tb级数据优先；

7、熟悉linux系统环境，有shell等脚本编写经验，熟悉mysql、postgresql、oracle等常用关系数据库，熟练编写sql语句；

8、熟悉yarn，kubernetes，azkaban等资源调度框架者优先；

9、熟悉datax的二次开发，并有实际开发经验优先。

数据开发工程师工作总结篇3

1.有独立工作能力，工作踏实认真，以及较强的团队协作精神。

2.负责日志大数据平台的搭建和规划;

3.在总体架构设计下，完成日志大数据产品的设计、搭建、维护和调优，技术文档的编写与维护;

4.参与业务日志的大数据分析;

5.及时反馈开发中遇到的.难点问题，沟通并寻求解决方案，按阶段有计划地完成开发任务

1、计算机等相关专业本科以上学历，2年以上开发经验;

2、熟悉linux操作系统，熟悉shell脚本语言，精通java，有较强的开发能力;

2、熟练使用sql，熟悉mysql、mongodb、hive等数据库技术的基本操作及原理;

3、熟悉hadoop/spark生态系统组件的使用，至少有1年的spark(core/streaming/sql)开发经验;

4、熟悉elastic产品线(如elasticsearch、kafka、kibana、logstash)的使用方法，了解常见优化方案，熟悉elasticsearch部署、监控及性能调优;

5、熟悉数据挖掘、机器学习、网络数据分析等技术优先;

数据开发工程师工作总结篇4

1、根据设计方案，完成相关模块代码编写和测试;

2、负责相关项目的"维护和技术支持工作;

3、配合项目组其他成员完成项目相关开发工作;

4、协助完成项目的系统交付工作，对项目实施提供支持。

1、培训过java或有半年以上java项目开发经验;

2、计算机相关专业优先考虑，有1-2年开发工作经验;

3、熟悉使用oracle/sqlserver/mysql至少一种数据库，熟练使用sql开发;

4、性格开朗、具有良好的学习能力;

5、工作责任心强，能承受工作压力。

数据开发工程师工作总结篇5

1、规划及建设大数据平台;

2、负责大数据存储系统、分布式计算系统、挖掘算法等设计、研发以及维护、优化工作;

3、负责分析、挖掘、对抗各种产品安全层面的恶意行为;

4、参与项目的系统设计和核心代码开发，指导和培训其他工程师;

5、整理和提交技术文档，负责核心功能模块的代码编写和测试工作。

1、计算机、统计学等相关专业本科及以上学历，具有深厚的数学、统计学和计算机相关知识，精通数据仓库和数据挖掘的相关技术，3年以上大数据开发相关经验;

2、具有非常扎实的java基础，熟悉shell、python、r、scala等一种以上语言;

3、算法基础扎实，熟悉常见的数据结构，了解分布式算法和分布式系统的技术原理;

4、精通mapreduce设计方法或spark计算框架、对nosql，hadoop、hbase、spark、hive等主流云计算，大数据相关软件有充分的"了解，并且有实践经验，能解决应用中的复杂问题;

5、熟悉大数据处理相关技术，包括但不限于hadoop、hive、hbase、impala、spark，kafaka、flume、sqoop、storm、redis等;

6、研读过hadoop、hbase、hive源代码者，能够在特定业务中进行定制改造者优先;

7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。

数据开发工程师工作总结篇6

1、负责数据分析、加工、清理，相关处理脚本和程序的开发；

2、负责开发大数据工具，如报表平台、多维度分析工具、etl平台、调度平台的`研发；

3、负责分布式大数据平台应用开发（hadoop/spark/hive/hbase等）；

4、负责大数据相关平台的维护、优化。

1、本科及以上学历，计算机相关专业，具有5年及以上的大数据etl或数据开发经验，熟悉大数据组件的维护以及调优；

2、熟练掌握java或python编程语言，熟悉大数据架构体系，熟悉hadoop、hdfs、hive、hbase、spark、kafka等技术中的一个或者多个，熟悉sqoop、datax等数据导入工具；

3、能熟练使用hive、hbase、spark等加工和处理数据，有海量数据处理经验；

4、有数据仓库开发经验/bi系统开发经验优先；

5、有电商行业数据处理与分析平台开发经验者优先。

数据开发工程师工作总结篇7

职责：

1、负责研发paas开放平台开发，完成需求分析详细设计，spring boot基础组件的使用和扩展开发工作;

2、负责研发paas平台业务中台，数据中台的研发工作，能够准确把握业务需求，参与系统设计，负责核心代码的实现;

3、负责带领3-5人研发团队，实现系统规划需求。

【任职要求】

业务技能要求：

1、精通java语言，深刻理解常用微服务组件，如spring,

spring boot, spring cloud, mybatis;

2、熟悉shell或者python脚本并能在linux环境进行开发;

3、了解常用中间件系统，如rabbitmq，rocketmq，redis，zookeeper系统等;

4、熟悉mysql数据库以及常见的"nosql db，如mongodb等;

5、了解常用工具如git , jenkins, maven 等。

数据开发工程师工作总结篇8

职责：

1.进行产品需求分析和系统架构设计，负责公司核心业务模块开发，能独立攻关系统难点问题。

2.编写系统架构文档、接口说明文档及主要业务流程图等开发文档。

3.进行团队技术管理，为每个版本制定准确的开发计划并分配给下属人员进行开发。

4.代码审计，指导初中级开发人员编码，协助参与代码设计、审核和检查。

5.参与系统稳定性、性能和扩展性调试。

任职要求：

1.计算机、电子、通信、信息处理、电子商务、办公自动化等相关专业大专以上学历，有5年以上相关软件开发经验;

2.精通web mvc框架、java、javascript，熟悉jsp/servlet、javascript、ajax、jquery等web技术，至少精通struts、spring、hibernate、ibatis等主流的开源框架之一;

3.有分布式、高可用、高并发系统开发经验，熟悉dubbo等分布式框架并有应用经验;

4.熟练使用oracle、mysql、sql server数据库之一，有数据库性能问题诊断及sql语句调优经验;

5.熟悉linux操作系统，熟悉shell脚本，熟练使用svn或git版本管理工具;

6.熟练使用weblogic、tomcat、websphere等web应用服务器之一，熟悉nginx、apache等的安装、配置;

7.参与过大型项目软件的开发，有团队精神和敬业精神，具备良好的"自我学习能力和独立的解决问题能力，能够带领小团队在指定时间内完成高质量程序;

数据开发工程师工作总结篇9

1、负责基于hadoop/spark生态系统、亿级别数据的"全文检索，搜索引擎的产品研发；

2、基于海量用户行为数据和其他数据，分析和研究数据与实际业务的关联关系，并与实际业务应用相结合开发；

3、负责大数据分析需求设计和开发，承担数据抽取、清洗、转化等数据处理程序开发。

1、熟悉hadoop/hbase/spark/storm/redis/kafka/es/flume技术及其生态圈，具备相关项目开发经验，有数据实时计算项目经验优先；

2、有搜索引擎全文检索开发经验，如：elasticsearch、solr；

3、熟悉python、r任意一门开发语言；

4、有saas，paas企业级应用平台或者互联网，金融等大型应用平台开发经验优先考虑；

5、本科及以上学历，计算机/软件工程/统计学/数学等相关专业，互联网/金融等行业3年以上工作经验；

6、拥有良好的代码习惯，要求结构清晰、命名规范、逻辑性强、代码冗余率低，代码注释清晰；

7、熟悉使用svn，禅道等项目管理工具，有良好的团队协作开发经验、

数据开发工程师工作总结篇10

工作职责：

1、基于海量数据，支持业务对数据的分析和使用；

2、支持业务处理数据的`流式处理、分析客户行为等。

1、精通至少一门编程语言，熟练运用各种常用算法和数据结构，有独立的实现能力；

2、熟悉常用的开源组件：hadoop/hive/spark/storm，并了解其特性和使用场景优先；

3、熟悉机器学习、数据挖掘、数据分析、分布式计算至少某一方面，有较深的理论研究和实践经验优先；

4、数据分析、推荐、机器学习、数据挖掘相关的开发工作优先。

数据开发工程师工作总结篇11

1. 建立和维护公司it项目建设管理的`规章制度;

2. 项目进度跟踪和控制，风险识别，里程碑监控、项目成本管理;

3. 根据公司it系统需求和系统设计要求，进行详细分析、设计，编写设计文档，进行功能模块的代码编写工作;

4. 协助进行公司it系统架构设计，技术规划及技术可行性分析，对公司it系统架构方案提出优化改进建议，提高系统架构质量;

5. 根据开发规范编写各种开发文档及项目文档;

6. 评估项目交付件，对系统质量负责。

7. 对于开发外包项目，作为开发接口人与供应商进行系统开发对接，对开发进度进行管理控制，修正开发偏差。

8. 上级领导安排的其他工作。

数据开发工程师工作总结篇12

1、依据客户需求完成大数据项目的数据分析及建模；

2、进行大数据核心算法的编写；

3、参与项目的`需求分析、系统设计、编码工作；

4、参与开发过程中相关新技术的研究和验证。

5、协助承担架构性的体系设计和改造工作，配合制定技术实施方案，按照总体设计组织子系统的设计和开发。

1、精通数据建模、数据体系建设，具备数据仓库架构设计、模型设计和处理性能调优等相关经验；

2、具有丰富的基于hadoop体系的数据平台、数据仓库建设经验，精通基于hadoop源码的开发、优化改造及成功应用案例；

3、精通hadoop生态体系各项技术，如kafka、flume、hive、impala、hbase、spark等，具有100+节点hadoop集群的开发、运维经验；

4、具有对大型hadoop集群的硬件规划能力；

数据开发工程师工作总结篇13

职责：