数据挖掘算法工程师

数据挖掘算法工程师岗位职责

在现在的社会生活中，岗位职责使用的频率越来越高，制定岗位职责可以最大限度地实现劳动用工的科学配置。一般岗位职责是怎么制定的呢？下面是我收集整理的数据挖掘算法工程师岗位职责，仅供参考，希望能够帮助到大家。

岗位职责：

负责团队现有算法的优化，代码实现以及移植

负责算法计算性能优化，并推动其上线应用

基于大规模用户数据，以效果为目标，建立并优化系统的基础算法和策略

应用机器学习等尖端技术，针对海量信息建模，挖掘潜在价值跟踪新技术发展，并将其应用于产品中；

跟踪新技术发展，并将其应用于产品中

协助其它技术人员解决业务及技术问题

任职资格：

熟练使用Java、python、scala语言（至少一门），熟悉面向对象思想和设计模式

具备一年以上机器学习理论、算法的研究和实践经验

擅长大规模分布式系统。海量数据处理。实时分析等方面的算法设计。优化

熟悉Hadoop、spark等大数据处理框架

具备分布式相关项目研发经验（如分布式存储/分布式计算/高性能并行计算/分布式cache等）

熟悉大规模数据挖掘、机器学习、分布式计算等相关技术，并具备多年的'实际工作经验

对数据结构和算法设计有深刻的理解

具有良好的分析问题和解决问题的能力，有一定数学功底，能针对实际问题进行数学建模

良好的逻辑思维能力，和数据敏感度，能能够从海量数据中发现有价值的规律

优秀的分析和解决问题的能力，对挑战性问题充满激情

良好的团队合作精神，较强的沟通能力

1、通过海量数据挖掘、机器学习等方法，构建用户画像、个性化推荐、销量预测、风险控制等系统

2、参与数据挖掘项目的设计、实现、算法调研、优化

3、用户分析、理解及建模，持续提升用户产品体验

4、调研并促进数据挖掘在公司多个业务领域的应用

任职资格：

1、熟悉Java、Scala或Python编程语言，有Java多线程、AkkaActor编程经历者优先。

2、熟悉hadoop、Spark、Redis、ES以及数据可视化等方面者优先

3、拥有基于MapReduce的分布式编程思想，熟悉常用的机器学习算法，如：决策树、SVM、聚类、回归、贝叶斯、神经网络。且有上述算法的分布式实现与优化经验者优先

4、熟悉大规模分布式系统理论，研读过mllib/mahout/H20/TensoFlow等源码，在项目中将分布式算法应用到业务当中者优先。

5、较强的英文文献阅读理解能力，相关文档编制能力

工作职责：

1、运用数据挖掘和机器学习方法和技术，深入挖掘和分析海量商业数据

2、包括但不限于风控模型、用户画像、商家画像建模、文本分析和商业预测等

3、运用数据挖掘/统计学习的理论和方法，深入挖掘和分析用户行为，建设用户画像

4、从系统应用的角度，利用数据挖掘/统计学习的理论和方法解决实际问题

任职要求

—计算机、数学，统计学或人工智能等相关专业硕士以上学历，5—10年以上或相关工作经历

—精通1—2种编程语言（Python或Java），熟练掌握常用数据结构和算法，具备比较强的实战开发能力，能带领团队共同进步。

—具有统计或数据挖掘背景，并对机器学习算法和理论有较深入的研究

—熟悉数据挖掘相关算法（决策树、SVM、聚类、逻辑回归、贝叶斯）

—具有良好的学习能力、时间和流程意识、沟通能力

—熟悉Spark或hadoop生态分布式计算框架

—优秀的沟通能力，有创新精神，乐于接受挑战，能承受工作压力

—有互联网，央企，政务，金融等领域大规模数据挖掘经验者优先

一、算法工程师简介（通常是月薪15k以上，年薪18万以上，只是一个概数，具体薪资可以到招聘网站如拉钩，猎聘网上看看）算法工程师目前是一个高端也是相对紧缺的职位；算法工程师包括音/视频算法工程师（通常统称为语音/视频/图形开发工程师）、图像处理算法工程师、计算机视觉算法工程师、通信基带算法工程师、信号算法工程师、射频/通信算法工程师、自然语言算法工程师、数据挖掘算法工程师、搜索算法工程师、控制算法工程师（云台算法工程师，飞控算法工程师，机器人控制算法）、导航算法工程师（@之介感谢补充）、其他【其他一切需要复杂算法的行业】专业要求：计算机、电子、通信、数学等相关专业；学历要求：本科及其以上的学历，大多数是硕士学历及其以上；语言要求：英语要求是熟练，基本上能阅读国外专业书刊，做这一行经常要读论文；必须掌握计算机相关知识，熟练使用仿真工具MATLAB等，必须会一门编程语言。算法工程师的技能树（不同方向差异较大，此处仅供参考）1 机器学习2 大数据处理：熟悉至少一个分布式计算框架Hadoop/Spark/Storm/ map-reduce/MPI3 数据挖掘4 扎实的数学功底5 至少熟悉C/C++或者Java，熟悉至少一门编程语言例如java/python/R加分项：具有较为丰富的项目实践经验（不是水论文的哪种）二、算法工程师大致分类与技术要求（一）图像算法/计算机视觉工程师类包括图像算法工程师，图像处理工程师，音/视频处理算法工程师，计算机视觉工程师要求l 专业：计算机、数学、统计学相关专业；l 技术领域：机器学习，模式识别l 技术要求：（1） 精通DirectX HLSL和OpenGL GLSL等shader语言，熟悉常见图像处理算法GPU实现及优化；（2） 语言：精通C/C++；（3） 工具：Matlab数学软件，CUDA运算平台，VTK图像图形开源软件【医学领域：ITK，医学图像处理软件包】（4） 熟悉OpenCV/OpenGL/Caffe等常用开源库；（5） 有人脸识别，行人检测，视频分析，三维建模，动态跟踪，车识别，目标检测跟踪识别经历的人优先考虑；（6） 熟悉基于GPU的算法设计与优化和并行优化经验者优先；（7） 【音/视频领域】熟悉等视频编解码标准和FFMPEG，熟悉rtmp等流媒体传输协议，熟悉视频和音频解码算法，研究各种多媒体文件格式，GPU加速；应用领域：（1） 互联网：如美颜app（2） 医学领域：如临床医学图像（3） 汽车领域（4） 人工智能相关术语：（1） OCR：OCR （Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程（2） Matlab：商业数学软件；（3） CUDA： (Compute Unified Device Architecture)，是显卡厂商NVIDIA推出的运算平台（由ISA和GPU构成）。 CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题（4） OpenCL: OpenCL是一个为异构平台编写程序的框架，此异构平台可由CPU，GPU或其他类型的处理器组成。（5） OpenCV：开源计算机视觉库；OpenGL：开源图形库；Caffe：是一个清晰，可读性高，快速的深度学习框架。（6） CNN：（深度学习）卷积神经网络（Convolutional Neural Network）CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。（7） 开源库：指的是计算机行业中对所有人开发的代码库，所有人均可以使用并改进代码算法。（二）机器学习工程师包括机器学习工程师要求l 专业：计算机、数学、统计学相关专业；l 技术领域：人工智能，机器学习l 技术要求：（1） 熟悉Hadoop/Hive以及Map-Reduce计算模式，熟悉Spark、Shark等尤佳；（2） 大数据挖掘；（3） 高性能、高并发的机器学习、数据挖掘方法及架构的研发；应用领域：（1）人工智能，比如各类仿真、拟人应用，如机器人（2）医疗用于各类拟合预测（3）金融高频交易（4）互联网数据挖掘、关联推荐（5）无人汽车，无人机相关术语：（1） Map-Reduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。（三）自然语言处理工程师包括自然语言处理工程师要求l 专业：计算机相关专业；l 技术领域：文本数据库l 技术要求：（1） 熟悉中文分词标注、文本分类、语言模型、实体识别、知识图谱抽取和推理、问答系统设计、深度问答等NLP 相关算法；（2） 应用NLP、机器学习等技术解决海量UGC的文本相关性；（3） 分词、词性分析、实体识别、新词发现、语义关联等NLP基础性研究与开发；（4） 人工智能，分布式处理Hadoop；（5） 数据结构和算法；应用领域：口语输入、书面语输入、语言分析和理解、语言生成、口语输出技术、话语分析与对话、文献自动处理、多语问题的计算机处理、多模态的计算机处理、信息传输与信息存储 、自然语言处理中的数学方法、语言资源、自然语言处理系统的评测。相关术语：（2） NLP：人工智能的自然语言处理，NLP (Natural Language Processing) 是人工智能（AI）的一个子领域。NLP涉及领域很多，最令我感兴趣的是“中文自动分词”（Chinese word segmentation）：结婚的和尚未结婚的【计算机中却有可能理解为结婚的“和尚“】（四）射频/通信/信号算法工程师类包括3G/4G无线通信算法工程师， 通信基带算法工程师，DSP开发工程师（数字信号处理），射频通信工程师，信号算法工程师要求l 专业：计算机、通信相关专业；l 技术领域：2G、3G、4G，BlueTooth（蓝牙），WLAN，无线移动通信, 网络通信基带信号处理l 技术要求：（1） 了解2G，3G，4G，BlueTooth，WLAN等无线通信相关知识，熟悉现有的通信系统和标准协议，熟悉常用的无线测试设备；（2） 信号处理技术，通信算法；（3） 熟悉同步、均衡、信道译码等算法的基本原理；（4） 【射频部分】熟悉射频前端芯片，扎实的射频微波理论和测试经验，熟练使用射频电路仿真工具（如ADS或MW或Ansoft）；熟练使用cadence、altium designer PCB电路设计软件；（5） 有扎实的数学基础，如复变函数、随机过程、数值计算、矩阵论、离散数学应用领域：通信VR【用于快速传输视频图像，例如乐客灵境VR公司招募的通信工程师（数据编码、流数据）】物联网，车联网导航，军事，卫星，雷达相关术语：（1） 基带信号：指的是没有经过调制（进行频谱搬移和变换）的原始电信号。（2） 基带通信（又称基带传输）：指传输基带信号。进行基带传输的系统称为基带传输系统。传输介质的整个信道被一个基带信号占用.基带传输不需要调制解调器，设备化费小，具有速率高和误码率低等优点,.适合短距离的数据传输，传输距离在100米内，在音频市话、计算机网络通信中被广泛采用。如从计算机到监视器、打印机等外设的信号就是基带传输的。大多数的局域网使用基带传输，如以太网、令牌环网。（3） 射频：射频（RF）是Radio Frequency的缩写，表示可以辐射到空间的电磁频率（电磁波），频率范围从300KHz～300GHz之间（因为其较高的频率使其具有远距离传输能力）。射频简称RF射频就是射频电流，它是一种高频交流变化电磁波的简称。每秒变化小于1000次的交流电称为低频电流，大于10000次的称为高频电流，而射频就是这样一种高频电流。高频(大于10K)；射频（300K-300G）是高频的较高频段；微波频段（300M-300G）又是射频的较高频段。【有线电视就是用射频传输方式】（4） DSP：数字信号处理，也指数字信号处理芯片（五）数据挖掘算法工程师类包括推荐算法工程师，数据挖掘算法工程师要求l 专业：计算机、通信、应用数学、金融数学、模式识别、人工智能；l 技术领域：机器学习，数据挖掘l 技术要求：（1） 熟悉常用机器学习和数据挖掘算法，包括但不限于决策树、Kmeans、SVM、线性回归、逻辑回归以及神经网络等算法；（2） 熟练使用SQL、Matlab、Python等工具优先；（3） 对Hadoop、Spark、Storm等大规模数据存储与运算平台有实践经验【均为分布式计算框架】（4） 数学基础要好，如高数，统计学，数据结构l 加分项：数据挖掘建模大赛；应用领域（1） 个性化推荐（2） 广告投放（3） 大数据分析相关术语Map-Reduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。（六）搜索算法工程师要求l 技术领域：自然语言l 技术要求：（1） 数据结构，海量数据处理、高性能计算、大规模分布式系统开发（2） hadoop、lucene（3） 精通Lucene/Solr/Elastic Search等技术，并有二次开发经验（4） 精通Lucene/Solr/Elastic Search等技术，并有二次开发经验；（5） 精通倒排索引、全文检索、分词、排序等相关技术；（6） 熟悉Java，熟悉Spring、MyBatis、Netty等主流框架；（7） 优秀的数据库设计和优化能力，精通MySQL数据库应用 ；（8） 了解推荐引擎和数据挖掘和机器学习的理论知识，有大型搜索应用的开发经验者优先。（七）控制算法工程师类包括了云台控制算法，飞控控制算法，机器人控制算法要求l 专业：计算机，电子信息工程，航天航空，自动化l 技术要求：（1） 精通自动控制原理（如PID）、现代控制理论，精通组合导航原理，姿态融合算法，电机驱动，电机驱动（2） 卡尔曼滤波，熟悉状态空间分析法对控制系统进行数学模型建模、分析调试；l 加分项：有电子设计大赛，机器人比赛，robocon等比赛经验，有硬件设计的基础；应用领域（1）医疗/工业机械设备（2）工业机器人（3）机器人（4）无人机飞控、云台控制等（八）导航算法工程师要求l 专业：计算机，电子信息工程，航天航空，自动化l 技术要求（以公司职位JD为例）公司一（1）精通惯性导航、激光导航、雷达导航等工作原理；（2）精通组合导航算法设计、精通卡尔曼滤波算法、精通路径规划算法；（3）具备导航方案设计和实现的工程经验；（4）熟悉C/C++语言、熟悉至少一种嵌入式系统开发、熟悉Matlab工具；公司二（1）熟悉基于视觉信息的SLAM、定位、导航算法，有1年以上相关的科研或项目经历；（2）熟悉惯性导航算法，熟悉IMU与视觉信息的融合;应用领域无人机、机器人等。

高~非常高主要是逻辑数学。。。这个是学的好的人大牛。学的不好的人必死的专业

一般是比较大的企业会有这种岗位需求，主要是通过大数据，在其中通过数据挖掘的相关算法进行分析，根据业务需求，挖掘到数据中有价值的东西

数据挖掘工程师是数据师(Datician['detn])的一种。是从大量的数据中通过算法搜索隐藏于其中知识的工程技术专业人员。这些知识可用使企业决策智能化，自动化，从而使企业提高工作效率，减少错误决策的可能性，以在激烈的竞争中处于不败之地。数据挖掘工程师的职责：1、根据自己对行业，以及公司业务的了解，独自承担复杂分析任务，并形成分析报告；2、相关分析方向包括：用户行为分析、广告点击分析，业务逻辑相关以及竞争环境相关；3、根据业务逻辑变化，设计相应分析模型并支持业务分析工作开展。数据挖掘，从字面上理解，就是在数据中找到有用的东西，哪些东西有用就要看具体的业务目标了。最简单的就是统计应用了，比如电商数据，利用用户的浏览、点击、收藏、购买等行为推断用户的年龄、性别、购买能力、爱好等。想了解更多关于数据挖掘工程师的内容，推荐上CDA数据分析师的课程。课程内容兼顾培养解决数据挖掘流程问题的横向能力以及解决数据挖掘算法问题的纵向能力。要求学生具备从数据治理根源出发的思维，通过数字化工作方法来探查业务问题，通过近因分析、宏观根因分析等手段，再选择业务流程优化工具还是算法工具，而非“遇到问题调算法包”。真正理解商业思维，项目思维，能够遇到问题解决问题。点击预约免费试听课。