数据算法工程师

一、算法工程师简介（通常是月薪15k以上，年薪18万以上，只是一个概数，具体薪资可以到招聘网站如拉钩，猎聘网上看看）算法工程师目前是一个高端也是相对紧缺的职位；算法工程师包括音/视频算法工程师（通常统称为语音/视频/图形开发工程师）、图像处理算法工程师、计算机视觉算法工程师、通信基带算法工程师、信号算法工程师、射频/通信算法工程师、自然语言算法工程师、数据挖掘算法工程师、搜索算法工程师、控制算法工程师（云台算法工程师，飞控算法工程师，机器人控制算法）、导航算法工程师（@之介感谢补充）、其他【其他一切需要复杂算法的行业】专业要求：计算机、电子、通信、数学等相关专业；学历要求：本科及其以上的学历，大多数是硕士学历及其以上；语言要求：英语要求是熟练，基本上能阅读国外专业书刊，做这一行经常要读论文；必须掌握计算机相关知识，熟练使用仿真工具MATLAB等，必须会一门编程语言。算法工程师的技能树（不同方向差异较大，此处仅供参考）1 机器学习2 大数据处理：熟悉至少一个分布式计算框架Hadoop/Spark/Storm/ map-reduce/MPI3 数据挖掘4 扎实的数学功底5 至少熟悉C/C++或者Java，熟悉至少一门编程语言例如java/python/R加分项：具有较为丰富的项目实践经验（不是水论文的哪种）二、算法工程师大致分类与技术要求（一）图像算法/计算机视觉工程师类包括图像算法工程师，图像处理工程师，音/视频处理算法工程师，计算机视觉工程师要求l 专业：计算机、数学、统计学相关专业；l 技术领域：机器学习，模式识别l 技术要求：（1） 精通DirectX HLSL和OpenGL GLSL等shader语言，熟悉常见图像处理算法GPU实现及优化；（2） 语言：精通C/C++；（3） 工具：Matlab数学软件，CUDA运算平台，VTK图像图形开源软件【医学领域：ITK，医学图像处理软件包】（4） 熟悉OpenCV/OpenGL/Caffe等常用开源库；（5） 有人脸识别，行人检测，视频分析，三维建模，动态跟踪，车识别，目标检测跟踪识别经历的人优先考虑；（6） 熟悉基于GPU的算法设计与优化和并行优化经验者优先；（7） 【音/视频领域】熟悉等视频编解码标准和FFMPEG，熟悉rtmp等流媒体传输协议，熟悉视频和音频解码算法，研究各种多媒体文件格式，GPU加速；应用领域：（1） 互联网：如美颜app（2） 医学领域：如临床医学图像（3） 汽车领域（4） 人工智能相关术语：（1） OCR：OCR （Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程（2） Matlab：商业数学软件；（3） CUDA： (Compute Unified Device Architecture)，是显卡厂商NVIDIA推出的运算平台（由ISA和GPU构成）。 CUDA™是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计算问题（4） OpenCL: OpenCL是一个为异构平台编写程序的框架，此异构平台可由CPU，GPU或其他类型的处理器组成。（5） OpenCV：开源计算机视觉库；OpenGL：开源图形库；Caffe：是一个清晰，可读性高，快速的深度学习框架。（6） CNN：（深度学习）卷积神经网络（Convolutional Neural Network）CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。（7） 开源库：指的是计算机行业中对所有人开发的代码库，所有人均可以使用并改进代码算法。（二）机器学习工程师包括机器学习工程师要求l 专业：计算机、数学、统计学相关专业；l 技术领域：人工智能，机器学习l 技术要求：（1） 熟悉Hadoop/Hive以及Map-Reduce计算模式，熟悉Spark、Shark等尤佳；（2） 大数据挖掘；（3） 高性能、高并发的机器学习、数据挖掘方法及架构的研发；应用领域：（1）人工智能，比如各类仿真、拟人应用，如机器人（2）医疗用于各类拟合预测（3）金融高频交易（4）互联网数据挖掘、关联推荐（5）无人汽车，无人机相关术语：（1） Map-Reduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。（三）自然语言处理工程师包括自然语言处理工程师要求l 专业：计算机相关专业；l 技术领域：文本数据库l 技术要求：（1） 熟悉中文分词标注、文本分类、语言模型、实体识别、知识图谱抽取和推理、问答系统设计、深度问答等NLP 相关算法；（2） 应用NLP、机器学习等技术解决海量UGC的文本相关性；（3） 分词、词性分析、实体识别、新词发现、语义关联等NLP基础性研究与开发；（4） 人工智能，分布式处理Hadoop；（5） 数据结构和算法；应用领域：口语输入、书面语输入、语言分析和理解、语言生成、口语输出技术、话语分析与对话、文献自动处理、多语问题的计算机处理、多模态的计算机处理、信息传输与信息存储 、自然语言处理中的数学方法、语言资源、自然语言处理系统的评测。相关术语：（2） NLP：人工智能的自然语言处理，NLP (Natural Language Processing) 是人工智能（AI）的一个子领域。NLP涉及领域很多，最令我感兴趣的是“中文自动分词”（Chinese word segmentation）：结婚的和尚未结婚的【计算机中却有可能理解为结婚的“和尚“】（四）射频/通信/信号算法工程师类包括3G/4G无线通信算法工程师， 通信基带算法工程师，DSP开发工程师（数字信号处理），射频通信工程师，信号算法工程师要求l 专业：计算机、通信相关专业；l 技术领域：2G、3G、4G，BlueTooth（蓝牙），WLAN，无线移动通信, 网络通信基带信号处理l 技术要求：（1） 了解2G，3G，4G，BlueTooth，WLAN等无线通信相关知识，熟悉现有的通信系统和标准协议，熟悉常用的无线测试设备；（2） 信号处理技术，通信算法；（3） 熟悉同步、均衡、信道译码等算法的基本原理；（4） 【射频部分】熟悉射频前端芯片，扎实的射频微波理论和测试经验，熟练使用射频电路仿真工具（如ADS或MW或Ansoft）；熟练使用cadence、altium designer PCB电路设计软件；（5） 有扎实的数学基础，如复变函数、随机过程、数值计算、矩阵论、离散数学应用领域：通信VR【用于快速传输视频图像，例如乐客灵境VR公司招募的通信工程师（数据编码、流数据）】物联网，车联网导航，军事，卫星，雷达相关术语：（1） 基带信号：指的是没有经过调制（进行频谱搬移和变换）的原始电信号。（2） 基带通信（又称基带传输）：指传输基带信号。进行基带传输的系统称为基带传输系统。传输介质的整个信道被一个基带信号占用.基带传输不需要调制解调器，设备化费小，具有速率高和误码率低等优点,.适合短距离的数据传输，传输距离在100米内，在音频市话、计算机网络通信中被广泛采用。如从计算机到监视器、打印机等外设的信号就是基带传输的。大多数的局域网使用基带传输，如以太网、令牌环网。（3） 射频：射频（RF）是Radio Frequency的缩写，表示可以辐射到空间的电磁频率（电磁波），频率范围从300KHz～300GHz之间（因为其较高的频率使其具有远距离传输能力）。射频简称RF射频就是射频电流，它是一种高频交流变化电磁波的简称。每秒变化小于1000次的交流电称为低频电流，大于10000次的称为高频电流，而射频就是这样一种高频电流。高频(大于10K)；射频（300K-300G）是高频的较高频段；微波频段（300M-300G）又是射频的较高频段。【有线电视就是用射频传输方式】（4） DSP：数字信号处理，也指数字信号处理芯片（五）数据挖掘算法工程师类包括推荐算法工程师，数据挖掘算法工程师要求l 专业：计算机、通信、应用数学、金融数学、模式识别、人工智能；l 技术领域：机器学习，数据挖掘l 技术要求：（1） 熟悉常用机器学习和数据挖掘算法，包括但不限于决策树、Kmeans、SVM、线性回归、逻辑回归以及神经网络等算法；（2） 熟练使用SQL、Matlab、Python等工具优先；（3） 对Hadoop、Spark、Storm等大规模数据存储与运算平台有实践经验【均为分布式计算框架】（4） 数学基础要好，如高数，统计学，数据结构l 加分项：数据挖掘建模大赛；应用领域（1） 个性化推荐（2） 广告投放（3） 大数据分析相关术语Map-Reduce：MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。（六）搜索算法工程师要求l 技术领域：自然语言l 技术要求：（1） 数据结构，海量数据处理、高性能计算、大规模分布式系统开发（2） hadoop、lucene（3） 精通Lucene/Solr/Elastic Search等技术，并有二次开发经验（4） 精通Lucene/Solr/Elastic Search等技术，并有二次开发经验；（5） 精通倒排索引、全文检索、分词、排序等相关技术；（6） 熟悉Java，熟悉Spring、MyBatis、Netty等主流框架；（7） 优秀的数据库设计和优化能力，精通MySQL数据库应用 ；（8） 了解推荐引擎和数据挖掘和机器学习的理论知识，有大型搜索应用的开发经验者优先。（七）控制算法工程师类包括了云台控制算法，飞控控制算法，机器人控制算法要求l 专业：计算机，电子信息工程，航天航空，自动化l 技术要求：（1） 精通自动控制原理（如PID）、现代控制理论，精通组合导航原理，姿态融合算法，电机驱动，电机驱动（2） 卡尔曼滤波，熟悉状态空间分析法对控制系统进行数学模型建模、分析调试；l 加分项：有电子设计大赛，机器人比赛，robocon等比赛经验，有硬件设计的基础；应用领域（1）医疗/工业机械设备（2）工业机器人（3）机器人（4）无人机飞控、云台控制等（八）导航算法工程师要求l 专业：计算机，电子信息工程，航天航空，自动化l 技术要求（以公司职位JD为例）公司一（1）精通惯性导航、激光导航、雷达导航等工作原理；（2）精通组合导航算法设计、精通卡尔曼滤波算法、精通路径规划算法；（3）具备导航方案设计和实现的工程经验；（4）熟悉C/C++语言、熟悉至少一种嵌入式系统开发、熟悉Matlab工具；公司二（1）熟悉基于视觉信息的SLAM、定位、导航算法，有1年以上相关的科研或项目经历；（2）熟悉惯性导航算法，熟悉IMU与视觉信息的融合;应用领域无人机、机器人等。

高~非常高主要是逻辑数学。。。这个是学的好的人大牛。学的不好的人必死的专业

：首先，我当前选择大数据算法工程师这个职业是不错的选择，也是顺应时代发展的选择，随着工业互联网时代的到来，广大产业领域会释放出大量大数据专业人才的需求，而且随着大数据产业生态的逐渐完善和成熟，大数据领域对于人才的需求也会趋于多元化

1、业务认知&问题定位首先要清楚你所要解决的问题是什么，是否需要复杂的算法求解。问题的定义来源于你对业务的认知和理解。我们经常陷入一种误区，觉得自己是一名算法工程师，遇到任务问题都想要用复杂的算法去求解。正所谓一顿操作猛如虎，得来的效果却很一般。因此，做事之前一定要在理解业务的基础上，把问题定位清楚，用合适的方法求解。2、数据挖掘&分析深度学习的应用能够突飞猛进的一个重要原因就是大数据的支撑。当前获取数据的成本很低，而数据清理和挖掘的成本很高，但非常重要。数据是模型的输入，是模型能够拟合的上限。在入模之前，你需要花一定的精力用于数据工作，这是必要也是值得的。因此，掌握数据能力也是一名算法工程师的必经之路。3、算法策略这是每位算法工程师的硬实力，有了清晰的问题和可用的数据后，我们需要选择合适的算法策略求解问题。就销量预估而言，由于特征大部分都是表格型，树模型及其变体成为首选的方案。通过树模型，你能够快速拿到一个不错的baseline。但千万不要停滞不前，你需要调研更多的先进的方案进行优化，即使此时能够拿到的受益不多，但请坚持专研的精神(近期时序模型中，热度很高的informer值得尝试)。此外，“人工智能，有多少人工就有多少智能”这句话在实际应用领域体现得淋漓尽致。策略也属于算法的一部分，人工策略有时候能够带来很大的受益，也能够找到更适合的算法优化方向。例如，我们在优化首猜的货品池时，考虑到首猜目前的推荐算法已经非常优秀了，但消费者的成交来源主要是搜索，我们通过人工分析选择了做增量货品供给的方式，拿到了不错的业务效果。基于此，我们也找到了更合适的选品算法优化方向。4、离线实验和线上AB实验实验是验证理论的最佳手段，也是最具有说服力的。我们需要找到几个合适的指标进行优化，并且要保证离线效。

算法工程师是一个非常紧缺的专业工程师。算法工程师根据研究领域来分主要有音频/视频算法处理、图像技术方面的二维信息算法处理和通信物理层、雷达信号处理、生物医学信号处理等领域的一维信息算法处理。