2022年想做大数据工程技术人员报什么专业
2022-06-17 17:35:04文/丁雪竹2022年想做大数据工程技术人员报计算机类专业。数据科学与大数据技术专业属于交叉学科:以统计学、数学、计算机为三大支撑性学科。
大数据工程技术人工作内容
大数据工程工程技术人员工作任务职责取决于工作在数据流的哪一个环节。从数据上游到数据下游,大致工作内容就是使用工具组件(Spark、Flume、Kafka等)或者代码(Java、Scala等)来实现数据采集-数据清洗-数据存储-数据分析统计-数据可视化等几个方面的功能。
1、数据采集:
数据采集是指从传感器和智能设备、企业在线系统、企业离线系统、社交网络和互联网平台等获取数据的过程。数据包括RFID数据、传感器数据、用户行为数据、社交网络交互数据及移动互联网数据等各种类型的结构化、半结构化及非结构化的海量数据。
2、数据清洗:
一些字段可能会有异常取值,即脏数据。为了保证数据下游的"数据分析统计"能拿到比较高质量的数据,需要对这些记录进行过滤或者字段数据回填;一些日志的字段信息可能是多余的,下游不需要使用到这些字段做分析,同时也为了节省存储开销,需要删除这些多余的字段信息;.一些日志的字段信息可能包含用户敏感信息,需要做脱敏处理。
3、数据存储:
清洗后的数据可以落地入到数据仓库(Hive),供下游做离线分析。如果下游的"数据分析统计"对实时性要求比较高,则可以把日志记录入到kafka。
4、数据分析统计:
数据分析是数据流的下游,消费来自上游的数据。其实就是从日志记录里头统计出各种各样的报表数据,简单的报表统计可以用sql在kylin或者hive统计,复杂的报表就需要在代码层面用Spark、Storm做统计分析。
5、数据可视化:
用数据表格、数据图等直观的形式展示上游"数据分析统计"的数据。
大数据技术就业方向
大数据的就业范围广,可以选择岗位很多。
如:大数据发展工程师,操作工程师、大数据架构师、工程师、BI工程师、数据挖掘工程师、ETL开发工程师、Spark开发工程师等等。
虽然大数据的就业前景很好,但掌握大数据开发技术也是前提。否则,不管这个行业发展得多好,有多少工作机会,都和你没有关系。
- 大数据工程技术人员是做什么的 工作内容有哪些
近日,人社部发布通知,正式公布了十三个新职业信息,...
2019-04-04 - 2022年想做管道工程与油气储运技术人员报什么专业
2022年想做管道工程与油气储运技术人员报工程技术...
2022-06-17 - 2022年想做人工智能工程技术人员报什么专业
2022年想做人工智能工程技术人员报计算机类专业。...
2022-06-17 - 2022年想做石油与天然气工程技术人员报什么专业
2022年想做石油与天然气工程技术人员报工程技术类...
2022-06-17 - 2022高考443分左右能上哪些大学 新高考文理科能报什么学校
2022年高考443分可以报哪些大学?443分左右...
2022-06-17 - 2022高考志愿填报要不要找机构 哪个更靠谱
2022高考志愿填报可以找机构,小编推荐你比较好的...
2022-06-17 - 2022年想做网页(WEB)前端开发工程师报什么专业
2022年想做网页(WEB)前端开发工程师报计算机...
2022-06-17 - 2022高考442分左右能上哪些大学 新高考文理科能报什么学校
2022年高考442分可以报哪些大学?442分左右...
2022-06-17 - 2022年想做地质勘探技术人员报什么专业
2022年想做地质勘探技术人员报工程技术类专业。地...
2022-06-17 - 2022年想做用户界面(UI)设计师报什么专业
2022年想做用户界面(UI)设计师报计算机类专业...
2022-06-17 - 2022年想做心理医生报什么专业
2022年想做心理医生报医学类专业。我国正式的心理...
2022-06-17 - 2022年想做船舶工程技术人员报什么专业
2022年想做船舶工程技术人员报工程技术类专业。掌...
2022-06-17 - 2022年想做信息技术(IT)项目经理报什么专业
2022年想做信息技术(IT)项目经理报计算机类专...
2022-06-17 - 2022免费高考填报志愿软件 都有什么
高考分数即将公布,全国各地的莘莘学子们也要选一个好...
2022-06-17 - 2022年想做中医科医师报什么专业
2022年想做中医科医师报医疗类专业。考虑到我国实...
2022-06-17
点击查看 高考志愿填报指导 更多内容