V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
vowers
V2EX  ›  职场话题

毕业快两年了,从事大数据方面工作,现在很迷茫,求大佬指点

  •  
  •   vowers · 2018-09-27 16:33:27 +08:00 · 9621 次点击
    这是一个创建于 2284 天前的主题,其中的信息可能已经有所发展或是发生改变。
    普通二本本科毕业,本来是信息安全专业,本来是很喜欢安全行业,但同样也热衷大数据,毕业还是先找到了大数据方面的工作(非北上广深)。

    现在对大数据平台有一定了解,自己搭建维过也护集群(主要是用 ambari 平台),对 Hadoop 平台、Hbase、redis、kafka ……都有用过但说不上熟悉,主要是用 spark 来处理分析一些数据,所以学习了 Scala,但还是主要用 python (本科阶段就在写所以顺手),有一定数据基础吧,毕竟大学里概率论、离散数学、信息论等等基础的数学理论还是凑合吧(信息安全专业的好处就是计算机相关课程都学了一遍,而且密码学所以数学也要求不低),有一段时间在做时间序列的预测分析等

    但是后来在公司里,自己大数据方面的技术就再没怎么长进了,大部分时间都在维护集群、写爬虫、写接口等等琐碎的事,曾经看过一篇 基于深度学习的城市网格人流预测 其实很想模仿学习一下,但一方面卡住了不知道自己从哪里入手,另一方面公司(小团队)琐碎事情太多也没办法专心搞,其实自己很是很想学习机器学习方面的,但也不知道怎么开始了。。。

    毕业快两年了,,,准备离职了,但是都不知道下一份工作该怎么办,安全相关早被我落下,大数据其实也没精通啥,啥都是了解但也没有哪个特别熟悉精通,感觉自己净写了一年多各种 python 爬虫接口什么的对 python 其实帮助也不大。。。

    各位大佬,我还是想从事大数据方面工作,很想去大公司里学习一下,发现自己真的技术太差了,不知道我下来该怎么走啊。。。实在有点烦了
    40 条回复    2018-10-08 10:00:53 +08:00
    listnodeptr
        1
    listnodeptr  
       2018-09-27 16:51:41 +08:00
    你可以考虑安全相关风控领域的招聘,做帐号安全数据分析风险建模之类的
    vowers
        2
    vowers  
    OP
       2018-09-27 16:56:29 +08:00
    @listnodeptr 谢谢,确实之前也关注安全方向的大数据,也挺有兴趣
    linghutf
        3
    linghutf  
       2018-09-27 16:56:35 +08:00
    觉得学不到东西就应该勇敢走
    wizardforcel
        4
    wizardforcel  
       2018-09-27 17:42:30 +08:00 via Android
    数据分析了解一下
    jbiao520
        5
    jbiao520  
       2018-09-27 17:47:53 +08:00
    把用过的技术都搞懂,实现原理,最佳实践,重要源码阅读。如果只是简单调用几个 api 肯定会很迷茫的,因为等于啥都不会
    vowers
        6
    vowers  
    OP
       2018-09-27 17:59:01 +08:00
    @linghutf 确实,公司团队小,没什么大佬能带着,准备离职了
    vowers
        7
    vowers  
    OP
       2018-09-27 17:59:42 +08:00
    @wizardforcel 就是在做数据分析方面工作,只是杂事太多
    vowers
        8
    vowers  
    OP
       2018-09-27 18:00:24 +08:00
    @jbiao520 谢谢,是真的用了很多但感觉自己还是啥都不会,这么一点明白了
    abmin521
        9
    abmin521  
       2018-09-27 18:01:49 +08:00
    这帖子好像也快月经了 不管哪个方向都要能深入
    s3040608090
        10
    s3040608090  
       2018-09-27 18:19:24 +08:00
    我也是本科学习统计学,时间序列之类的。出来做数据分析,结果现在整天都在用 python 做接口开发(因为公司小没有数据开发)。已经做了半年了,感觉机器学习都忘记光了。想再做一段时间辞职考研。
    vowers
        11
    vowers  
    OP
       2018-09-27 18:26:50 +08:00   ❤️ 1
    @s3040608090 有点后悔当初没考研,现在我是没勇气再坚持考研去了。。。
    vowers
        12
    vowers  
    OP
       2018-09-27 18:27:22 +08:00
    @abmin521 谢谢
    misaka19000
        13
    misaka19000  
       2018-09-27 18:28:06 +08:00 via Android
    啊。。。最近才开始看大数据相关内容的萌新瑟瑟发抖😵😫
    alfredsun
        14
    alfredsun  
       2018-09-27 19:01:11 +08:00
    @s3040608090 考研好有勇气
    godbmw
        15
    godbmw  
       2018-09-27 19:49:51 +08:00
    之前我在实验室帮老师做东西(大数据方便),基本靠自学.半年基本就是学各种 API,觉得学不到东西,就退出了.PS:现在钟情 web
    wizardforcel
        16
    wizardforcel  
       2018-09-27 20:35:31 +08:00
    @vowers 不是啊,你这是大数据开发,跟一般的后端没啥区别。跟数据分析差远了。
    vowers
        17
    vowers  
    OP
       2018-09-28 09:10:53 +08:00
    @wizardforcel 我是做分析的啊,一直在做人群画像和预测,只是其他杂事太多没办法也没人做只能也干着,,,
    Magic078
        18
    Magic078  
       2018-09-28 09:20:10 +08:00   ❤️ 1
    数据分析偏 SQL,数据开发偏实时计算,离线计算,数据挖掘偏算法,机器学习,数据平台偏 Hadoop
    vowers
        19
    vowers  
    OP
       2018-09-28 09:30:54 +08:00
    @Magic078 谢谢,,学习了
    enaxm
        20
    enaxm  
       2018-09-28 09:42:26 +08:00
    安全我认为可以放弃了,缺点有整体大环境不是很好、研究方向不成体系、工作内容较杂且只适合养老,帮你削减选择。
    hiddendeerer
        21
    hiddendeerer  
       2018-09-28 09:46:57 +08:00
    @godbmw 我是做 WEB 建站的,我还想着做安全大数据方面,感觉比较高端,工薪也好提,你这反而跟我倒着来了
    vowers
        22
    vowers  
    OP
       2018-09-28 09:48:41 +08:00
    @enaxm 也算是机缘巧合,毕业时候想着先找到哪方面工作就干哪方面了,有家很想去的安全团队没能过面,就开始干大数据了,虽然还是很喜欢大学时候瞎捣鼓安全方面,但既然做了这方面了应该不会再回头搞安全了
    vowers
        23
    vowers  
    OP
       2018-09-28 09:52:37 +08:00
    @hiddendeerer em。。。其实安全大数据方向挺有趣的,我也琢磨琢磨。不过 web 应该不会搞,顶多是个人兴趣
    anthow
        24
    anthow  
       2018-09-28 10:28:00 +08:00
    为什么我的关注点在毕业“快两年",不应该是两年多么~
    vowers
        25
    vowers  
    OP
       2018-09-28 10:45:23 +08:00
    @anthow 17 届毕业的啊。。。
    LxkLxkLxk
        26
    LxkLxkLxk  
       2018-09-28 14:08:04 +08:00
    @s3040608090 加油,明年一起考研!
    wqzjk393
        27
    wqzjk393  
       2018-09-29 15:18:43 +08:00
    1、集群搭建和调优,感觉需求大,但是感觉更像是运维
    2、爬虫方向,有不少公司有专门的爬虫工程师,需要很强的反反爬虫能力
    3、数据分析挖掘方向,就机器学习这些,需要很强的数学能力,最好考研
    wqzjk393
        28
    wqzjk393  
       2018-09-29 15:24:46 +08:00
    还有数据分析这个,我感觉这个方向的未来基本上不是成了产品经理,就是成立数据挖掘算法方向的工程师或者是数据产品研发方向的。纯数据分析估计没啥意思,我们公司基本上进来的分析工程师,但是内部培训都是往挖掘还有机器学习方向培养的。
    vowers
        29
    vowers  
    OP
       2018-09-29 17:04:59 +08:00
    @wqzjk393 谢谢,我也是觉得需要主要往数据挖局和机器学习方面研究可能会更好
    cirton
        30
    cirton  
       2018-09-29 17:44:07 +08:00
    建议楼主想好要做什么,然后就赶紧走。

    我接触大数据,也快四年了,做过集群部署和调优,写过接口,shell,java,python 都用,还做过 hive 的离线处理,kafka+spark 流实时处理等等,做这么多的后果就是最后一样都不精。

    当时没觉得怎样,后来出来找工作的时候就发现问题了。什么都了解,什么都不精,稍微问的深入一些,就不懂了。最后还被面试官评定为基础不好。。

    做技术还是要专注一些的好,反正我现在是后悔死了。
    vowers
        31
    vowers  
    OP
       2018-09-29 17:56:50 +08:00
    @cirton 我也是越来越感觉到了,会的东西不少,可基本都停留在会用,确实我也需要抓住一个方向深入了
    qq9808
        32
    qq9808  
       2018-09-30 09:51:01 +08:00
    我是 java 开发的,目前也在自学大数据呢,想转大数据
    BQsummer
        33
    BQsummer  
       2018-09-30 17:01:24 +08:00
    @vowers 面试都是要问底层的,这种东西不是说一个好公司,一个好项目就能学到的,都是得自己抽时间看源码看书的。
    brucewuio
        34
    brucewuio  
       2018-09-30 17:05:50 +08:00
    怎么说呢 看了很多相关的帖子 很多和楼主类似的情况 我只能说现在的大学,培训之类的都是为了满足社会,或者说国家需求而"教育", 不是真正的教育。

    我看了下 MIT 那些课程和教材 很是注重培养科学思维,只能说国情不一样。

    至于建议,我给不出什么,我就说说我自己的情况吧,我目前在写 java,大多数都是些业务逻辑,有小部分设计分布式,总体来说没什么难度,我感觉还挺舒服的,我自己下班就学学其他,比如 Go 写写我需要的东西,看看原理的书籍,很有趣。

    我觉得还是自己怎么看,毕竟很多东西不可兼得。
    vowers
        35
    vowers  
    OP
       2018-09-30 21:44:44 +08:00
    @brucewuio 谢谢 ,很有道理,不在于那条路好,就看我怎么活
    wjx1993
        36
    wjx1993  
       2018-10-01 18:24:52 +08:00 via Android
    和楼主经历的有点相似,楼主后面打算怎么办?顺便求指点迷津
    onyourroad
        37
    onyourroad  
       2018-10-02 08:01:55 +08:00
    那你不如考个好的学校研究生了。
    user919lx
        38
    user919lx  
       2018-10-05 04:59:34 +08:00
    @vowers

    我自己也是做大数据方面的工作,现在是一名数据工程师。我对未来的方向还是比较清晰的,我的目标就是深耕数据工程这个领域,不拘泥于技术(当然,主流技术是要学习的,只是不过分深究细节),把重点放在建立数据体系上,总的来说,就是让数据变得更易使用。

    首先推荐你看一篇文章,《数据工程师的崛起》,Airflow 的开发者写的,大数据文摘翻译。流传比较广,随便搜一下就有了。这篇文章对数据工程师的工作做了比较全面的总结,可以帮助你梳理一下数据工程的整体概况,对未来的方向会有更清晰的认识。

    然后如果找不到方向,建议学习一下数据仓库的相关知识。就我自己的经验来看,有数据仓库项目经验的工程师,在求职时真的非常有优势。很多公司都开始意识到数据仓库的重要性了,都想建数据仓库,但懂得怎么搞的人真的不多,能把大数据和传统数仓结合起来的人就更少了。这东西投入大,见效慢,风险高。我之前的公司,就有这种情况:大老板专门成立一个部门搞数据仓库,但搞了几个月都没什么产出,最后又解散掉了。

    另外,可以去买一本阿里数据部出的《大数据之路》看一下。这本书讲的东西都比较浅,但内容全面,数据工程涉及的方方面面都有提及,你完全可以选其中比较感兴趣的部分深入研究。

    如果打算在这个行业里继续发展,还是考虑到一线城市去,到有数据氛围的公司去。这些公司,一则对数据比较重视,使用的场景也多,相应地踩坑也多,有很多可以学习的相关经验。二则数据量大,种类丰富,需求多样,对你自己是挑战也是提升自我的机会。三则数据分析师比较优秀,你的工作的价值会得到体现(数据仓库建得再好,也得有人用才有意义)

    就我自己了解的情况来看。国内有名的大公司里面,阿里和美团在这方面应该是做得最好的公司了,他们有非常强大的工程和分析团队,还有自己开发的各种系统,满足方方面面的数据需求。
    godbmw
        39
    godbmw  
       2018-10-06 19:32:19 +08:00
    @enaxm 我是跟着兴趣走。而且是学生,所以不需要有考虑工资、待遇那么多的考量。
    qq9808
        40
    qq9808  
       2018-10-08 10:00:53 +08:00
    @user919lx 老哥 可以加个好友交流一下吗?我是做 java web 开发的 最近都在自学大数据想往这方面转 想向你学习一下
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2612 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 03:34 · PVG 11:34 · LAX 19:34 · JFK 22:34
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.