实习小结——4月
时间真的过的飞快,转眼间就实习接近一个月了,中间经历了五一假期,感觉时间飞逝,但自己却没有学到太多东西,没有把握住很多机会,总感觉现在有些退化到高一的时候,一瓶子不满,半瓶子晃荡的阶段,没有什么深层次积累,更别提有什么思考了,唯一省的就是心高气傲,浮躁的内心和急于名利的自己。趁着一个月的时间点,总结一下最近发生的事情, 哪些地方有所成长进步,哪些地方需要进一步反思和提高。
工作内容
参加实习(进组)的第一天,我便参与了一周一次的大组会。我们大组大概20人左右,分两个方向,一个方向7.8个人,我所在的小组是做成本管控优化的,另一个小组是做稳定性保障的;大组会上,+2老板坐在C位,大家随意做,作为实习生的我由于位置不足,拿了一个板凳坐在了一边,也很巧,刚进组便可以听听大家的OKR。虽然什么也听不懂,但好歹有些互联网大厂的氛围,大家在汇报的时候各种黑话层出不穷,OKR,Todo项,做功,这个Q下个Q......第一次切身感受到大厂的开会氛围,感觉和学校的组会最大的不同是大家是真正做出来东西的,是有相关的指标评估,有具体落实的目标和计划,而不是常规科研的假大空,同时老板也会和大家一起讨论,积极探讨一些方案的可行性,也不是常规导师的不懂装懂指手画脚。企业要的是效益,只有能落地的,切实可行的技术才能留住用户,产出真正的效益。大家上午汇报每个人的OKR后,下午便开启半年一次的团建,遗憾的是我被导师抓去汇报,只能告别团建,后面了解到,说是团建,其实是大家畅所欲言一下,阐述一下自己的目标和计划,老板画大饼,员工气宇轩昂。听说几个比较有意义的事,老板给自己的工作打了分,一个85,一个50,既体会出老板的奋斗价值,又能看出谦卑的态度和成长的空间;大部分的人都对大模型的发展充满信心,而且大家都认为大模型会逐渐取代低级(入门)形态的开发工程师。
自己主要的工作应该是协助mentor对模型进行tf版本的升级,显卡的置换,通过这些手段节省模型训练成本。经历了短暂的landing期后,配置完了环境,看完了一些基本文档,便接到了自己的第一个需求,把一个开发好的图示化数据网站扩充一些新的数据,是否能直升tf213,升级以后的性能分析等指标,大概开发了几天顺利完成任务;第二个任务便接踵而至,但第二个任务周期漫长,任务复杂度也比较高,且可解释性弱,需要更多的经验和对整体的把控。第二个任务并非编码工作,而是在公司的kml平台上调整参数训练一个test模型,记录GPU 1台A10去替代3台T4带来的收益;根据之前配置好的文档去改各类参数,发现一系列的各种问题,像OOM,性能低,停训跑不起来等,但最终勉勉强强地成功启动跑起来了;第二个任务还有后续的换镜像升级的任务,出现一些问题还没有完成,今天下午又迎来了第三个任务,我们部门负责的一个task中的MySQL出现了一些慢查询的现象,让我去分析一下,并且尝试优化如何解决。目前还没有什么大的方向和思路,只能一边摸索一边思考,可以去kStack看看一些相似套路的慢SQL治理方案;
实习一个月对我来说成长最大的就是日常沟通和交流,也算是成功做到了多听少说,勤学精问,和同事,mentor和leader的关系都处的还可以,大家人都很不错,和另一个实习生也成了晚饭搭子。最大的问题我认为可能是mentor的向下管理能力不强,表达能力也一般,总是随便说一下就完了,也不会去仔细教学和帮助成长。不过也是属于有问必答类型的,更多可能得靠自己的学习和成长。还有一个实习很直观的感受,就是自己这一个月太懒散了,不够紧张起来,可能是没有什么任务,也记不住什么东西,感觉浑浑噩噩地就过去了,不可以这样,不能这样,不这样。
工作中的成长
1.针对第一个任务,又多了解了一下blob存储机制,如阿里云OSS等云服务,云存储平台的学习,根据指标建模和计算,并且进行数据分析;
2.针对第二个任务,顺着第二个任务,了解到模型的基本训练的参数,主要是基于kml平台的训练框架部分的工作如参数调整、框架变更、xla优化、GPU置换等,也是跟着文档去做,自己所思考和成长的内容不多
但是衍生了一些知识的学习,针对整个训练流程的全优化,整个训练过程的指标,参数,全部流程的步骤,执行等,和算法、架构相关性很足,但与传统的开发好像不是一个level维度;由整个流程了解后,看了去年一整年团队在做的工作,降本增效,基于服务画像对训练模型进行优化,感觉做的很好,但技术性的含量不多,大多都是实验、分析等性质的内容,但读懂,弄明白就可以变成自己的产出
3.针对第三个任务,优化SQL慢查询,是一个比较常见、基础且重要的任务,以往有很多方法很多人,很多八股去分析整理这个问题,但是真正上手实操的我,还是第一次做相关的工作;
后续目标与计划
基调:
1.让自己每天都紧张起来,做好自己的OKR和todo
2.学会背下来东西,很多内容的本质就是记忆和重复,学会思考,少神游和慢渡,只有真正刻在脑子里的,才能最后转化成自己的东西
3.做好每天的计划,本月的ddl以及目标的设定
科研
目前已经基本稳定一周一汇报,随时叫我的情况减少了很多,为那个本科生复现出来毕设论文后,抓紧时间去整理这方面的相关论文,尽快出 A(成熟模型或经典框架) + B(指从其他学科或研究方向借鉴的创新组件)+ C(调参优化技术,构建完整的故事线说明优化逻辑)目前定下的路线:
看懂细读明白 Differential Privacy...,基本的框架,除收敛性分析外的内容争取都读明白,做思考和总结,free噪声 + 自适应噪声调整在无线联邦学习差分隐私下的内容;
整体DDL:接下来4个月,必须搓出来一篇文章,确保自己的毕业和后续的实习工作
- 5-6月:读懂论文,出来基本的idea方案,读懂收敛性分析
- 6-7月:完成文章的全部idea构建和初步的实验架构,进行收敛性分析;
- 7-8月:收敛性分析,跑实验,写文章初稿
- 8-9月:文章完稿,9月前完稿
实习
- 继续完成模型的置换,常做总结,输出doc,记录学习过程
- 学习慢查询的优化策略
- to be continued...按照公司安排的任务好好学
个人学习
无论最后选择什么方向:力扣 + 大模型的基础知识(深度学习基础 + Transformer、RAG、Agent)都要坚持学
搜广推:八股 + 项目
开发:做一个大模型相关的项目 + 日常八股
思考
由于实习接触了较多的推荐架构,稍微偏一点点算法的工作,且没有业务上的训练和内容产出,故这段时间也在犹豫要不要转搜广推算法岗。在很多社交平台看到很多能力和bg可能不如我的都可以成功拿下算法岗,再加上大模型的热潮,就让我更加想看一看搜广推算法的机会了,下面是调研了一段时间的总结
开发:
优点:
- 基础与兴趣:已经有Java学习基础和可包装的实习(服务平台的搭建代码);自己更喜欢编码即产出的即时获得感,确定性产出的业务;
- 未来:进可一线互联网大厂,退可二线国企,虽然和很多学历背景不如自己的人一起,但这也是自己的偏差优势;
- 思考:考虑大模型开发,但看目前hc也不多,而且也是大模型的偏门岗位,前景也一般,在增量时代下是可以存在,一旦构造完成RAG,agent等,如果没有其他收益就会面临淘汰风险,hc少卷度也高;
缺点:
- 待遇:待遇相对略低于算法
- 成长与发展:对于未来大模型的趋势,现在的传统编码重复性工作较多,害怕随着大模型的发展开发被取代,大厂内已经逐渐演变为程序员控制大模型来编码,担心未来大大批量的裁员,被大模型编码取代,可替代性强
算法(搜广推):
优点:
- 发展:符合大模型时代的增量发展趋势,可以蹭上大模型的整体发展趋势,后续可能喝上时代风口的汤
- 基础:有一些AI基础(还是需要重学的),且目前在从事的实习工作是推荐架构相关,非垂类,但也可以蹭上推荐算法的边;
- 待遇:薪资普遍高于开发,且大厂存在各类人才计划,只有算法相关的职位(尤其是大模型)可以参加
缺点:
- 学习成本:需要一段时间的沉淀和学习成本,基础知识,实操项目等等都要重新准备;入职后工作内容大多没有明确的输入输出获得感
- 未来:后续有35岁以后退居二线的想法,而非互联网大厂很难找到算法相关的岗位和职位
- 现状:目前搜广推业务达到了存量时代,大多都集中在如何提升指标,新业务增量很少,会有随时的指标压力,而且调参、处理数据,做的事情意义也不大。