Skip to content

碎碎念

这里的文本来自 Notion 每周更新的文字的归档 也就是 RE:从零开始的学算法生活

d2l 学学 Transformer 先,用的多一点,不过这个代码确实有点绕,算矩阵维度那一块

也不知道做了什么,每天就是写写 leetcode 记录一下笔记

另外就是看着 github 上的仓库想着要不要赛点东西进去

哦还有一件悲伤的事情就是3月初就开学了……下学期还有俩考试课……头疼

今天是春节大年初一咯,但是还是周二,例行发布一下

这周参加了第一个 LeetCode 的竞赛!还拿下了 3道题(Q1 审题不仔细罚时,可惜)很有正反馈啊,刷题是对的

d2l 开始推进了,学了点有名字的网络,接着加油吧~

开发了蛮久的 paper-tracker 发布了一下,欢迎关注,提 Issue & PR,参见上一个笔记

刷算法换了个方向,改成用灵茶山艾府的题单了,并且重点也不在leetcode上了每天随缘写点

d2l 重启,每天看一点,学理论记笔记+读懂代码+记录有意义的 QA 题目

把 paper-tracker 的肝出第一个小 demo 了,花费了大约两周时间做的,勉勉强强也是能用了

这个 blog 信息密度有点低好像,后面看看要不要写重写一份得了,顺便把我的项目展示效果也集成到其中?

上周五从实习离职了,写了一些感想,已经发布到 blog 和 小红书了

周末花了很多时间在写 paper-tracker 的工具,开了个 Claude Code 同时也学了很多 Vibe coding 的技能,后面考虑写一个文档总结一下

这周把 Hot 100 完结了(除了图论),重启代码随想录完成图论章节,不过重点不在刷算法上了

下周计划把 paper-tracker 小工具写完 1.0 的基本功能发布一下,然后推进 DL 的理论知识

实习 last week, 找 leader 谈了谈,有些许收获,打算把实习的总结重写一下再说,下周开始全盛形态学习

d2l 没有花时间写,空闲时间在读文献,Hot 100 预计下一周能够完结

打算开一个 GitHub 新仓库,功能是自动拉最新的文献并总结等,目前处于刚起步阶段

Hot 100 完成三分之二了,剩下最后一部分,相关文章上传了一下

实习太花时间了,赶快到月底结束吧,多一点自由时间

d2l 继续学 CNN,这里关于 通道数的讲解确实解决了之前一直不理解的一个问题,课程质量很高,跟着学很有收获

这段时间进度其实并不快,不过打打卡证明下还在坚持推进中…

我发现这个 LeetCode 真是个好东西,因为他是即时正反馈啊,所以写起来还挺有激励

Hot 100 继续推进,好多题目都是第二次遇到了,但是还是有所收获,有的算法或者代码语言的 api 要反复练习才能记得点,打算写完这个再写一个 Hot 150

这周转一个方向,去看一下 VAE 那边的东西调查一下,读一点文献,学一下 AutoEncoder 那边的东西

d2l 继续推进,暂时还比较轻松这一部分,因为 CNN 的东西确实接触的比较多,但是进度谈不上快,毕竟还在公司实习,自由支配的时间很少

收集一下八股,现在看来只要和 AI 沾点边的都要会点 LLM,这下不得不开始背了

Hot 100 接着推,写了 三分之一了,有一些题初见做不来,需要多刷几遍,收藏在了 leetcode 上,把 Hot 100 前 33 道题目的笔记发布到了 blog 中(基本上都是一些最优解,二刷的时候方便复习)

《代码随想录》图论先暂停了,我打算先把 Hot 100 通一次,遇到图论题先跳过了,之后再单独系统学图论

打算开始着手去收集一些八股内容学习,大体方向就是搜集面经资料,然后整理在一起,同时写答案

d2l 继续进行推进,因为 pyroch 本来就会一点,所以速通了

另外就是得花时间学学 python 几个经典的库用法,主要是 pandas,用来预处理数据用的很多,numpy 基本学 d2l 顺手学会了一些

由于身体原因这周进展很小

做了一版的研究生的汇报,把模型训练出来测了一下效果

写了 20 道 hot 100,但是发现自己已经忘了好多内容了,可能需要好几轮 epoch 去更新参数了,不然连过拟合都学不到

dl 没有推进进度,要加紧了

清理了下 Notion 的碎碎念历史记录

这周写完了单调栈……,单调栈有两道 hard 的题目,还是没那么轻松的

开始着手写最后的章节图论,同步写一下 Hot 100(主要是图论都是换网站写 ACM 了,但是LeetCode 的签到不想断hhh)

期末这几天连着要写大作业和开题乱七八糟的,真是事情多啊

这周把项目里改了个 losw weight 的衰减,再加上改了一点 val 的逻辑,又是花了一下午,改 dl 的代码很费时间,难 debug

d2l 稍微推进了一些进度,不过马上就放假了,时间会多一点咯吗,可以多花一点时间了

感觉进度有点太慢了,应该合理分配一下研究生项目和自己学习的时间了,正好下两周由于学校事情,少实习了两天,我必须加紧 d2l 的工作了

终于终于终于是把 dp 写完了 😭 写了整整 3 个礼拜啊,也太多了,怎么感觉写到结尾开头的又忘了呢……不管了,只剩下单调栈和图论了,快要结束了……补兑!怎么图论题目也好多……

Blog 网站更新了加密逻辑,同时增加了一些分类加密的功能,减少了对某个分类重复输入密码的情况

最近项目到也不算是一无所获,倒是实战解决了一个梯度爆炸的问题

思考了一下李沐课程的学习方式,感觉单纯对着代码敲提升有限,所以决定在每一个章节的结束加一个复习的流程,也就是能够尝试自己将所有的代码模块写出来,写不出来就接着回头看。

本质上就是一个:学习的时候要理解内容,在学习完后要有一个独立的强化记忆的阶段(这算不算一种 Reinforce Learning 🤔)

回头看看之前写的碎碎念,发现路线是改来改去。实习工作中更是发现,很难在项目开始就给出一个很完美的方式,总是写一点看看现状,然后检查是否符合条件,然后再改改继续写下去。

这周接着写动态规划(DP 的题目是真有点难想)的题目,同时也顺手写了点 Hot 100 的题目,Hot 100 我用的使用 python 来写了,想着更加熟悉一下 python 的语法,也同时更加专注于算法本身

李沐的算法也照常推进,感觉这个代码得能够自行撰写出来才行,跟着敲是记不住的,在内容差不多够一个阶段的时候,要抽时间梳理自己写写看了

这周给 blog 申请了网页证书,并更新了 https 服务,现在浏览器不会报不安全连接的错误了(折腾了好久才成功,全靠 G 老师帮忙啊)

学校项目实验终于是跑出来一版数据了,给周报写了交上去了,这下又有新的阶段任务要写了,哎继续加油吧

李沐的课程实在没什么时间,因为这周好像花在 coding 本身上时间更多(都怪 dp) 下周加把劲吧

这周把 pytorch 剩下的内容全部都学完了,笔记也发布到了 blog 。感觉只是学会了一些基本的用法,但是其中每一个函数的实际实现还需要自己学习(比如在 LeetCode 刷完去刷 AI 的相关的 Numpy 算法?)

Anyway, 学习完这一步就可以开始写一点点项目了 🤗

代码随想录完成了贪心算法模块,这周稍微加速了一下,每天写的题量都有所上升,因此这一部分很快,开启 动态规划章节,这一章节内容是真多啊,感觉要写很久(DP放过我~)

这周开了李沐大神的课程,不得不说内容是真的很好,太赞了!本着做事留痕的原则,还是接着记笔记,不过这种代码太多的不太适合直接发表在blog上,我就将我对着视频写的一些代码发表在 github 上了,仓库链接 https://github.com/Rainer-seventeen/dive-into-deep-learning

我更喜欢在纸质书上进行长篇阅读,因此买了本《动手学深度学习》,实体书也写的相当好,内容和 github 中 d2l 的 repo 是一致的

这周完成了代码随想录中的回溯算法,并发布对应笔记到 blog 上,回溯在学习完递归之后还是相对简单的,下一章节是贪心算法。

视频项目训练启动了,终于跑起来了,就是训练速度很缓慢,IO 瓶颈比较大,暂时也没有很好的优化方案,先跑一个基准结果吧。感觉训练的 loss 不是很稳定,抽空优先 debug 一下网络的细节内容,检查梯度问题,然后写一个小 sample 单独看看能不能过拟合吧

这周主要还复习了 pytorch 的用法,因为之前学过,所以看两眼就行了,进度非常快,实际写代码的时候再具体查看文档吧

计划保持不变:接着把 pytorch 剩下的学完,然后动手写写把鱼书搞定了,就开始做李沐的项目

这次周报是双十一啊,挺巧合的,但是我没什么东西要买的 😁

考虑到以后的每周汇报大部分内容都包含了实验室的项目,并不适合公开,因此打算将其他可以公开的内容(比如说 DL 的笔记,随手写的一些 Coding 等)单独开页面记录,周报专心记录每次的项目进度了。

太忙啦,没什么时间娱乐了,花了巨量的时间在环境配置上,项目进度也没有推很多,希望后面能加速,这周只跑了一个 EDVR 的项目,没有什么实质性的进展,不过环境熟悉了,后面应该会快很多。

不过我研究生终归是以就业为导向,不应该减少就业方向上时间的花销,或许研究生阶段最该做的?学好就业所需的技能。毕竟,毕业了可不包分配工作,到时候秋招火葬场就完咯 🤣

当前计划:李宏毅主要内容学的差不多了,感觉已经对 DL 有了一个框架性认识,应该开始深入了。将李宏毅内容暂停,速通鱼书项目,之后完成 pytroch 学习,最后开始李沐项目实战。

计划赶不上变化,目前看来花书并不适合学习而更加像一本百科全书,改变计划为使用鱼书,然后本周开始启动,计划两周内完成,从李宏毅课程时间中分出来一些。李宏毅课程打算在nlp之前先暂停,先详细巩固一下已经学习的内容。

视频编码项目事项增多,需要分配更多的时间,但是其不属于本计划的主要内容,所以从本计划中删除

本周终于把代码随想录中二叉树章节完结,将一些易错的内容摘选发表在 blog 上,后面开始回溯章节

换了台 MacBook,花了很多时间在配置电脑上,本周进度并不快。

对计划做了一些调整:我认为还是要优先构建基础理论框架,所以将 pytorch 的内容延后一下,新增项目——读《深度学习》(花书),计划在李宏毅课程完结后开始推进;新增一个导师指派的视频编码项目;对李宏毅项目增加新的子项目,因此对进度条产生一些影响。

Blog 网站的域名过审了,终于可以通过域名访问了。网站更新了一个单独的列表页面,用于展示所有文章,方便检索查看,同时添加了单独 Markdown文本 引用样式支持(采用 GitHub 的样式)。另外,添加了对长文章 TOC 滚动条的支持,修复了无法点击到页面外的标题的 bug。

单独开设了一个分类“深度学习”,将相关笔记统一存放在其下,可以通过点击网页右侧的 分类标签来进行跳转。

但愿能够在明年读研之前找到一个算法实习,但是感觉有困难,因为我时间真的很紧张……已经是实习+学习+研究生项目连轴转了。况且实在是0基础,就算看完了李宏毅课程,也仅仅概览了一下,我觉得仍然有必要专门学习花书来落实细节上的基础,最后再通过李沐进行代码方面的实战。

最近还找到了一个好网站,Deep-ML,一个专门用来刷 DL 算法的网站,AI 界的 LeetCode 了。在 LeetCode 方面规划是刷完代码随想录后,用 python 去写 hot100 吧,感觉 python 特性也需要复习复习了。

这周算是正式开始记录了,我周末搭建了自己的个人网站,并将当前页面 Link 到主页,之后会在网站上发布每周汇报。

最近一直在考虑如何分类我的文件,就是要把内容放在周报内部,还是将内容单独分类,然后周报链接过去。我看情况吧,当前主要在学李宏毅的AI课程,我觉得这个可以写在周报里,因为本来也不算特别深,只是入门,日后不太会仔细检索,我加一个TAG就行。

感觉自己好忙碌……比我考研的室友都忙。日常工作是:3天在公司实习,实习每天晚上8点多到家,看心情,偶尔会写一点点轻度工作,像是文档整理之类的,偶尔就打打游戏睡觉;4天不上班,专心从事 Notion 中计划的流程,包括看网课,读读文献等,不过每天不变是不论上班与否,坚持刷LeetCode,感觉那个是一切岗位的门槛。

这周和老师商量了一下毕设的进度,老师批准了我优先去学基础工作的相关内容,现在计划就是从 Week2 开始暂停 4 周 (一个月)的毕业设计进度,将主要时间花在学习理论基础上。这 4 周内需要将基础理论完毕,如果有时间多出来可以优先复习 Pytorch 的代码。

Week0 随便就讲讲为什么走这条路吧。25年5月左右得知学校有实习要求,于是开始上网招实习,结果发现通信工程师根本没有招实习生的 😅,

于是一个月练了练 LeetCode, 自学了点嵌入式的知识进了一家芯片公司嵌入式软件开发,由此发现你通信真是烂完了,跑路 🤣!

后面就到了九推选导师,从嵌软和CV方向AI中还是选择的靠近AI的,从此就想着研究生搭上AI的顺风车,后面看看在这边继续发展咯~

最近还在实习,最难蚌的是我的很多内容是通过AI来实现的,之前还说AI上下文能力太弱,coding水平还不够,结果上班后用了 Plus 惊觉他已经强到这种地步了 😲

既然一直有软件开发是另类的劳动密集型产业,那很有可能被替代,如同自动化代替工人劳动力一样,走软开可能更要担心下岗危机 😴 (有可能不是因为年龄而是被AI给踢了 🤣)