一周的碎碎念_2

数电实验

伟大的Verilog。十分钟速通验收。数电实验存活时间最短的一集。

CS231n

没有时间做assignment😭周末狠狠刷！

棒球

爆米买了mizuno的棒球鞋。以及系队的队服终于到了。感动。

LLM活动

系里请了王慎执(https://shenzhi-wang.netlify.app/)学长给我们做了LLM的一个介绍。
基础知识速览是真的速览
模型也直接跳过ConvNet，RNN，直接来到了Transformer。本来我是想怀着崇敬的心情，沿着模型的发展历程，一步步走到Transformer，在找一段时间细细品味这个架构的，但学长有现成的高效的讲解我当然得听！虽然没有实际的代码演示，理解仍旧十分不太透彻，但这次我终于把Transformer的Q，K，V中的V的存在的必要性理解了：

Q，K只做到了词与词之间的联系，与V做点积才是对整个句子理解

以及请教了学长在模型训练中的关于loss spike的问题，这篇文章(https://zhuanlan.zhihu.com/p/700042526?utm_medium=social&utm_psn=1843052052059668481&utm_source=wechat_session)非常有意思。
以及学长有些强的过分了

膜🙏