算法与电路
最近在看电路(原理图)的时候, 发现算法与电路是一个很相似的构成, 比如我们看pcb版, 首先看的就是电路拓扑(只关心谁与谁连接), 里面会有很多芯片, 我们很多时候就看芯片提供的一些功能就好, 电阻, 电容这些(标准件)不是我们一开始最应该关心的内容, 比如就像某一个线性变换, 某一个加号不是我们开始最应该关心的内容.
以Jepa为例,
Ijepa, Leworld model
我们关心的是encoder - predictor 这个结构,
往细一步说: 就是问 encoder是什么模型(类似电路例的芯片), (xxx是什么xxx语法)
encoder用的是VIT (标准件)
predictor 是(xx)
ot -> encoder
ot+1 -> encoder
这个拓扑是我们关心的
ot 进入 encoder
ot +1 encoder (encoder 编码了 ot+1) 这样的一种语义
然后这两个encoder的输出做一个loss
那么一般来说, 可能会有一个麻烦的问题, 这种架构, 不是会得到一个平凡解们