21.03 CLIP

OpenAI Blog: https://openai.com/index/clip/

在超大规模 image-text 对上做对比学习，成功让模型将 image 和语义信息关联起来

同时期还有另一项工作 DINO，通过自监督自蒸馏学习让模型学习到了 image 的结构信息