목록Metaformer 설명 (1)
Jungeun Park
[논문 리뷰] MetaFormer is Actually What You Need for Vision
Abstract Transformer는 vision 태스크에서 큰 잠재력을 보여줌 Transformer의 높은 성능의 요인이 Attention 기반의 token mixer모듈이라고 여겨짐 그러나 최근 연구에 따르면 Transformer의 Attention 기반 모듈은 spatial MLP로 대체될 수 있으며 대체된 모델은 여전히 우수한 성능을 보임 이러한 관찰에 기초하여, 논문은 특정 token mixer 모델 대신 Transformer의 general 아키텍처가 모델의 성능에 더 필수적이라고 가정함 이를 검증하기 위해, 논문에서는 의도적으로 Transformer의 Attention 모듈을 매우 단순한 Pooling operator로 교체하여 가장 기본적인 token mixing만 수행함 PoolForm..
딥러닝 스터디
2021. 12. 14. 16:21