밍경송의 E.B

특정 모델이 위 그림처럼 한 이미지를 보고 '사슴'이라고 분류했을 때 이 모델이 어떻게. 이미지의 어느 부분을 보고 '사슴'이라는 결과를 도출해낸 걸까요?--Neural network는 수백만 개 이상의 파라미터가 복잡하게 연결된 구조이기 때문에 왜 작동하는지, 어떻게 특정 결과를 도출하는지 사람이 알 수 없다는 점 때문에 Black box라고도 불리는데요. 특히 이미지를 다루는 모델의 경우 non-linear activation function 때문에 그 파악이 더욱 어렵다고 합니다. 이런 딥러닝 모델을 visualization하기 위한 여러 방법이 제시되었고, 현재는 이것이 eXplainable AI, XAI라는 하나의 분야로 자리잡게 되었습니다. 그리고 오늘은 그 중에서도 널리 알려진, 2016년에..

https://mgyxxmi0219.tistory.com/112 Transformer(2) - Self-Attention and Multi-head Attention Mechanismhttps://mgyxxmi0219.tistory.com/111 Vision Transformer(Vit) & Vision-and-Language Transformer(Vilt)(1) - Attention mechanismTransformer 모델은 Translate 문제에서 RNN/CNN을 쓰지 않고 Attention과 Fully Connected Layer와 같은 기본 연산들mgyxxmi0219.tistory.com에서 이어지는 내용입니다!   이제 Transfomer의 기본 매커니즘에 대해 다뤄봤으니, 궁극적으로 이해하..

https://mgyxxmi0219.tistory.com/111 Vision Transformer(Vit) & Vision-and-Language Transformer(Vilt)(1) - Attention mechanismTransformer 모델은 Translate 문제에서 RNN/CNN을 쓰지 않고 Attention과 Fully Connected Layer와 같은 기본 연산들만으로 SOTA 성능을 이끌어낸 연구로 유명하다. 연구에 참여하기 위해 간단히 공부한 부분에mgyxxmi0219.tistory.com 에서 이어지는 내용입니다.  How about Self-Attention? 이렇게 Attention 메커니즘이 발전하고 있던 와중, RNN 없이 Attention만을 가지고 언어 모델을 만들어보려는..

연구에 참여하기 위해 간단히 공부한 부분에 대해 정리해두고자 한다. Transformer 모델은 Translate 문제에서 RNN/CNN을 쓰지 않고 Attention과 Fully Connected Layer와 같은 기본 연산들만으로 SOTA 성능을 이끌어낸 연구로 유명하다.   내가 궁극적으로 알고자했던 모델은 Vit(Vision transformer)기 때문에, 이 개념에 도달하기 위해 먼저 Transformer에 대해 알아봤다. 먼저 Transformer에 대해 간단히 소개하자면,What is Transformer? Transformer란 구글의 논문 "Attention is all you need"에서 등장한 모델로, 같은 input data(문장 등)에서 중요한 정보를 추출하고 output da..