밍경송의 E.B

특정 모델이 위 그림처럼 한 이미지를 보고 '사슴'이라고 분류했을 때 이 모델이 어떻게. 이미지의 어느 부분을 보고 '사슴'이라는 결과를 도출해낸 걸까요?--Neural network는 수백만 개 이상의 파라미터가 복잡하게 연결된 구조이기 때문에 왜 작동하는지, 어떻게 특정 결과를 도출하는지 사람이 알 수 없다는 점 때문에 Black box라고도 불리는데요. 특히 이미지를 다루는 모델의 경우 non-linear activation function 때문에 그 파악이 더욱 어렵다고 합니다. 이런 딥러닝 모델을 visualization하기 위한 여러 방법이 제시되었고, 현재는 이것이 eXplainable AI, XAI라는 하나의 분야로 자리잡게 되었습니다. 그리고 오늘은 그 중에서도 널리 알려진, 2016년에..

https://mgyxxmi0219.tistory.com/112 Transformer(2) - Self-Attention and Multi-head Attention Mechanismhttps://mgyxxmi0219.tistory.com/111 Vision Transformer(Vit) & Vision-and-Language Transformer(Vilt)(1) - Attention mechanismTransformer 모델은 Translate 문제에서 RNN/CNN을 쓰지 않고 Attention과 Fully Connected Layer와 같은 기본 연산들mgyxxmi0219.tistory.com에서 이어지는 내용입니다!   이제 Transfomer의 기본 매커니즘에 대해 다뤄봤으니, 궁극적으로 이해하..

오늘은 책에서 제공하는 예제데이터셋과  코드로 간단한 파이토치 실습을 진행해봤숩니다. 저는 anaconda를 통해 가상환경을 만들어서, vscode를 사용하여 작업했습니다. car_output_예측하기 목차  1. 범주형 데이터 전처리 2. 데이터셋 분리 3. 모델 생성 4. 모델 학습 및 예측    범주형 데이터 전처리 예제 데이터셋은 다음과 같이 구성되어있었다. 여기서 output은 차 상태로 unacc, acc, good, vgood 중 하나의 값을 가진다. 책에서는 1(price)~ 6(safety) 의 정보를 이용해 7(output)을 예측하는 모델을 구현하고자 했다.  데이터셋을 보면, 데이터가 문자와 숫자로 구성되어 있는 것을 확인할 수 있는데, 컴퓨터는 단어를 인식하지 못하기 때문에 단어를..

https://mgyxxmi0219.tistory.com/111 Vision Transformer(Vit) & Vision-and-Language Transformer(Vilt)(1) - Attention mechanismTransformer 모델은 Translate 문제에서 RNN/CNN을 쓰지 않고 Attention과 Fully Connected Layer와 같은 기본 연산들만으로 SOTA 성능을 이끌어낸 연구로 유명하다. 연구에 참여하기 위해 간단히 공부한 부분에mgyxxmi0219.tistory.com 에서 이어지는 내용입니다.  How about Self-Attention? 이렇게 Attention 메커니즘이 발전하고 있던 와중, RNN 없이 Attention만을 가지고 언어 모델을 만들어보려는..

연구에 참여하기 위해 간단히 공부한 부분에 대해 정리해두고자 한다. Transformer 모델은 Translate 문제에서 RNN/CNN을 쓰지 않고 Attention과 Fully Connected Layer와 같은 기본 연산들만으로 SOTA 성능을 이끌어낸 연구로 유명하다.   내가 궁극적으로 알고자했던 모델은 Vit(Vision transformer)기 때문에, 이 개념에 도달하기 위해 먼저 Transformer에 대해 알아봤다. 먼저 Transformer에 대해 간단히 소개하자면,What is Transformer? Transformer란 구글의 논문 "Attention is all you need"에서 등장한 모델로, 같은 input data(문장 등)에서 중요한 정보를 추출하고 output da..

갑자기 서점에 갔다가? 갑자기 서지영님의 를 읽으면서 딥러닝을 공부해보기로 했다.,논문 분석에 어떤 알고리즘에 대한 이해가 필요한지 잘  몰라서 일단 냅다 파보기로 다짐 ^5^ 인공지능 관련 공부가 완전히 처음인 나에게는 조금 버거울 수 있지만,꼼꼼하게 공부하고 기록해두면 앞으로 어느 길로 가든 많은 도움이 될 것 같다 .. 피스.. 🦉  머신 러닝과 딥러닝의 차이 인공지능에 대해 공부하려면, 먼저 그 구현방법인 머신러닝과 딥러닝의 차이를 알아야 한다. 솔직히 이 장을 읽고나서도 구분이 좀 아리까리하긴 한데,, 명확한 차이점이 존재하기 때문에 정리하고 나면 더 도움이 될 것이라 생각한다.   머신러닝과 딥러닝 모두, 학습 모델을 제공하여 데이터를 분류할 수 있는 기술이지만 둘의 '접근 방식'에 차이가 ..