SENet의 기본 아이디어를 간단하게 리뷰하고 ResNet101에 붙여보는 식으로 구현하려고 한다. 기본 ResNet101 구현은 다음 글을 참고하면 된다. 1. Idea SENet의 구조는 다음 그림으로 모든게 설명이된다. 각 채널별로 중요도(논문에서는 response, attention 등을 언급한다.)가 있어서 이를 계산하는 구조로 설계했다. 논문에서는 channel간 relationship에 focus를 두어 representation quality 향상을 목적으로 설계했다고 한다. feature map의 채널간 interdependency를 모델링하여 attention 처럼 계산하여 채널간 가중치를 부여하여 계산하는 방식을 택한다. 위의 그림을 설명하면 다음과 같다. input $X$ ($C`x..

논문에서 제시한 내용만 보고 구현한 코드 약간의 Naive한 점이 있지만 확실히 ResNet 등의 CNN 모델보다 학습속도가 빠르다! 그럼 바로 시작 1. Setup 기존과 동일하다. import torch.nn as nn import torch import torchvision import torchvision.transforms as transforms from torch.utils.data import DataLoader import torch.optim as optim import time import numpy as np import random import torch.backends.cudnn as cudnn seed = 2022 torch.manual_seed(seed) torch.cuda...

V1에서 달라진 점과 Architecture 중심으로 이야기를 하려고 한다. 0. Abstract MobileNet V2는 Bottleneck 간 skip-connection과 Inverted Residual Structure를 바탕으로 설계되었다. Block 안 expansion layer는 lightweight depthwise conv를 사용한다.(MobileNet v1과 같다.) 또한 representational power를 유지하려면 narrow layers에선 non-linearities를 제거하는 것이 중요하며 이를 실험적으로 확인했다. 이러한 아이디어를 바탕으로 실험한 결과 성능향상을 확인할 수 있었다. 1. Intro 현재 SOTA 모델들은 높은 computational cost(res..

네이버 블로그에 있던 글을 옮겨 옵니다.ㅎㅎ 원문 링크 - https://blog.naver.com/rlarlxo4828/222781534402 ----------------------------------------------------------------------------------------------------------------------------------------------------------------- Intro 길고 길었던 부스트캠프 AI Tech 3기 과정이 끝나고 수료증까지 받게되었다! 지나고나니 매우 짧았던 것 같다. 매주 작성해야하는 캠퍼학습피드백에는 항상 더 길었으면 좋겠다는 말을 남겼던 것 같다. 그만큼 배운게 많고 알아야할 지식들이 많아서 그랬던 것 같다. 근데..

네이버 블로그에 있던 글을 옮겨옵니다 ㅎㅎ 원문 링크 - https://blog.naver.com/rlarlxo4828/222738908334 -------------------------------------------------------------------------------------------------------------------------------------------------------- 지금까지 개인 노션에 학습정리와 회고 등을 기록하느라 블로그에 조금 소홀했었다. 오랜만에 네이버 부스트캠프 과정에서 변성윤 마스터님의 두런두런 시간에 대한 후기를 간단하게 공유하려고 글을 작성해보려고 한다. 삶의 지도 작성, 이력서 작성, 프로젝트 관리, 시스템 아키텍쳐 설계 등에 대해 많은 것..

네이버 블로그에 작성했던 글을 옮겼습니다. 작년 3기 합격했던 당시의 과정입니다. 이후 기수 준비에 도움이 되시길 바랍니다 ㅎㅎ 원문 링크 - https://blog.naver.com/rlarlxo4828/222607746349 --------------------------------------------------------------------------------------------------------- 취업 후 관리를 안하다가 퇴사 후 좋은 소식과 함께 후기를 작성하게 되네요 ㅎㅎ 이전에 어떤 말투와 형식으로 적었는지 기억도 안날정도로...ㅎ 2021/09/30 퇴사 후 부터 3기 합격까지의 스토리를 두서없이 간단하게 적어볼게요 1. 시험 전 운좋게 데이터/AI 직무로 스타트업에 취업하여 1..