모딩의 코딩블로그

weight parameter를 학습하는 일련의 과정은 다음과 같다. Mini-batch SGD를 예를 들어봤을 때, 1. 샘플 데이터를 추출한다. 2. forward prop으로 weight parameter에 대한 loss를 구한다. 3. backward prop으로 gradient를 구한다. 4. gradient를 사용하여 weight parameter를 업데이트한다. 5. 최적의 weight parameter를 도출한다. 추가로 최적의 가중치를 찾기위한 여러가지 방법이 있다. 1번의 과정에서 데이터를 zero centered 되도록 전처리(pixel normalize) 2번의 과정에서 weight initialization 혹은 batch normalization으로 weight를 정규화 3번의 ..

0. 목표 1) Image Classification 이란? 2) Classification Algorithm 에 대해서 알아보자 3) Hyperparameters 의 의미 4) Linear Classification 의 간략한 개념설명 1. 강의 정리 Image Classification에 대해서 먼저 Image Classification에 대해 배운다. Image Classification 이란 입력 이미지가 들어왔을 때, 이미 정해져 있는 Categories에서 이미지가 어떤 Category에 속할지 고르는 문제 그렇다면 Computer 입장에서 Image Classification이 어려운 이유는 무엇일까? 사람은 입력 이미지를 사진처럼 보지만, 컴퓨터는 픽셀을 의미하는 숫자 집합으로 보기 때문에..

Overfitting은 그림에서 맨 오른쪽과 같은 상태. Train 과정에 치우치게 과하게 학습되어 새로운 데이터가 들어왔을 때 잘 분류를 못하는 상태이다. 가운데가 optimize하다고 한다면, 왼쪽은 지나치게 단순화되어 있는 Underfitting 상태이다. 학습이 덜되어있는 상태라고 볼 수 있다. Overfitting 방지하는 방법 모델의 capacity 낮추기: 모델이 학습데이터에 비해 과하게 복잡할때 발생 ex. resnet18 로 충분히 학습가능한 binary cls문제를 resnet50 이상으로 사용하면 오히려 학습 loss가 증가할 수 있다. 모델이 방해가 될만한 요소들 심기 dropout 적용하기. dropout은 training을 할 때, 일부 뉴런을 끄고 학습하는 것을 말한다. 학습 ..

Torchvision이 무엇인가요? Torchvision은 데이터 셋, 아키텍처 모델, 이미지 변환 기능으로 구성되어 있는 패키지이다. torchvision.datasets MNIST Fashion-MNIST KMNIST EMNIST FakeData COCO LSUN ImageFolder DatasetFolder Imagenet-12 CIFAR STL10 SVHN PhotoTour SBU Flickr VOC Cityscapes torchvision.models Alexnet VGG ResNet SqueezeNet DenseNet Inception v3 GoogLeNet torchvision.transforms Transforms on PIL Image Transforms on torch.*Tensor C..

머신러닝 모델이 적합한 결과를 내기 위해서는 여러번의 최적화 과정을 거친다. 다루어야 할 데이터가 많기도 하고, 메모리가 부족하기도 하기 때문에 한번의 계산으로 최적화된 값을 찾는 것은 어렵다. 따라서 최적화(optimization)를 할 때는 일반적으로 여러번의 학습과정을 거친다. 또한, 한번의 학습 과정도 사용하는 데이터를 세분화하여 진행한다. 이때 Training Epoch, Batch Size, Iteration 그리고 Learning Rate라는 개념이 필요하다. Training Epoch 한번의 epoch은 인공신경망에서 전체 데이터 셋에 대해 forward pass/backward pass 과정을 거친 것을 말한다. 이 말인 즉슨, 전체 데이터셋에 대해 한 번 학습을 완료한 상태를 뜻한다. ..