전체 글86 [ CNN ] GoogLeNet / 2014 ILSVRC 1위 모델 GoogLeNet은 2014년 이미지 분류 대회에서 1위한 알고리즘이다. 구글이 이 알고리즘 개발에 참여했다. 2013년까지와 2014년 부터의 신경망 모델의 차이라고 하면 층 개수가 2배 이상 증가했다는 점인데, 실제로 VGGNet은 버전에 따라 16개의 층 (VGGNet-16), 19개의 층 (VGGNet-19)으로 구현되었고 GoogLeNet은 22개의 층으로 구현되었다. 이렇게 층이 깊어지면 1) 학습할 parameter의 개수가 늘어나고, 연산량 증가 2) 기울기 소실 문제 위의 대표적인 두 가지 문제가 발생한다. GoogLeNet 개발자들은 신경망 구조에 대한 변화의 필요성을 느끼고 GoogLeNet 만의 여러 특징을 담아 알고리즘을 만들었다. >> 논문 주소 : https://arxiv.or.. 2023. 6. 6. [ CNN ] VGGNet / 단순하지만 용이하게! 이미지를 맞히는 알고리즘 대회인 'ILSVRC'에서 2014년에 2위를 한 VGGNet에 대해서 정리해보려고 한다. 2014년에 1등한 알고리즘은 'GoogLeNet'인데, 1등을 한 GoogLeNet 보다도 구성이 간단하여 응용하기 좋아서 많은 사람들이 VGG 기반의 신경망을 즐겨 사용한다. >> 논문 주소 : https://arxiv.org/pdf/1409.1556.pdf 1. 참고 사항 (1) VGGNet16과 VGGNet19 두 종류가 있는데, 숫자는 각각의 레이어 개수에 따른 숫자이다. (2) VGGNet 연구의 핵심은 네트워크의 깊이를 깊게 만드는 것이 성능에 어떤 영향을 미치는지에 관한 것이었기 때문에, convolution 필터 커널 사이즈를 3 x 3으로 고정했다. 필터 크기를 작게 만들.. 2023. 6. 5. 딥러닝의 심층 표현이 중요한 이유 딥러닝은 층을 깊게 한 심층 신경망이다. 딥러닝을 구현하면서 생기는 고민 중 하나인, '어느 정도의 깊이로 층을 구성해야 할까'에 대한 내용을 정리해보려 한다. 1. 매개변수의 개수를 줄일 수 있다. 층을 깊게 만든 신경망은 얕게 만든 신경망보다 적은 매개변수로 같거나 더 높은 수준의 표현력을 가질 수 있다. 예를 들어서 5 x 5 필터 하나로 신경망을 구현한다고 하면, 총 5 x 5 = 25, 25개의 매개변수가 필요하다. 하지만 3 x 3 필터 2개로도 신경망을 구현했을 때, 동일한 출력 데이터의 크기를 만들 수 있다. 이때 필요한 매개변수 개수는 3 x 3 x 2 = 18, 18개이다. 3 x 3 필터 두 개의 연산에서 보면, 중간 데이터의 3 x 3 영역이 입력 데이터의 5 x 5 크기의 영역에서.. 2023. 6. 5. Regularization vs. Standardization vs. Normalization / 정규화? Regularization, Standardization, Normalization 모두 한국어로 '정규화' 이다. (Standardization은 '표준화'라고 번역되는 경우도 있다.) 이걸 통해서 최대한 영어를 쓰는 것이 필요함을 깨달았다.. 특히 Normalization과 Standardization이 가장 헷갈렸는데, 이번 기회에 한번 정리해보려고 한다. 1. Regularization 가중치 최적화를 하는 과정에서 규제 (제약)를 거는 기법으로, 오버피팅을 방지하기 위함이다. 높은 복잡도를 방지하여 모델을 적당히 fit 하도록 한다. Regularization의 예시로 L1 규제, L2 규제, Drop out, Early Stopping, Weight Decay 등이 있다. 그 중에서 L2 규제.. 2023. 6. 2. 이전 1 2 3 4 5 6 7 8 ··· 22 다음
