쏴아리의 딥러닝 스터디

Enhanced Deep Residual Networks for Single Image Super-Resolution(CVPR 2017)

말해보시개 — Thu, 30 Sep 2021 23:59:55 +0900

Enhanced Deep Residual Networks for Single Image Super-Resolution(CVPR 2017)

Abstract

최근 super-resolution 관련 연구들은 deep convolutional network를 개발하여 진보하고 있으며, 특히 residual learning technique이 큰 성능 향상에 기여하였습니다.

본 연구에서는 enhanced deep super-resolution network(EDSR)을 제안합니다.

model 성능이 향상된 이유는 conventional residual networks의 불필요한 modules를 제거하여 최적화 했기 때문입니다.

또한 본 연구에서는 multi-scale deep super-resolution system(MDSR)과 하나의 모델에서 다양한 upscaling factors의 images를 재구성하는 훈련방법을 제안합니다.

제안된 방법론은 benchmark datasets에서 state-of-the art methods를 능가하는 성능을 보여주었고 NTIRE2017 Super-Resolution Challenge에서 우승하였습니다.

1. Introduction

최근 deep neural networks는 Super Resolution 문제에서 peak signal to noise ratio(PSNR)기준 상당한 성능 향상을 이루어 냈습니다. 하지만, architecture optimality 측면에서 한계점지 존재합니다.

첫째, reconstruction 성능이 사소한 architectural 변화에 민감합니다.
둘째, 대부분의 Super Resolution 알고리즘은 다른 scale factors를 가진 super resolution을 독립적인 문제로 취급하고, 다른 scale간 super resolution의 상호 관련있는 요소를 고려하지 않습니다.

예외적으로, VDSR이 여러 scale간 super-resolution을 하나의 network로 취급할 수 있습니다.

multiple scales을 갖는 VDSR을 학습하는 것은 scale-specific 훈련보다 상당한 성능을 boost 할 수 있고, 이는 scale-specific models들의 redundancy를 암시합니다.
하지만, VSDR style architecture는 bicubic interpolated image를 입력하기를 요구하기 때문에 scale-specific upsampling의 architecture와 비교하여 큰 computation time과 memory를 요구한다는 한계점이 있습니다.

SRResnet이 이러한 time and memory issue를 성공적으로 해결하였지만 ResNet architecture를 크게 수정하지 않고 그대로 사용하였다는 한계점이 있습니다.

Original Resnet은 higher level computer vision problems(image classification and detection)을 해결하기 위한 모델입니다.
이를 super-resolution과 같은 low-level problem에 직접 적용하는 것은 suboptimal일 수 있습니다.

이러한 문제를 해결하기 위해 본 연구에서는 다음과 같이 모델을 수정하였습니다.

첫째, SRResNet architecture를 기반으로 하여 불필요한 modules을 제거하여 network architecture를 simplify 하였습니다.
- 수정된 scheme이 더 좋은 결과를 보여줌을 실험적으로 확인하였습니다.
둘째, 다른 scale에서 훈련된 model로부터 knowledge transfer하는 model training 방법을 연구하였습니다.
- scale-independent information을 활용하기 위해 low-scale models로부터 pre-trained된 high-scale model을 훈련하였습니다.
셋째, 다른 scales간 대부분의 parameters를 공유하는 새로운 multi-scale architecture를 제안하였습니다.
- proposed multi-scale model은 multiple single-scale models에 비해 상당히 적은 parameters만을 활용하지만, 그에 필적하는 성능을 보여줍니다.

본 연구에서는 standard benchmark dataset과 DIV2K dataset에서 모델을 평가하였고, proposed single- and multi-scale super-resolution networks가 state-of-the-art performance를 보여주었습니다.

또한 proposed method는 NTIRE 2017 Super-Resolution Challenge에서 각각 1등, 2등을 차지하였습니다.

2. Related Works

super-resolution problem을 해결하기 위한 초기 접근 방법은 sampling theory에 기반한 interpolation 기술들입니다.

이러한 방법들은 detailed, realistic textures를 예측하는데 한계점이 존재합니다.

이후로 Low Resolution-High Resolution image pairs간 mapping function을 학습하는 고도화된 연구들이 이루어졌습니다.

최근 deep neural network가 super resolution에 적용되어 큰 성능 향상을 이루어 냈고, 특히, residual network를 적용하여 더 우수한 성능을 달성하였습니다.

deep learning based super-resolution algorithms는 다음과 같이 구분됩니다.

1. network에 입력하기 전에 bicubic interpolation을 통해 input image를 upsampling합니다.
1. input image를 그대로 network에 입력하여 network의 가장 뒷부분에 upsampling module이 upsampling을 수행합니다.
- features의 size를 감소시킬 수 있기 때문에 model capacity를 잃지 않고 상당한 computation을 줄일 수 있습니다.
- 하지만, 이러한 접근방법은 multi-scale problem을 하나의 framework으로 다룰 수 없다는 단점이 존재합니다.

본 연구에서는 multiscale traning과 computational efficiency의 딜레마를 해결하기 위하여, 각 scale간 inter-relation을 활용하고 효율적인 multi-scale 모델을 제안합니다.

3. Proposed Methods

3.1. Residual blocks

최근 residual networks가 low-level 부터 high-level tasks의 computer vision 문제에서 훌륭한 성능을 보여주었습니다.

SRResNet은 ResNet architecture를 super-resolution 문제에 성공적으로 적용한 연구로, 본 연구에서는 더 좋은 ResNet structure를 활용하여 성능을 향상 시켰습니다.

Figure 2는 Original ResNet, SRResNet, 제안모델의 building block을 비교합니다.

본 연구에서는 batch normalization layer를 제거 하였습니다.

batch normalization layers를 features를 normalize하여 network의 flexibility range를 제거합니다. batch normalization layers를 제거 하는 것이 성능을 크게 향상 시킬 수 있다는 것을 Section 4에서 실험적으로 확인하였습니다.
또한 batch normalization layers가 앞의 convolutional layer와 같은 양의 메모리를 사용하기 때문에, GPU 메모리 또한 상당히 감소 시킬 수 있습니다.

결과적으로, 본 연구에서는 더 적은 computational resources로 전통적인 ResNet structure보다 더 큰 모델을 build하여 더 향상된 성능을 달성하였습니다.

3.2. Single-scale model

network model의 성능을 향상시키기 위한 가장 좋은 방법은 parameters의 수를 증가시키는 것입니다. 하지만, 특정 수준 이상으로 feature maps의 수를 증가시키는 것은 training procedure를 numerically unstable하게 만들 수 있습니다.

본 연구에서는 factor 0.1을 갖는 residual scaling을 채택하여 이 문제를 해결하였습니다.

각 residual block에서 constant scaling layers는 마지막 convolution layers 뒤에 존재하고, 이 모듈은 많은 수의 filter를 사용할 때 training procedure를 굉장히 stabilize하게 합니다.

본 연구에서는 baseline(single-scale) model을 Fi 2에 있는 proposed residual block으로 구성하였습니다.

구조는 SRResNet과 유사하지만, ReLU activation layer가 residual blocks에 없습니다.
또한 baseline model은 오직 각 convolution layer에서 64 feature maps만 사용하기 때문에 residual scaling layers를 갖지 않습니다.
final single-scale model(EDSR)에서는 baseline model을 확장하여, B=32, F=256, scaling factor 0.1 을 셋팅 하여 Fig. 3과 같이 아키텍처를 구성하였습니다.

upscaling factor x3, x4를 위한 model을 훈련할 때, model parameters를 pre-trained x2 network로 initialize 하였습니다.

Fig. 4에 기술된 것 처럼 이러한 pre-training strategy는 훈련을 가속화하고 final performance를 더 향상시킵니다.
upscaling x4를 위하여, pre-trained scale x2 model(파란색)를 사용하였고, 훈련은 random initialization(초록색)보다 더 빠른 시간에 수렴하였습니다.

3.3. Multi-scale model

Fig. 4에서 발견한 것 처럼, multiple scales에서의 suiper-resolution은 상호 연관된 tasks임을 알 수 있습니다.

본 연구에서는 이 아이디어를 통해 VDSR에서와 유사하게, inter-scale correlation의 advantage를 취득하는 multi-scale architecture를 구성하였습니다.
Fig. 5와 같이 our baseline(multi-scale) models을 single main branch with B =16 residual blocks를 갖도록 하여 parameters가 다른 scales와 공유되도록 하였습니다.

multi-scale 아키텍처에서, multiple scales에서의 super-resolution을 처리하기 위한 scale specific processing 모듈을 도입하였습니다.

첫째, different scales의 input images variance를 감소시키기 위하여, pre-processing modules가 head of networks에 위치합니다.
- 각 pre-processing module은 two residual blocks woth 5 x 5 kernels로 구성되어있습니다.
- pre-processing modules를 위한 larger kernels를 채택함으로써, larger receptive field가 networks의 early stages에 covered되기 때문에, scale-specific part를 shallow하게 유지할 수 있습니다.
multi-scale model의 마지막에서, multi-scale reconstruction을 처리하기 위해 scale-specific upsamping modules가 parallel하게 위치합니다.
- our final multi-scale model(MDSR)은 B= 80, F=64로 이루어져 있습니다.
- 3가지 다른 scales을 갖는 single-scale baseline models가 1.5M parameters로 총 4.5M을 갖는 반면, our baseline multi-scale model은 3.2 million parameters만을 갖게 됩니다.
- 그럼에도 불구하고 multi-scale model은 single-scale model과 필적하는 성능을 보여주었습니다.
- 게다가, our multi-scale model은 depth관점에서 더 확장성이 있다는 장점이 있습니다.
- our final MDSR은 baseline multi-scale model과 비교하여 5배의 깊이를 갖지만, residual blocks가 scale-specific part보다 더 가볍기 때문에 오직 2.5배의 parameters만 필요합니다.

MDSR은 scale specific EDSR와 상응하는 성능을 보여주고, 세부적인 성능 비교는 Table 2와 3에서 확인 가능합니다.

4. Experiments

4.1. Datasets

DIV2K dataset과 standard bench mark datasets(Set5, Set14, B100, Urban100)을 활용하였습니다.

DIV2K: 800 training images, 100 validation images, 100 test images.
본 연구에서는 100 validation images를 활용하여 성능 평가 하였습니다(100 test images의 ground truth는 공개되지 않음)

4.2. Training Details

Hyper Parameters & Data Augmentation & Data Pre-processing

학습을 위해, HR patches와 대응되는 LR image로 부터 48*48 size의 RGB input patches를 사용하였습니다.
훈련 데이터를 random horizontal flips와 90 rotations로 augment 하였습니다.
DIV2K dataset의 RGB 값의 평균을 빼어서 모든 이미지를 전처리 하였습니다.
ADAM optimizer $\beta_1=0.09,\beta_2=0.999,\epsilon=10^{-8}$를 활용하여 최적화 하였습니다.
minibatch size를 16으로 셋팅하였습니다.
learning rate를 $10^{-4}$로 초기화 하였고 각 $2*10^{5}$ minibatch update마다 절반씩 감소시켰습니다.

single-scale models(EDSR)

3.2절에 기술된 바와 같이 네트워크를 훈련하였습니다.
x2 model is trained from scratch
x2 model이 수렴한 이후, 다른 scales를 위한 model의 pretrained로 활용하였습니다.

multi-scale model(MDSR)

각 업데이트 마다 randomly selected scale among x2,x3,x4 miniibatch를 구성하였습니다.
오직 선택된 scale과 대응되는 modules가 enabled and updated 됩니다.
따라서, 선택되지 않은 scales의 scale specific residual blocks와 upsampling modules는 enabled되거나 updated되지 않습니다.

Loss function

L2 대신에 L1을 활용하여 networks를 학습하였습니다.
L2를 최소화 하는 것은 PSNR을 maximize하기 떄문에 일반적으로 선호되지만, 실험에 따라서 L1 loss가 L2보다 더 잘 수렴하는 것을 실증적으로 확인하였습니다.
관련된 비교실험은 4.4절에 기술되어있습니다.

Torch Framework로 proposed network를 구현하였고, NVIDIA Titan X GPUs를 활용하여 훈련하였습니다.

4.3. Geometric Self-ensemble

our model의 잠재적인 performance 최대화를 위하여, self-ensemble strategy를 채택하였습니다.

test time동안, input image $I^{LR}$을 flip and rotate하여 7개의 augmented input을 생성합니다.
자기자신을 포함한 총 8개의 augmented images를 활용하여 대응하는 super-resolved images를 생성합니다.
output images를 original geometry로 inverse transform 한 뒤, 모든 output의 평균 값을 최종 output으로 선정합니다.

이러한 self-ensemble method는 추가적인 separate models의 훈련을 필요로 하지 않다는 점에 있어서 다른 ensemble 전략보다 이점이 있습니다.

또한 model size나 훈련시간이 중요할 때 이점이 있습니다.
이 self-ensemble strategy가 total number of parameters는 똑같이 유지하면서도, 개별적인 훈련모델을 요구하는 전통적인 ensemble method와 비교하여 거의 같은 수준의 성능 향상을 이뤄낼 수 있습니다.
본 논문에서는 self-ensemble을 '+' postfix로 명명하였습니다(EDSR+/MDSR+)

4.4. Evaluation on DIV2K Dataset

SRResNet 부터, 점진적으로 다양한 setting을 변화시키며 ablation test를 수행하였습니다.

loss function을 L2에서 L1으로 변경하였고, network architecture를 이전에 기술한 바와 같이 변경하였습니다(Table 1에 요약되어있습니다.)

Evaluation은 DIV2K validation set의 10 images에 대해 PSNR, SSIM 기준으로 수행되었습니다.

Table 2는 정량적 평가 결과를 정리한 것입니다.

L1으로 훈련된 SRResNet은 L2로 훈련된 original과 비교하여 모든 측면에 비해 더 좋은 성능을 보여줍니다.
network의 수정은 훨씬 더 큰 성능 향상을 보여줍니다.
geometric self-ensemble technique을 적용한 EDSR+, MDSR+은 상당한 성능 향상을 보여줍니다.

4.5. Benchmark Results

public benchmark datasets에서의 정량적 평가 결과는 Table 3에 기술되어있습니다.

EDSR, MDSR는 다른 모델들과 비교하여 상당한 성능 향상을 이루어 냈으며, self-ensemble을 수행 했을 때 성능향상이 더 컸습니다.

정성적 결과는 Fig. 6에 기술되어있습니다.

proposed models는 성공적으로 detailed textures와 HR images의 edges를 재구성하였고, 다른 모델과 비교하여 SR output이 눈으로 보았을 때 더 좋은 결과를 보여주었습니다.

5. NTIRE2017 SR Challenge

NTIRE2017 Super-Resolution Challenge의 목적은 최고의 PSNR을 갖기위한 single image super-resolution system을 개발하는 것입니다.

challenge에는 각각 세개의 downsample scales(x2,x3,x4)를 갖는 다른 degraders(bicubic, unknown) 2개의 track으로 구성되어있습니다.
unknown track의 input image는 downscaled와 severe blurring이 함께 있어 더욱 robust mechanisms을 요구합니다.
unknown downsampling track의 결과는 Fig. 7에 기술되어있습니다.
EDSR+와 MDSR+는 first, second places에서 각각 우승 하였고 그 결과는 Table 4에 기술되어있습니다.

6. Conclusion

본 연구에서는 enhanced super-resolution을 제안하였습니다.

전통적인 ResNet architecture에서 불필요한 module들을 제거하였고, single-scale model은 state-of-the art performance를 달성하였습니다.

또한, model size와 training time을 감소시키기 위한 multi-scale super-resolution network를 개발하였고, single-scale SR모델과 상응하는 성능을 보여주었습니다.

scale-dependent modules와 shared main network를 갖고 효과적으로 various scales를 하나의 framework로 대응할 수 있습니다.

our proposed single-scale and multi-scale models는 DIV2K와 standard benchmark datasets에서 top ranks를 달성하였습니다.

같이 보시면 좋아요.

2021.07.18 - [Image Generation] - “Zero-Shot” Super-Resolution Using Deep Internal Learning(2018)

2021.09.11 - [Image Generation] - Meta-Transfer Learning for Zero-Shot Super-Resolution(CVPR 2020)

2021.07.17 - [Image Generation] - Real-World Super-Resolution via Kernel Estimation and Noise Injection(2020)

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

깔끔한 파이썬 탄탄한 백엔드(2019, 송은우) 도서 리뷰

말해보시개 — Tue, 28 Sep 2021 23:59:04 +0900

깔끔한 파이썬 탄탄한 백엔드(2019, 송은우) 도서 리뷰

안녕하세요.

이번에 포스팅할 내용은 깔끔한 파이썬 탄탄한 백엔드 도서 리뷰입니다.

https://book.naver.com/bookdb/book_detail.nhn?bid=14443490

깔끔한 파이썬 탄탄한 백엔드

파이썬 개발 환경 구축부터 API 개발, HTTP, DATABASE, UNIT TEST, AWS DEPLOY까지 백엔드 개발 입문의 모든 것!파이썬을 지식으로 아는 것뿐 아니라 파이썬을 응용하여 백엔드 시스템을 개발할 수 있도록

book.naver.com

파이썬 백엔드(flask) 공부를 하게 된 이유

파이썬 백엔드 flask 공부를 하게된 계기는 다음과 같습니다.

머신러닝 모델을 서비스로 만들기 위한 웹애플리케이션을 개발 하는데 파이썬 백엔드 지식이 필요했습니다.

파이썬 백엔드 관련한 패키지로 flask, fastapi, django 등이 있지만 많이 활용되고 진입 장벽이 낮은 것으로 판된디는 flask를 먼저 공부하기로 결정 하였습니다.

깔끔한 파이썬 탄탄한 백엔드 책 소개

깔끔한 파이썬 탄탄한 백엔드는 2019년 송은우 저자가 발간책 책입니다.

저자: 송은우
발간일: 2019.01.25
페이지: 401

파이썬 개발 환경 구축부터 API 개발, HTTP, DATABASE, UNIT TEST, AWS DEPLOY까지 백엔드 개발 입문의 모든 것!(네이버 책소개)

깔끔한 파이썬 탄탄한 백엔드는 FLASK 자체에 대한 내용에 초점을 맞추기 보다는 API 개발에 관한 내용에 대해 중점을 두어 소개하고 있다는 점이 특징입니다.

깔끔한 파이썬 탄탄한 백엔드 목차

깔끔한 파이썬 탄탄한 백엔드의 목차는 다음과 같습니다.

1장. 파이썬 설치 및 개발 환경 구성
본격적인 설치에 앞서
파이썬 설치
파이썬 가상 환경 설치
터미널 환경
깃
셸
다양한 에디터 소개

2장. 현대 웹 시스템 구조 및 아키텍처
웹 시스템들의 발전 역사
현대의 웹 시스템 들의 구조 및 아키텍처
현대의 개발팀의 구조

3장. 첫 API 개발 시작
Flask
시작도 첫걸음부터 - ping 엔드포인트 구현 하기
API 실행하기

4장. HTTP의 구조 및 핵심 요소
HTTP
HTTP 통신 방식
HTTP 요청 구조
HTTP 응답 구조
자주 사용되는 HTTP 메소드
자주 사용되는 HTTP Status Code와 Text
API 엔드포인트 아키텍처 패턴

5장. 본격적으로 API 개발하기
미니터의 기능
회원가입
300자 제한 트윗 글 올리기
팔로우와 언팔로우 엔드포인트
타임라인 엔드포인트
전체 코드

6장. 데이터베이스
데이터베이스 시스템
관계형 데이터베이스 시스템 VS 비관계형 데이터베이스 시스템
SQL
데이터베이스 설치하기
API에 데이터베이스 연결하기
SQLAlchemy를 사용하여 API와 데이터베이스 연결하기

7장. 인증
인증
인증 엔드포인트 구현하기
인증 절차를 다른 엔드포인트에 적용하기
샘플 프론트엔드 시스템

8장. unit test
테스트 자동화의 중요성
UI test / End-To-End test
integration test
unit test
pytest
미니터 API unit test
unit test의 중요성

9장. AWS에 배포하기
AWS
RDS
미니터 API 배포
load balancer
AWS Resource Clean Up

10장. API 아키텍처
코드 구조의 중요성
레이어드 패턴
레이어드 아키텍처 적용하기
전체 코드 구조와 app.py 파일
unit test
View Unit Test

11장. 파일 업로드 엔드포인트
사용자 프로파일 사진 업로드 엔드포인트
프로파일 이미지 파일 업로드 엔드포인트
프로파일 이미지 GET 엔드포인트
AWS S3에 이미지 파일 저장하기
CDN
AWS S3
AWS S3 생성 및 설정
AWS IAM 사용자 생성
파일 업로드 엔드포인트 S3와 연동하기
unit test
배포

12장. 더 좋은 백엔드 개발자가 되기 위해 다음으로 배워 보면 좋은 주제들
자료구조 및 알고리즘
데이터베이스의 더 깊은 이해
database migration
micro service architecture
리눅스 & 데브옵스

실습을 위해서 특별한 환경은 필요없습니다. 저는 리눅스 환경에서 개발하였지만, 윈도우 개발환경에서도 충분히 개발이 가능합니다. AWS 환경같은 경우 책에서 EC2, RDS 등 배포하는 과정이 설명되어있으나, AWS의 화면이 도서 작성당시와 조금 다를 수 있어 그대로 따라가기는 어렵다는점 참고 부탁드립니다. (책을 보고 AWS 실습 하는데 크게 무리는 없었습니다)

깔끔한 파이썬 탄탄한 백엔드 독서 후기

FLASK를 공부하기 위해서, 깔끔한 파이썬 탄탄한 백엔드 도서를 선택하게 된 이유는 다음과 같습니다.

1. flask 뿐 아니라, api 개발에 대해 초점을 맞춘 공부를 하고 싶었습니다. 깔끔한 파이썬 탄탄한 백엔드 교재는 http, database, unit test, aws deploy까지 다루고 있어 api개발을 공부하는데 좋은 교재라고 생각합니다.

2. 머신러닝 엔지니어로서 flask를 입문하는 상태였기 때문에 쉽고 얇은책이 필요했습니다. 깔끔한 파이썬 탄탄한 백엔드는 401페이지로 두껍지 않고, 실습이 잘 가이드 되어있고 code가 github에 올라와 있어 입문자가 무리없이 따라갈 수 있었습니다. 저는 1주일에 한챕터씩 스터디 하여 총 12주 동안 스터디 하였습니다.

3. 프로젝트 기반 실습으로 실무적인 학습을 하고 싶었습니다. 공부의 목적이 웹 애플리케이션 개발, 머신러닝 모델 서빙 API 개발에 적용하는 것이다 보니 프로젝트 기반의 교재를 원했습니다. 깔끔한 파이썬 탄탄한 백엔드는 트위터 서비스 개발 프로젝트를 단계적으로 개발하는 형태로 책이 쓰여졌습니다. 방대한 프로젝트를 한챕터, 한챕터씩 따라서 실습하고, 백엔드 api개발에 필요한 학습을 무리없이 진행 할 수 있었습니다.

깔끔한 파이썬 탄탄한 백엔드는 전반적으로 만족도가 아주 높아, flask, api개발을 입문하고자 하는 분들에게 적극 추천합니다.

같이 보시면 좋아요.

2021.09.19 - [도서 리뷰] - 시작하세요! 도커/쿠버네티스(2020, 용찬호) 후기

시작하세요! 도커/쿠버네티스(2020, 용찬호) 후기

시작하세요! 도커/쿠버네티스(2020, 용찬호) 후기 안녕하세요. 시작하세요! 도커/쿠버네티스(2020, 용찬호) 도서 후기를 포스팅 하고자 합니다. https://book.naver.com/bookdb/book_detail.nhn?bid=16850447 시작..

deepmal.tistory.com

2021.09.13 - [도서 리뷰] - 리눅스 실습 for Beginner(2020, 우재남) 도서 리뷰

리눅스 실습 for Beginner(2020, 우재남) 도서 리뷰

리눅스 실습 for Beginner(2020, 우재남) 도서 리뷰 안녕하세요. 리눅스 실습 for Beginner(2020, 우재남) 도서를 리뷰하고자 합니다. https://book.naver.com/bookdb/book_detail.nhn?bid=15971768 리눅스 실습 f..

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

시작하세요! 도커/쿠버네티스(2020, 용찬호) 후기

말해보시개 — Sun, 19 Sep 2021 20:00:04 +0900

시작하세요! 도커/쿠버네티스(2020, 용찬호) 후기

안녕하세요. 시작하세요!

도커/쿠버네티스(2020, 용찬호) 도서 후기를 포스팅 하고자 합니다.

https://book.naver.com/bookdb/book_detail.nhn?bid=16850447

시작하세요! 도커/쿠버네티스

쿠버네티스와 도커의 기본 사용 방법을 정확히 이해하는 것을 목표로 합니다!도커 컨테이너는 애플리케이션을 배포하기 위한 새로운 패러다임을 제시하는 가상화 패러다임입니다. 컨테이너 자

book.naver.com

도커/쿠버네티스 공부를 하게 된 이유

도커와 쿠버네티스 관련 공부를 하게된 계기는 다음과 같습니다.

머신러닝을 하기 위한 환경을 만들기 위해 도커 지식이 필요했다.

예컨대, 딥러닝 논문을 구현해 놓은 github repository 중 종종 환경을 도커파일을 업로드 해 놓은 경우가 있었습니다. github repository와 동일한 환경에서 딥러닝 모델을 훈련하기 위해서는 도커파일을 기반으로 환경셋팅을 해야하는 상황이 있을 수 있습니다.

머신러닝 모델을 실제 사용하기 위한 서비스를 개발하고 Deploy하는데, 쿠버네티스 관련 지식이 필요했다.

머신러닝 서비스 배포를 하기 위해 쿠버네티스 오브젝트 포드, 퍼시스턴트 볼륨 등을 활용하고 있는데, 관련된 지식이 필요했습니다.

시작하세요! 도커/쿠버네티스 책 소개

시작하세요! 도커/쿠버네티스는 2020년 용찬호 저자가 발간한 책으로, 648페이지에 이를 만큼 굉장히 두껍습니다.

저자: 용찬호
발간일: 2020.10.23
페이지: 648

교보문고에서 제공된 책 소개를 보면 다음과 같이 나와 있습니다.

"쿠버네티스와 도커의 기본 사용 방법을 정확히 이해하는 것을 목표로 합니다!"

시작하세요! 도커/쿠버네티스는 두꺼운 페이지를 통해 예상할 수 있듯 쿠버네티스와 도커의 사용방법에 대해 상세히 기술하고 있습니다.

도커와 관련해서는 도커 컨테이너와 이미지의 기본적인 개념 뿐만아니라 도커 컴포즈, 스웜모드 등 심화적인 내용을 소개하고 있습니다.

쿠버네티스와 관련해서는 다양한 쿠버네티스 오브젝트의 사용방법과 심화 개념을 소개합니다.

시작하세요! 도커/쿠버네티스 목차

시작하세요! 도커/쿠버네티스의 목차는 총 14장으로 이루어져있습니다.

01장: 도커란?
02장: 도커 엔진
03장: 도커 스웜
04장: 도커 컴포즈
05장: 쿠버네티스 설치
06장: 쿠버네티스 시작하기
07장: 쿠버네티스 리소스의 관리와 설정
08장: 인그레스(Ingress)
09장: 퍼시스턴트 볼륨(PV)과 퍼시스턴트 볼륨 클레임(PVC)
10장: 보안을 위한 인증과 인가 - ServiceAccount와 RBAC
11장: 애플리케이션 배포를 위한 고급 설정
12장: 커스텀 리소스와 컨트롤러
13장: 포드를 사용하는 다른 오브젝트들
14장: 쿠버네티스 모니터링

도커/쿠버네티스 실습을 위해서는 Docker for Desktop을 사용하시는걸 추천합니다.

저는 AWS EC2 프리티어로 처음 시도하려고 했으나, 책에서 소개한 도커 설치를 하는데 시행착오가 있었고, 리소스 문제로 쿠버네티스를 실습하는데 어려움이 있었습니다.

시작하세요! 도커/쿠버네티스 후기

도커와 쿠버네티스를 공부하기 위해서, 시작하세요! 도커/쿠버네티스를 도서를 선택하게 된 이유는 다음과 같습니다.

많은 사람이 선택한 유명한 교재를 선택하는 것이 안전하다고 판단 했습니다. 또한 648 페이지로 이루어진 두꺼운 교재로, 도커/쿠버네티스에 대해 상세히 기술되어있을 것으로 생각 했습니다.

시작하세요! 도커/쿠버네티스 교재를 갖고 스터디를 진행하였습니다. 보통 1주에 한 챕터씩 공부하는 것을 목적으로 하였으나, 2장 도커 엔진은 내용이 길기도 하고 중요한 내용이라 판단하여 3주에 걸쳐서 공부 하였습니다.

난이도는 초보가자 따라가기엔 좀 어렵고, 책이 굉장히 두껍고 방대한 양을 다루기 때문에 처음 공부하시는 분들에게 추천 하기 어려울 것 같습니다. 다만 도커와 쿠버네티스를 사용하고 계신분들이 레퍼런스를 위해 찾아보는 용도로 사용하는 것은 괜찮다고 생각합니다.

저는 처음 도커와 쿠버네티스를 공부하는 입장이었는데, 책이 너무 두껍고 내용이 방대해서 다소 지루하게 느껴졌었습니다. 저 처럼 도커와 쿠버네티스에 새로 입문하시는 분들은 얇고 쉬운 책을 선정하시는 것을 추천합니다.

같이 보시면 좋아요.

2021.09.13 - [도서 리뷰] - 리눅스 실습 for Beginner(2020, 우재남) 도서 리뷰

리눅스 실습 for Beginner(2020, 우재남) 도서 리뷰

deepmal.tistory.com

2021.06.20 - [Docker] - Ubuntu 18.04 AWS EC2에서 Docker 설치하기

Ubuntu 18.04 AWS EC2에서 Docker 설치하기

Ubuntu 18.04 AWS EC2에서 Docker 설치하기 안녕하세요. 쏴아리입니다. 도커를 실습하기 위하여 리눅스 환경을 셋팅 하는 방법은 1) VirtualBox, VMWare와 같은 가상화 도구로 리눅스를 생성하는 방법, 2) 아마

deepmal.tistory.com

2021.06.20 - [Docker] - Docker 컨테이너 생성하기, docker run & docker create

Docker 컨테이너 생성하기, docker run & docker create

Docker 컨테이너 생성하기, docker run & docker create 안녕하세요. 쏴아리입니다. 오늘은 docker에서 컨테이너를 생성하는 명령어인 docker run & docker create의 예제와 그 차이점을 포스팅 하였습니다..

deepmal.tistory.com

2021.07.04 - [AWS] - AWS EC2에 Jupyter Notebook 서버 설치하기

AWS EC2에 Jupyter Notebook 서버 설치하기

AWS EC2에 Jupyter Notebook 서버 설치하기 안녕하세요. 쏴아리입니다. 오늘은 AWS EC2에 Jupyter Notebook 서버를 설치하고 Local 컴퓨터에서 접속하는 방법을 포스팅 하겠습니다. 이번 포스팅은 AWS EC2..

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

리눅스 실습 for Beginner(2020, 우재남) 도서 리뷰

말해보시개 — Mon, 13 Sep 2021 19:41:08 +0900

리눅스 실습 for Beginner(2020, 우재남) 도서 리뷰

안녕하세요. 리눅스 실습 for Beginner(2020, 우재남) 도서를 리뷰하고자 합니다.

https://book.naver.com/bookdb/book_detail.nhn?bid=15971768

리눅스 실습 for Beginner

설치부터 실무까지한 권으로 배우는 리눅스리눅스를 처음 배우는 학생을 대상으로 개념과 실습을 함께 공부하도록 구성한 책입니다. 리눅스에 익숙하지 않아도 설치부터 쉽게 따라 할 수 있고

book.naver.com

리눅스 실습 for Beginner 책 소개

리눅스 실습 for Beginner 교재는 한빛아카데미에서 우재남 저자에 의해 2020년 1월에 발간되었고, 488페이지로 다른 리눅스 교재들과 비교하여 다소 얇은 편입니다.

책의 제목에서도 알 수 있듯, 입문자를 위한 리눅스 실습을 다루고 있는 교재입니다.

VMWare에서 우분투 18.04를 설치해서 실습을 진행하는 내용으로 구성되어있습니다.

네이버

리눅스 실습 for Beginner 목차

목차는 14개 챕터로 이루어져 있습니다. 마지막 챕터인 14장에서는 미니프로젝트를 통해 실무 환경에 맞는 우분투 서버를 설치하고 RAID 6 구축, 백업 자동화, VSCode 개발 환경 구축으로 이루어져 있습니다. 리눅스의 전반적인 내용으로 목차가 이루어져 있으며, 각 챕터별로 핵심 내용에 대한 실습을 진행할 수 있습니다.

Chapter 01 리눅스의 개요와 환경 설정
Chapter 02 리눅스 설치
Chapter 03 리눅스 기본 사용법
Chapter 04 리눅스 기본 명령어와 네트워크 명령어
Chapter 05 리눅스 사용자 관리와 파일 관리
Chapter 06 리눅스 패키지 설치와 응급 복구
Chapter 07 X 윈도우 응용 프로그램 기본
Chapter 08 X 윈도우 응용 프로그램 고급
Chapter 09 디스크 관리 기본
Chapter 10 디스크 관리 고급
Chapter 11 셸 스크립트 프로그래밍
Chapter 12 원격 접속 서버
Chapter 13 웹 서버와 FTP 서버
Chapter 14 미니 프로젝트

네이버

리눅스 실습 for Beginner 독서 후기

리눅스 실습 for Beginner 책을 구입하고 공부하게 된 배경은 다음과 같습니다.

리눅스 환경으로 구축된 서버에서 머신러닝을 하고 있는데 github repository에 올라 온 papers with code의 딥러닝 sota code를 서버에 셋팅하고자 하나 리눅스 지식을 잘 몰라서 실패한 적이 있었습니다. 예컨대, 환경 셋팅을 위한 linux shell script .sh파일이 있었는데 실행하는 법도 잘 몰랐고, 실행시 에러가 나도 shell script를 잘 모르니 대처하기가 어려웠습니다.

이참에 리눅스에 대해 공부하는게 환경셋팅 등 머신러닝 엔지니어로서 해야하는 역량과 관련성이 있다고 생각되었고, 입문자인 만큼 얇고(페이지가 적고) 최근에 나왔으며 쉽게 쓰여진 책을 찾다 보니 리눅스 실습 for Beginner 교재를 선택하게 되었습니다.

리눅스 실습 for Beginner 교재를 갖고 14주 동안 스터디를 진행하였습니다. 1주에 한챕터씩 공부하는 것을 목적으로 하였고 책에 실습 소개가 잘 나와있어 실습을 하나하나 따라가면서 공부하였습니다.

VMWare에 우분투 18.04를 설치하여 실습하였는데, VMWare의 버젼으로 인한 차이 외에는 책에서 소개하는 실습 내용과 환경차이가 없어서 무난히 잘 따라할 수 있었습니다.

난이도는 초보자도 쉽게 따라갈 수 있는 난이도 이고, 책의 내용은 다소 얇고 넓게 공부할 수 있어 리눅스를 처음 공부하시는 분들에게 적합하다고 생각하고 적극 추천합니다. 다만, 리눅스를 입문하시는 분이 아니라, 할 줄 아시는 분들이 이 책을 공부한다면 조금 지루할 수도 있다는 생각이 듭니다. 각 챕터별로 깊은 내용을 공부하기 보다는 이런 핵심 기능들이 있다라고 소개하는 정도이기 때문입니다.

같이 보시면 좋아요.

2021.04.30 - [Linux] - ubuntu 명령어 모음 1

ubuntu 명령어 모음 1

ubuntu 명령어 모음 1 whoami: 사용자 ID 확인 whoami 명령어는 로그인한 사용자의 ID를 알려줍니다. $whoami 다음과 같이 ubuntu에서 whoami 명령어를 통해 사용자의 ID를 확인할 수 있습니다. whoami 명령..

deepmal.tistory.com

2021.05.03 - [Linux] - ubuntu 명령어 모음 2

ubuntu 명령어 모음 2

ubuntu 명령어 모음 2 tree: 디렉토리 구조를 확인 tree 명령어는 ubuntu에서 디렉토리 구조를 출력합니다. $tree tree 명령어가 작동하지 않는다면, 다음 명령어를 통해 설치합니다. $sudo apt install tree..

deepmal.tistory.com

2021.05.05 - [Linux] - ubuntu 명령어 모음 3

ubuntu 명령어 모음 3

ubuntu 명령어 모음 3 cp: 파일 및 디렉토리 복사 cp 명령어는 ubuntu에서 파일과 디렉토리를 복사하는데 활용됩니다. $cp [option] [대상 위치 및 이름] [복사하고 싶은 위치] oprion -r: 하위 디렉토리와

deepmal.tistory.com

2021.05.10 - [Linux] - ubuntu 명령어 모음 4

ubuntu 명령어 모음 4

ubuntu 명령어 모음 4 grep: 패턴을 포함하고 있는 행을 출력 grep 명령어는 ubuntu에서 지정한 패턴이나 문자열을 포함하고 있는 모든 행을 출력하는데 활용됩니다. $grep [option] [pattern] [파일명] option.

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

Meta-Transfer Learning for Zero-Shot Super-Resolution(CVPR 2020)

말해보시개 — Sat, 11 Sep 2021 17:19:07 +0900

Meta-Transfer Learning for Zero-Shot Super-Resolution(CVPR 2020)

Abstract

CNN은 large-scale external samples를 사용한 single image super-resolution(SISR)에서 큰 성능 향상을 이루어 냈습니다. 하지만 위와같은 연구들은 다음의 관점에서 한계점이 있습니다.

CNN은 특정 이미지 내부에 있는 internal information을 활용하지 못합니다.
오직 그들이 supervised에서 경험한 specific condition에만 적용기 가능합니다.
- 예: low-resolution(LR) image는 high-resolution(HR) image로 부터 "bicubic" downsampled noise-free image 여야 합니다.

이러한 문제를 해결하기 위해 flexible internal learning을 수행하는 zero-shot super-resolution(ZSSR)이 제안되었지만, ZSSR은 추론시간이 굉장히 오래 걸린다는 한계점이 있습니다(수천번 gradient updates를 필요로 함).

본 연구에서는 Meta-Transfer Learning for Zero-Shot Super-Resolution(MZSR)을 제안합니다.

MZSR은 internal learning을 위한 initial parameter를 발견합니다.
즉, MZSR은 external과 internal information을 함께 사용하여, 추론 단계에서 단 한번의 업데이트만 수행하고 quite considerable results를 생성할 수 있습니다.(Figure 1)
MZSR은 network가 주어진 image condition에 빠르게 적응이 되게 하여, large spectrum of image conditions에 적용이 가능하다는 장점이 있습니다.

1. Introduction

SISR은 LR image로 부터 plasible HR image를 찾는 task로, low-level vision area의 long-standing problem이었습니다.

최근 CNNs의 성공에 따라서, CNN-based SISR methods는 큰 성능 향상을 이루어 냈습니다.
대부분의 최근 연구들은 "bicubic" downsampling과 같이 known degradation model로 부터 self-supervised setting으로 구성된 external training dataset을 기반으로하고 있습니다.
그러나 real-world situations에서는 최근 연구된 방법론들이 undesirable artifacts를 만들고 domain gap 때문에 더 열등한 results를 보여준다는 한계점이 있습니다.

최근 ZSSR이 zero-shot super resolution을 위한 방법론으로 제안되었고, 이 방법론은 CNN을 zero-shot setting 하에서 쉽게 test image condition에 적용되도록 합니다.

ZSSR은 test image의 internal non-local structure를 학습합니다(예: deep internal learning)
ZSSR은 recurrence가 salient한 some regions에서 external-based CNN을 outperform 합니다.
또한 ZSSR은 매우 flexible하다는 장점이 있어 any blur kernels도 다룰수 있고, 쉽게 test images의 조건에 적응 도힐 수 있습니다.

하지만, ZSSR도 몇가지 한계점이 있습니다.

첫째, test time에서 thousands of backpropagation gradient updates를 필요로 하여, 추론을 하는데 시간이 많이 소요가 됩니다.
둘째, external dataset을 전혀 사용하지 않고 오직 internal structure와 pattern에만 의존하여 external patterns와 관련된 region에서는 external-based methods에 비해 열등한 성능을 낼 수 있습니다.

최근 meta-learning or learning to learn fast 분야가 많은 연구자로부터 주목을 받았습니다.

Meta-learning은 artificial intelligence가(human intelligence와는 달리) new concepts에는 약간의 examples만으로는 빠르게 학습하기 어렵다는 문제를 해결하고자 합니다.
이중, Model-Agnostic Meta-Learning(MAML)은 optimal initial state of the model을 학습하고, base-learner가 새로운 task로 빠르게 학습할 수 있도록 하는 연구로 최근 SotA performance를 달성하여 큰 impact을 보여주었습니다.

본 연구에서는 MAML과 ZSSR의 연구에 영감을 받아 Meta-Transfer Learning for Zero-Shot Super-Resolution(MZSR)을 제안합니다.

ZSSR은 오직 meta-test만 있는 반면, 본 연구에서는 meta-training step을 추가하여 model이 새로운 blur kernel scenarios에 빠르게 적응 할 수 있도록 하였습니다.
또한 external samples를 활용한 transfer learning을 통해 성능 향상을 이루어 낼 수 있었습니다.

본 연구의 기여점은 다음 3가지 입니다.

meta-transfer learning에 기반하여, 새로운 task에 빠르게 적응이 가능한 효과적인 initial weight를 학습하는 새로운 훈련 방법을 제안하였습니다.
external과 internal samples를 함께 활용하여, internal and external learning의 장점을 이용할 수 있습니다.
fast, flexible, lightweight, unsupervised at meta-test time을 통해 real-world scenarios에 적용이 가능합니다.

2. Related Work

2.1. CNN-based Super-Resolution

SISR은 image degradation model에 기반을 두고 있습니다.

$I_{HR}$: HR image
$I^k_{LR}$: LR image
$k$: blur kernel
$*$: convolution
$\downarrow_{s}$: decimation with scaling factor of s
$n$: Gaussian noise

known downsampling kernel로 만들어진 LR image를 super-resolve 하기 위해 많은 CNN-based networks가 제안되었습니다. 이러한 연구들은 "bicubic" downsampling scenarios에서 큰 성과를 이루어 냈지만, non-bicubic cases에서는 domain gap에 의해서 큰 성과를 내지 못하고 있습니다.

반면, ZSSR은 image specific internal structure를 학습하기 위한 CNN으로 제안되었고, real world scene에 적용될 수 있다는 flexibility가 있는 것을 보여줏었습니다.

2.2. Meta-Learning

최근 다양한 meta-learning algorithms 들이 제안되었고, 크게 3가지 그룹으로 구분됩니다.

첫번째 그룹은 metric based methods로 a few samples 내에서 효율적인 metric space를 학습합니다.
두번째 그룹은 memory network based methods로, network는 task knowledges를 넘나들어 학습하고 unseen tasks를 잘 generalize합니다.
마지막 그룹은 optimization based methods로, gradient descent가 meta-learner optimization으로 역할을 합니다. MAML은 research community에 큰 영향을 미쳤고 다양한 variants가 제안되었습니다.

본 연구에서는 MAML을 zero-shot super-resolution의 fast adaptation을 위한 scheme으로 활용합니다.

3. Preliminary

self-supervised zero-shot super-resolution과 meta-learning scheme을 notation과 함께 소개합니다.

Zero-shot Super-Resolution

ZSSR은 totally unsupervised 혹은 self-supervised 입니다. 두 단계의 training and test는 모두 runtime에 수행됩니다.

training 단계에서 test image $I_{LR}$은 desired kernel에 의해 downsampled 되어 "LR son" $I_{son}$을 generate합니다. $I_{HR}$은 HR supervision인 "HR father"가 됩니다. 그 뒤, CNN은 single image로 부터 generated된 LR-HR paires로 학습됩니다. 학습은 오직 test image에 의존적이고, 주어진 image statistics에 특정된 internal information을 학습합니다.
test 단계에서 test input image가 trained CNN에 입력되어 super-resolved image $I_{SR}$을 얻게 됩니다.

Meta-Learning

Meta-learning 은 두가지 단계로 구분됩니다: meta-training and meta-test. model $f_\theta(\cdot)$를 inputs $x$를 outputs $y$로 map하는 모델(parameterized by $\theta$)이라고 고려해 보겠습니다.

meta-training의 목적은 a large number of different tasks에 적응이 가능한 모델을 만드는 것입니다.

meta-training을 위해 task $T_i$는 task distribution $p(T)$으로 부터 추출됩니다.
task 내에서, training samples는 task-specific loss를 $L_{T_i}$갖는 base-learner를 최적화 하기 위해 사용되고, test samples는 meta-learner를 optimize 하는데 사용됩니다.
meta-test 단계에서, model $f_\theta(\cdot)$은 meta-learner의 도움으로 빠르게 새로운 task $T_{new}$로 적응합니다.

MAML은 simple gradient descent algorithm을 meta-learner로서 사용하고 initial transferable point를 발견하는 기를 추구하여, a few gradient updates가 새로운 테스크로 모델이 fast adaptation할 수 있도록 합니다.

본 연구에서는 input $x$와 output $y$가 각각 $I^k_{LR}$, $I_{SR}$입니다.
또한 다양한 blur kernels가 task distributions가 됩니다.
각 task는 specific blur kernel로 degraded된 image를 위한 super-resolution이 됩니다.

4. Method

제안된 MZSR의 전반적인 scheme은 Figure 2에 제시되어 있습니다. MZSR은 3가지 step으로 구성되어있습니다: large-scale training, meta-transfer learning, meta-test

4.1. Large-Scale Training

large-scale training step은 object detection을 위한 large-scale ImageNet의 pre-training과 유사합니다. 본 연구에서는 high-quality dataset $D_{HR}$인 DIV2K를 채택하였습니다.

가장 먼저 known "bicubic" degradation을 활용하여, large number of paired dataset $(I_{HR}, I^{bic}_{LR})$, D를 구성합니다.
그 뒤, 식(2)에 정의되어있는 loss를 최소화 하기 위한 network를 훈련시켜 "bi-cubic" degradation model이 super-resolution을 수행하도록 학습시킵니다.
식 (2)는 prediction과 ground-truth간 pixel-wise L1 loss를 의미합니다.

large-scale training은 두가지 측면에서 기여점이 있습니다.

첫째, super-resolution tasks와 유사하게 efficient representation을 학습하여, high-resolution images의 natural image priors를 암시적으로 표현합니다.
둘째, MAML이 some unstable training을 보여주는데, well pre-trained feature representation을 도와줌으로써, meta-learning의 training phase를 쉽게 합니다.

4.2. Meta-Transfer Learning

Meta-transfer learning 단계에서는 약간의 gradient update를 통해 large performance improvements를 달성할 수 있도록 sensitive and transferable initial point를 발견하는 것이 목적입니다.

MAML에 영감을 받아서, MZSR은 MAML을 대부분 따르지만 약간의 수정사항이 있습니다. 본 연구에서는 MAML과 다르게, meta training과 meta-test를 위한 다른 세팅을 채택하였습니다.

특히 본 연구의 meta-training에는 external dataset을 활용하고, meta-test에서는 internal learning을 채택하였습니다.
이는 large-scale dataset의 도움을 통해 meta learner가 더욱 kernel-agnostic property에 집중하기 위한 의도입니다.

meta-transfer learning의 dataset을 $D_{meta}$로 정의하였습니다.

D_{meta}는 다양한 kernel setting과 관련된 $(I_{HR},I^k_{LR})$ pairs로 구성이 되어있습니다.
구체적으로, blur kernel을 위해 isotropic과 anisotropic Gaussian kernel을 사용하였습니다.
각 kernel이 covariance matrix $\Sigma$ 로 결정되는 kernel distribution $p(k)$를 고려합니다.
- random angle: $\theta \sim U[0,\pi]$
- two eigenvalues: $\lambda1 \sim U[1,2.5s], \lambda2 \sim U[1,\lambda1]$
  - $s$: scale factor

covariance matrix는 식 3와 같이 표현됩니다.

$D_{meta}$에 기반하여 mata-learner를 학습합니다. $D_{meta}$는 그 두룹으로 구성됩니다.

$D_{tr}$ for task-level training
$D_{te}$ for task-level test

본 연구에서는 parameters $\theta$를 갖고 새로운 task $T_{i}$에 적용하여 1회 혹은 그 이상의 gradient updates를 수행합니다.

one gradient update를 위하여, new adapted parameters $\theta_{i}$는 식(4)와 같습니다.
- $\alpha$: task-level learning rate

model parameters $\theta$는 minimal test error of $D_{meta}$를 최소화 하기 위하여 최소화 됩니다.

meta-objective는 식 (5), (6)과 같습니다.

Meta-transfer optimization은 식 6을 이용하여 수행되고, 이는 knowledge across task를 학습합니다.

어떠한 gradient based optimization도 meta-transfer training에 사용될 수 있습니다.

stochastic gradient descent를 위한 parameter update rule은 식 (7)과 같이 표현됩니다.

4.3. Meta-Test

meta-test step은 정확히 zero-shot super-resolution 입니다. model이 single image내에 있는 internal information을 학습하게 합니다.

주어진 LR image를 갖고, corresponding down sampling kernel을 통해 downsample을 수행하여 $I_{son}$을 generate합니다.
그리고 single pair of "LR son"과 주어진 image에 대해 model parameter과 관련된 약간의 gradient update를 수행합니다.
그 뒤, 주어진 LR image를 model에 적용하여 super resolved image를 얻습니다.

4.4 Algorithm

Algorithm 1은 meta-transfer training procedure를 묘사하고 있습니다.

Lines 3-7: large-scale training stage
Lines 11-14: inner loop of meta-transfer learning where base-learner is updated to task-specific loss
Lines 15-16: meta-learner optimization

Algorithm 2는 meta-test step(zero-shot super-resolution)을 묘사하고 있습니다.

약간의 gradient updates(n)이 meta-test 동안 수행됩니다.
super-resolved image는 final updated parameters에 의해 획득됩니다.

5. Experiments

5.1. Training Details

ZSSR를 따라서 residual learning으로 이루어진 8-layer CNN arthitecture를 채택하였습니다.

parameters 수: 225K

meta-transfer training을 위해 DIV2K를 high-quality dataset으로 활용하였습니다($\alpha=0.01, \beta=0.0001)$.

inner loop에서 5 gradient updates를 수행
training patches : 64*64
ADAM optimizer as out meta-optimizer

5.2. Evaluations on "Bicubic" Downsampling

최근 supervised, unsupervised 방법론을 포함한 SotA SISR 방법론들을 포함하여 비교하였습니다.

Dataset: Set5, BSD100, Urban100
Metric: PSNR, SSIM, Y-channel of YCbCR colorspace

ZSSR과 MZSR은 supervised와 비교하여 좋은 성능을 달성하지 못하였는데, 이는 MZSR과 ZZSR이 unsupervised of self-supervised regime이기 때문입니다.

MZSR은 one single gradient descent updates로 ZSSR과 필적할 성능을 보여주었습니다.

5.3. Evaluations of Various Blur Kernels

다양한 blur kernel conditions에서 성능을 평가하였습니다.

4 scenaios: severe aliasing, unisotropic Gaussian, and isotropic Gaussian followed by bicubic subsampling.

"bicubic" scenario에서 훈련된 SoTA method RCAN은 domain discrepancy와 flexibility의 부족 때문에 열등한 성능을 보여주었습니다.

ZSSR은 flexibility 때문에 향상된 성능을 보여주었지만 thousands of gradient updates를 요구하기 때문에 시간이 오래 소요됩니다.
반면, MZSR은 one single gradient update로 ZSSR과 필적할 만한 성능을 보여줍니다.

6. Discussion

6.1. Number of Gradient Updates

ablation investigation을 위해 다양한 configurations에서 여러 모델을 훈련하였습니다. Set5에서의 average PSNR을 평가한 결과가 Figure 3에 기술되어있습니다.

흥미롭게도 initial point of our methods는 worst performance를 보여주었지만 오직 one iteration으로 빠르게 image condition에 적응하여 best performance를 보여 주었습니다.

6.2. Multi-scale Models

본 연구에서는 추가적으로 multi-scale model을 훈련하였으며, x2의 결과는 Table 3에 기술되어있습니다.

x2의 결과는 single-scale model과 비교하여 worse results를 보여줍니다.
multiple scaling factors로는 task distribution이 더욱 복잡해지고, meta-learner가 fast adaptation을 위한 적절한 regions를 capture하기 위해 struggles함을 의미합니다.
게다가, larger scaling factor로 meta-testing을 수행할 경우 $I_{son}$의 크기가 너무 작아져서 CNN에게 충분한 information을 전달하기 어렵습니다.
따라서, CNN은 very small LR son image의 information을 거의 활용하기가 어렵습니다.

중요한 점은 marge scaling factors를 활용한다고 하더라도 CNN이 internal information of CNN을 학습하기 때문에, multi-scale recurrent patterns를 갖고있는 images들은 plausible results를 보여준다는 것입니다(Figure 5).

6.3. Complexity

본 연구에서는 전반적인 model과 time complexities를 비교하였습니다.

CARN과 RCAN은 parameters의 수가 굉장히 큽니다.
ZSSR은 totally unsuperviseed 방법론으로 훨씬 적은 parameter를 갖고 있지만, 너무 많은 시간이 소요되고 practical 하지 않다는 단점이 있습니다.
MZSR은 single gradient update를 사용하면 가장 적은 시간이 소요되며, 10 iterations를 수행한다고 하더라도 CARN과 상응하는 시간만이 소요된다는 장점이 있습니다.

7. Conclusion

본 연구에서는 빠르고, 유연하고, 가벼우며(lightweight), external and internal samples롤 모두 활용하는 self-supervised super-resolution 방법론을 제안하였습니다. 구체적으로 optimization-based mata-learning과 transfer learning을 함께 활용하여 다양한 조건의 blur kernel에 적응가능한 initial point를 찾은 과정을 채택하였습니다.

같이 보시면 좋아요.

2021.07.18 - [Image Generation] - “Zero-Shot” Super-Resolution Using Deep Internal Learning(2018)

“Zero-Shot” Super-Resolution Using Deep Internal Learning(2018)

“Zero-Shot” Super-Resolution Using Deep Internal Learning(2018) Abstract 지난 몇년동안 Deep Learning은 Super Resolution(SR)에서 훌륭한 성능을 보여주었습니다. 하지만, supervised 기반의 SR 방법론..

deepmal.tistory.com

2021.07.17 - [Image Generation] - Real-World Super-Resolution via Kernel Estimation and Noise Injection(2020)

Real-World Super-Resolution via Kernel Estimation and Noise Injection(2020)

Real-World Super-Resolution via Kernel Estimation and Noise Injection(2020) Abstract 최근 SoTA super-resolution 방법들(supervised super-resolution)은 ideal datasets에서 인상적인 성능을 보여주었습..

deepmal.tistory.com

2021.07.11 - [Image Generation] - Noise2Void - Learning Denoising from Single Noisy Images(2019)

Noise2Void - Learning Denoising from Single Noisy Images(2019)

Noise2Void - Learning Denoising from Single Noisy Images(2019) 안녕하세요. 쏴아리 입니다. 오늘은 Unsupervised Image Denoising 방법론 중 하나인 Noise2Void에 대해 포스팅 하고자 합니다. Abstra..

deepmal.tistory.com

Noise2Void - Learning Denoising from Single Noisy Images(2019)

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

AWS Certified Developer Associate 2021 합격후기

말해보시개 — Mon, 6 Sep 2021 17:57:12 +0900

AWS Certified Developer Associate 2021 합격후기

안녕하세요. 2021년 9월 6일 AWS Certified Developer Associate(DVA) 시험에 응시하여 합격하였고, 시험에 대한 소개와 공부 기간, 공부 방법 등에 대해 설명 드리고자 합니다.

AWS Certified Cloud Practitioner 후기가 궁금하신 분들은 다음 포스팅을 참고해 주세요!

2021.07.10 - [AWS] - AWS Certified Cloud Practitioner 2021 합격후기

AWS Certified Cloud Practitioner 2021 합격후기

AWS Certified Cloud Practitioner 2021 합격후기 안녕하세요. 쏴아리입니다. 최근 AWS Certified Cloud Practitioner 시험에 응시해 합격하였고, 시험 소개, 후기, 공부기간에 대해 포스팅 하고자 합니다. AW..

deepmal.tistory.com

AWS Certified Developer Associate 소개

AWS Certification의 등급은 크게 Foundation, Associate, Professional로 구분되며 각 특정 분야에 맞는 자격증으로 Specialty가 있습니다.

Foundational이 가장 쉬운 등급이고, Associate, Professional 순으로 난이도가 있습니다.

Foundational Level: AWS Certified Cloud Practitioner
Associate Level: AWS Certified Solutions Architect Associate, AWS Certified SysOps Administrator Assosicate, AWS Certified Developer Associate
Professional Level: AWS Certified Solutions Architect Professional, AWS Certified DevOps Engineer Professional

저는 AWS Certified Cloud Practitioner, AWS Certified Developer Associate를 보유중이며, 개인적으로는 AWS Certified DevOps Engineer Professional이 가장 취득하고 싶은 자격증입니다.

AWS Certified Developer Associate는 개발자 역할을 수행하는 개인을 대상으로 하며, 핵심 AWS 서비스, 사용 및 AWS 아키텍처 기본 모범 사례에 대한 이해 입증, AWS를 사용한 클라우드 기반 애플리케이션의 개발, 배포 및 디버깅에 대한 숙련도를 입증하기 위한 시험입니다.

시험범위은 다음과 같이 배포, 보안, AWS 서비스를 사용한 개발, 리팩터링, 모니터링 및 문제해결 5가지의 영역으로 구성되어 있습니다.

출처: AWS

AWS Certified Developer Associate 시험 응시와 관련된 정보는 다음과 같습니다.

합격 커트라인: 720점(1000점 만점)
시험 시간: 160분
요금: 200 USD

AWS Certified Developer Associate 공부 방법, 덤프

1. AWS.training에서 AWS Certified Developer Associate 교육 수강

4day 교육으로 AWS Certified Developer Associate과 관련된 전반적인 내용에 대하여 교육합니다.
Lab이 있어 AWS를 실습할 수 있는 기회를 제공합니다.
개인적으로 시험에는 별 도움이 되지 못하였습니다.

2. Udemy 강의

https://www.udemy.com/course/aws-certified-developer-associate-dva-c01/

Udemy에서 제공하는 Ultimate AWS Certified Developer Associate 2021 - NEW! 강의입니다.
이론강의로 매우 퀄리티가 높아 추천합니다.
덤프에서만 문제가 출제되는 것이 아니기 때문에, 이론을 반드시 공부해야 하는데, 해당강의로 많은 도움이 되었습니다.
강의는 할인할때 1만6천원 정도로 구입할 수 있으니, 참고하세요!(매우 자주 할인 행사를 합니다.)

출처: Udemy

3. Udemy 모의고사

https://www.udemy.com/course/aws-certified-developer-associate-practice-tests-dva-c01/

Udemy에서 제공하는 Practice Exams | AWS Certified Developer Associate 2021이 있습니다.
모의고사가 총 6개로 구성되어있는데, 저는 4개만 풀어보았습니다.
해당 모의고사에서 동일한 실제 시험이 출제되지는 않았고, Udemy 강의에서 공부한 내용을 복습한다는 의미에서 유용한 것으로 판단합니다.
역시 강의는 할인할 때 1만원 선에서 구입하는 것을 추천합니다

출처: Udemy

4. examtopics AWS Certified Developer Associate 덤프
https://www.examtopics.com/exams/amazon/aws-certified-developer-associate

AWS Certified Developer Associate Amazon Exam Info and Free Practice Test | ExamTopics

www.examtopics.com

실제 시험 문제가 덤프에서 60~70% 정도 출제되므로 가장 중요한 공부 자료입니다.
가끔식 examtopics 사이트가 막혀 404 Error가 날때가 있습니다. 2주정도 기다리니, 다시 open되더군요.
examtopics 사이트가 막히면 다음과 같은 키워드로 구글 캐시로 저장된 내용을 한문제씩 검색하여 공부할 수 있으니 참고해주세요!
- "EXAM AWS CERTIFIED DEVELOPER ASSOCIATE TOPIC 1 QUESTION 333 DISCUSSION"

AWS Certified Developer Associate 준비기간

AWS Certrified Developer Associate 취득을 위한 총 준비 기간은 7주입니다.

1주 소요: AWS.training에서 AWS Certified Developer Associate 교육 수강
2주 소요: Udemy Ultimate AWS Certified Developer Associate 2021 - NEW! 이론 강의 수강
1주 소요: Udemy Practice Exams | AWS Certified Developer Associate 2021 모의고사 4회 풀이
3주 소요: Examtopic 덤프 공부(약 5바퀴 돌림)

7주동안 덤프와 유데미 공부를 하느라 너무 지치네요.

빠르게 Certificate를 취득하고자 평일/주말 가리지 않고 풀로 공부하였습니다.

AWS Certified Developer 시험 후기

시험은 을지로 근처에 있는 솔데스크 시험장에서 응시하였습니다.

시험은 총 160분의 시간이 주어졌지만 실제 문제 풀이에는 60분 정도만 소요되었습니다.

시험 문제 풀이 후 서베이를 제출하면 바로 합격/불합격 여부를 알 수 있었습니다.

합격하게 되면 추후 AWS Certificate를 응시하는데 필요한 50% 할인 바우처를 주니 참고하세요 ㅎㅎ

다음에는 AWS Certified DevOps Engineer Professional 시험에 도전하고 싶습니다!

(너무 지쳐서 조금 쉬고..)

같이 보시면 좋아요.

AWS Certified Cloud Practitioner 2021 합격후기

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

“Zero-Shot” Super-Resolution Using Deep Internal Learning(2018)

말해보시개 — Sun, 18 Jul 2021 15:05:56 +0900

“Zero-Shot” Super-Resolution Using Deep Internal Learning(2018)

Abstract

지난 몇년동안 Deep Learning은 Super Resolution(SR)에서 훌륭한 성능을 보여주었습니다.

하지만, supervised 기반의 SR 방법론들은 specific training data에 제한적이라는 단점이 있습니다.

high-resolution(HR) image로부터 미리 정해진 방법으로(예: bicubic downscaling) low-resolution(LR) image를 획득합니다.
Real LR images는 이러한 제한에 따르는 경우가 드물기 때문에, SotA method를 적용하였을 경우 대개 poor SR result를 만들게 됩니다.

본 연구에서는 "Zero-Shot" SR을 소개합니다.

Zero-Shot SR은 Deep Learning을 활용하지만, prior training에 의존하지 않습니다.
Zero-Shot SR은 single image 안에 있는 internal recurrence of information을 이용하여, test time에 오직 한장의 image로 부터 추출된 예제를 활용해 small image-specific CNN을 학습합니다.
즉, Zero-Shot SR은 각 image 마다 다른 stetting을 채택합니다.

이를통해 real old photos, noisy images, biological data 등 image 취득 과정이 unknown 혹은 non-ideal인 경우에도 SR이 가능합니다.

이러한 images에서 ZSSR은 SotA CNN-based SR methods와 previous unsupervised SR methods를 outperform 하였습니다.
ZSSR은 first unsupervised CNN-based SR method라는 점에 의미가 있습니다.

1. Introduction

Single image Super-Resolution(SR)는 최근 Deep-Learning based method를 활용하며 많은 성과를 이루어 냈습니다.

주로 exhaustively on external databases로부터 훈련된 very deep and well engineered CNNs통해 이러한 성능향상을 이루어 냈습니다.
하지만 externally supervised methods는 훈련 상황을 만족하는 데이터에서는 아주 잘 작동하지만, 훈련 데이터와 다른 경우에는 잘 작동하지 않는다는 한계점이 있습니다.

예컨대, SR CNNs는 주로 high quality natural images에서 specific downscaling kernel로 인해 생성된 low-resolution(LR) 이미지를 활용해 훈련됩니다.

Figure 1에서 real LR images를 다루는 경우, 'non-ideal' cases에서 SotA SR methods가 poor results를 보여줍니다.
Figure 2는 훈련 조건이 만족하지 않았을 때를 보여줍니다.
- downscaling kernel이 non-ideal한 경우
- aliasing effect를 포함하는 경우
- sensor noise or compression artifacts를 포함하는 경우

본 연구에서는 "Zero-Shot" SR(ZSSR)을 소개합니다.

ZSSR은 prior image examples 나 prior training이 없이 Deep Learning의 Power를 이용합니다.
internel recurrence of information within a single image를 활용하여, test time에 a small image-specific CNN을 훈련합니다.
- 즉, 오직 LR input image 자체만을 활용하여 훈련데이터가 추출됩니다(internal self-supervision).
따라서 CNN은 image 별로 다른 setting에 적용될 수 있습니다.
이는 SR이 acquisition process가 unknown and non-ideal한 real images에서 작동 가능하게 합니다(Figure 1, Figure 2).

Single image에서의 recurrence of small pieces of information은 natural images에서 매우 강력한 특성을 가집니다.

이는 unsupervised image enhancement methods(unsupervised SR, Blind-SR, Blind-Deblurring 등)의 기초가 됩니다.
이와 같은 unsupervised methods는 image-specific information을 이용할 수 있지만, 주로 K-nearest-neighbours search를 활용하여 Eucledian similarity of small image patches에 의존합니다.
따라서, LR image안에 존재 하지 않는 patch, non-uniform sized of repeating structures inside the image 등의 문제에서 generalize 하기 어렵습니다.

본 연구에서 제안하는 image-specific CNN은 위에 기술한 patch-based methods에서 제한되지 않고 , cross-scale internal recurrence of image-specific information을 활용합니다.

LR image와 그것의 downscaled versions으로 부터 생성된(self-supervision) 복잡한 image-specific HR-LR relations을 추론하기 위해 CNN을 학습합니다.
이렇게 학습된 relations을 활용하여 LR input image을 바탕으로 HR output을 생성합니다.
ZSSR은 unsupervised patch-based SR을 크게 능가 하였습니다.

본 연구의 기여점은 다음과 같습니다.

ZSSR은 first unsupervised CNN-based SR method입니다.
non-ideal imaging condition도 다룰수 있고, 다양한 data types의 images에 적용이 가능합니다.
pretraining이 필요 없고, modest amounts of computational resources 환경에서 실행이 가능합니다.
어떠한 size에서도 SR이 적용 가능합니다.
unknown imaging conditions에도 적용이 가능합니다.
'non-ideal' conditions하에서 취득된 SotA SR results를 제공하며, 'ideal' conditions에서도 SotA supervised methods와 competitive한 results를 보여줍니다.

2. The Power of Internal Image Statistics

본 연구의 접근 방법의 fundamental은 natural images가 strong internal data repetition을 가진다는 사실에 있습니다.

예를들어 small image patches(예: 55, 77)는 같은 scale 혹은 다른 scale안에 있는 이미지 내에 repeat pattern을 보여주는 경우가 많이 있습니다.

Figure 3는 internal patch recurrence 기반의 simple single-image SR의 예시를 보여줍니다.

이 예제에서 larger balconies를 참고하여 tiny balconies 안에 있는 tiny handrails가 recover하는 것이 가능합니다.
사실 이러한 tiny handrails의 존재에 대한 유일한 증거는 다른 location의 다른 scale로 이미지 안에 존재합니다.
SoTA SR methods는 externally trained images에 의존할 때 이러한 image-specific information을 recover하는데 실패합니다.

사실, 선행연구에서 external entropy of patches in a general collection of natural images보다 internal entropy of patches inside a single image가 훨씬 더 작나든 것이 실증적으로 보여졌습니다.

이는 internal image statistics가 때때로 general image collection으로 부터 얻어진 external statistics보다 stronger predictive-power를 줄 수 있다는 점을 의미합니다.

3. Image-Specific CNN

본 연구에서 제안하는 image-specific CNN은 predictive power와 low entropy of internal image-specific information을 Deep-Learning의 generalization capabilities와 결합합니다.

학습시킨 external examples가 없는 상황의 주어진 test image $I$에 대하여, Image-Specific CNN을 활용해 이 specific image를 위한 SR task를 해결합니다.
test image 자체에서 추출된 examples을 활용해 CNN을 훈련합니다.
이러한 examples는 LR image $I$를 downscaling해서 얻어지고, 그 자체의 low-resolution version($I \downarrow s$)을 생성하기 위해 활용됩니다.
상대적으로 가벼운 CNN을 활용하여, test image $I$를 low-resolution version ($I \downarrow s$)으로 재구성해 학습합니다(Figure 4. (b)의 윗부분).
그 뒤, 학습된 CNN 결과를 test image $I$에 적용하여($I$를 network의 LR input으로 활용), desired HR output $I \uparrow s$를 얻어냅니다(Figure 4 (b)의 아래부분).
이때, 학습된 CNN은 fully convolutional이므로, 다양한 size의 images에 적용이 가능합니다.

본 연구에서의 "training set"이 하나의 instance만으로만 구성되었기 때문에, 더 많은 LR-HR example-pairs를 추출하기 위해 data augmentation을 수행하였습니다.

augmentation은 test image $I$를 downscaling하면서 많은 smaller version($I= I_0, I_1, I_2, ..., I_n$)을 생성하여 수행됩니다.
이들은 HR supervision의 역할을 하여 "HR fathers"라고 불립니다.
각 HR fathers는 desired SR scale-factor $s$에 의해 downscaled되어 "LR sons"(input training instances)를 얻게 됩니다.
결국 training set은 많은 image-specific LR-HR example pairs로 구성되게 됩니다.

또한, training set을 enrich하게 하기 위하여 각 LR-HR pair를 변형 하여 x8의 더 많은 image-specific training example을 확보하였습니다.

4 rotations(0, 90, 180, 270)
mirror reflections in the vertical and horizontal directions

robustness를 위해 large SR scale factor $s$를 아주 작은 small LR images에 대해도 적용하였고, SR이 gradually perform하게 하였습니다.

several intermediate scale factors ($s_1, s_2, ..., s_m = s$)이 적용됩니다.
각 intermediate scale $s_i$에서, generated image $HR_i$와 downscaled/rotated versions를 gradually growing training-set(as new HR fathers)이 되게 하였습니다.
그것들(previous smaller 'HR examples')을 next gradual scale factor $s_{i+1}$로 새로운 new LR-HR training example pairs를 생성합니다.
이 과정은 full desired resolution increase $s$까지 반복합니다.

3.1 Architecture & Optimization

large and diverse external collection of LR-HR image examples로 부터 학습되는 Supervised CNNs은 large diversity of all possible LR-HR relations로부터 weights를 학습해야 합니다.

이러한 네트워크는 굉장히 deep and very complex한 경향이 있습니다.
반대로, diversity of LR-HR relations of single image는 매우 작기 때문에, 훨씬 작고 간단한 image-specific network에 의해 encoded될 수 있습니다.

본 연구에서는 8개의 hidden layers(each has 64 channels)를 가진 simple, fully convolutional network를 활용합니다.

각 layer에서 ReLU activation을 활용하였습니다.
Network input은 output size로 interpolated됩니다.
이전의 CNN-based SR methods와 같이, interpolated LR과 HR parent간 residual을 학습합니다.
$L_1$ loss를 ADAM optimizer와 함께 사용합니다.
learning rate 0.001로 시작하여, 주기적으로 reconstruction error의 linear fit을 계산하여, standard deviation이 slope of the linear fit보다 특정 factor 이상으로 크다면, learning rate를 10으로 나눠줍니다.
learning rate 가 $10^-6$이 도달하면 훈련을 종료합니다.

training stage를 가속화하고 test image $I$의 size에 따른 runtime을 독립적으로 하기 위해, 각 iteration동안 랜덤하게 선택된 father-son example pair로 부터 random crop of fixed size를 취득합니다.

crop은 대개 128*128 size입니다.
각 훈련 iteration에서 LR-HR example을 sampling하는 확률은 non -uniform하고 size of the HR-father에 비례합니다.
size-ratio(between the HR-father and the test image $I$)가 1에 가까울수록 sampling될 확률이 증가합니다.

마지막으로 geometric self-ensemble과 비슷하게, 8개의 outputs에서 median을 취합니다.

3.2 Adapting to the Test Image

HR으로부터 LR images의 acquisition parameter가 fixed되어 있다면(예: same downscaling kernel, high-quality imaging conditions), supervised SR 방법은 매우 높은 성능을 보여줄 수 있습니다.

하지만 실무에서는 cameras/sensors가 다르고, 개인마다 image를 취득하는 조건이 다르기 때문에, acquisition process가 image마다 다를 수 있습니다.
이는 다른 downscaling kernels, 다른 noise characteristics의 결과를 내개 됩니다.
따라서 모든 가능한 image acquisition configurations/settings를 고려하여 훈련하는 것은 실무적으로 불가능할지도 모릅니다.
게다가, 하나의 single supervised CNN은 모든 가능한 degradations/settings의 환경에서 잘 작동하기 힘들고, 좋은 성능을 내기 위해서는, 각각 다른 degradations/setting하에서 학습된 specialized SR이 필요합니다.

이러한 환경에서는 image-specific network의 이점이 있을 수 있습니다.

network는 test time에서, test image의 specific degradations/settings에 직접 맞춰집니다.
네트워크는 test time에 user로부터 다음과 같은 parameters를 받을 수 있습니다.
1. The desired downsacling kernel
2. The desired SR scale-factor $s$
3. The desired number of gradual scale increases
4. Whether to enforce Backprojection between the LR ans HR image
5. Whether to add 'noise' to the LR sons in each LR-HR example pair extracted from the LR test image

4. Experiments & Results

ZSSR(Zero-Shot SR)은 주로 realistic(unknown and varying) acquisition setting의 real LR images를 다루는 것이 목적입니다.

이는 보통 HR ground truth가 없기 때문에 visually evaluated 됩니다(Figure 1).
ZSSR을 quantitatively evaluate 하기 위하여, 다양한 setting의 controlled experiments를 수행하였습니다.
흥미로운 것은 ZSSR은 SotA supervised method들에 특화되어있는 'ideal' benchmark datasets에서도 competitive results를 보여주었습니다.
'non-ideal' datasets에서 ZSSR은 SotA SR을 크게 능가하는 성능을 보여주었습니다.

4.1 The 'Ideal' Case

Ideal case는 ZSSR의 주요 목적이 아니지만, 본 연구에서는 'ideal' LR image SR benchmark에서도 테스트를 수행하였습니다.

LR images는 HR version으로부터 ideally downscaled(bicubic kernel downsampling with antialiasing) 됩니다.
Table 1은 image-specific ZSSR이 externally-supervised methods와 비교해서도 competitive results를 달성함을 보여줍니다.
심지어, SRCNN 보다 ZSSR의 성능이 더 좋게 나왔고, some cases에서는 VDSR보다도 좋은 성능을 보여주었습니다.
Unsupervised-SR 영역에서는 leading method인 SelfExSR을 크게 능가하였습니다.

게다가, very strong internal repetitive structures에서는 'ideal' supervised setting에서도 ZSSR이 VDSR, 때때로 EDSR+를 능가하기도 하였습니다.

Figure 5에 관련 예제가 표현되어있습니다(not a typical natural image 예제).
또한 natural image예제는 Figure 6에 표현되어있습니다.

4.2 The 'Non-ideal' Case

Real LR images는 ideally generated 되지 않은 경향이 있습니다. 본 연구에서는 non-ideal cases를 ㅅ실험하기 위해 다음과 같은 실험을 하였습니다.

non-ideal downscaling kernels(that deviate from the bicubic kernel)
low-quality LR images

Non-ideal cases에서 image-specific ZSSR은 SotA SR method에 비해여 매우 높은 성능을 보여주었습니다.

Figure 2에 visual results가 소개되어있습니다.

(A) Non-ideal downscaling kernels

실험의 목적은 더 realistic blur kernels에 대해 테스트 하는 것입니다.

이를 위해, BSD100부터 HR images를 random(but reasonably sized) Gaussian kernels를 적용하여 새롭게 데이터를 만들었습니다.
For each image, the covariance matrix $\sum$ of its downscaling kernwl was chosen to have a random angle $\theta$ and random lengths $\lambda_1, \lambda2$ in each axis.
- $s$: HR-LR downscaling factor
즉, 각 LR image는 different random kernel로 인해 subsample 되었습니다.

Table 2에는 leading externally-supervised SR methods와 비교한 performance가 기술되어있습니다.

본 연구에서는 2가지 Case에 대한 ZSSR도 고려하였습니다.
1. The more realistic scenario of unknown downscaling kernel
  - For this mode we used [14] to evaluate the kernel directly from the test image and fed it to ZSSR.
  - The unknown SR kernel is estimated in [14] by seeking a non-parametric downscaling kernel which maximizes the similarity of patches across scales in the LR test image.
2. ZSSR with the true downscaling kernel used to create the LR image
Table 2는 ZSSR이 SotA methods를 매우 크게 능가한 성능을 보여줍니다.

(B) Poor-quality LR images

이 실험에서는 다른 종류의 quality degradation에 대해 images를 테스트 하였습니다.

unknown damage를 ZSSR이 잘 다루는지 robustness를 테스트 하기 위하여, BSD100의 각 image를 선택하여 random type of degradation out of 3 degradations를 적용하였습니다.
1. Gaussian noise [$\sigma$=0.05]
2. Speckle noise [$\sigma$=0.05]
3. JPEG compression [quality =45]
Table 3는 ZSSR이 unknown degradation types에 robust하고, SR supervised method는 bicubic interpolation보다 낮은 성능을 가짐을 보여줍니다.

5. Conclusion

본 연구에서는 "Zero-Shot" SR의 컨셉을 소개합하였습니다.

external examples or prior training에 의존하지 않고 Deep Learning을 이용합니다.
test time에서 only LR test image로 부터 취득된 internal examples에 기반하여 훈련된 small image-specific CNN을 통해 얻을 수 있습니다.

이는 non-ideal, unknown process를 통해 얻어진 real-world images의 SR을 수행합니다.

real-world 'non-ideal' setting에서, ZSSR은 SotA SR methods를 qualitatively and quantitatively outperform 하였습니다.
ZSSR은 최초의 unsupervised CNN-based SR method입니다.

같이 보시면 좋아요.

2021.07.17 - [Image Generation] - Real-World Super-Resolution via Kernel Estimation and Noise Injection(2020)

Real-World Super-Resolution via Kernel Estimation and Noise Injection(2020)

deepmal.tistory.com

2021.07.11 - [Image Generation] - Noise2Void - Learning Denoising from Single Noisy Images(2019)

Noise2Void - Learning Denoising from Single Noisy Images(2019)

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

Real-World Super-Resolution via Kernel Estimation and Noise Injection(2020)

말해보시개 — Sat, 17 Jul 2021 15:24:21 +0900

Real-World Super-Resolution via Kernel Estimation and Noise Injection(2020)

Abstract

최근 SoTA super-resolution 방법들(supervised super-resolution)은 ideal datasets에서 인상적인 성능을 보여주었습니다.

Supervised super-resolution 방법들은 high quality images를 단순히 bicubic downsampling을 하여 Low-Resolution이미지와 High Resolution(HR)이미지 pair를 만들어 모델을 학습합니다.
하지만, 이런 방법들은 real-world image super-resolution 문제에 적용하면 실패하는 경우가 많습니다.

본 연구에서는 이러한 문제를 해결하기 위해, real noise distributions와 various blur kernels를 estimating하는 designing a novel degradation framework for real world images을 제안합니다.

Novel degradation framework에 기반하여, real-world images와 공통적인 도메인을 sharing하는 LR images를 얻은 뒤, real-world super-resolution model를 학습합니다.

본 연구에서 제안한 모델은 NTIRE 2020 Challenge의 Real-World Super-Resolution 2개 tracks에서 winner를 차지하였습니다.

1. Introduction

Super-Resolution(SR) task는 low-quality images의 resolution을 증가시켜 clarity를 강화하는 일을 말합니다.

최근 몇년 동안 deep learning-based methods가 fidelity performance의 관점에서 놀랄 만한 성능을 보여주었고, network structures를 설계하여 specific datasets 에서의 성능을 증가시키기 위한 연구를 주로 초점을 맞추었습니다.
대부분은 fixed bicubic operation기반의 downsampling을 통해 training data pairs를 구성하게 되고, test phase에서도 bicubic kernel로 downsampled된 input image가 network에 입력되어 Ground Truth(GT)와 비교하여 PSNR과 SSIM 같은 metric을 계산하게 됩니다.

Fidelity의 향상에도 불구하고, 이러한 방법들은 ideal bicubic downsampling이 비현실적이라는 문제가 있습니다.

이전의 방법론들은 다음과 같은 ideal downsampling method를 통해 data를 구축합니다.

$I_{LR}, I_{HR}$: LR and HR image respectively
$s$: scale factor

이러한 데이터 구축 방법은 모델을 학습하기 위한 paired data를 획득하기 쉽다는 장점이 있지만, fixed downsampling kernel은 degraded images가 high-frequency details을 잃게 만들고 low-frequency content를 더 clear하게 할 수도 있습니다.

이렇게 구축된 paired data를 통해, SR model $f()$은 다음과 같은 $n$ images의 average error를 최소화 하기 위해 학습됩니다.

same downsampling dataset에서 test 하는 경우, generated results는 기대 했던 대로 나오지만, 직접 original image에 test를 하는 경우에는 results가 매우 blurry하고 noise가 많이 포함되는 경우가 있습니다.

이러한 문제가 발생하는 이유는 bicubic downsampled image가 original image와 같은 도메인에 속하지 않기 때문입니다.
domain gap 때문에, 이와같은 방법들은 unpleasant artifacts를 만들게 되고 real-world images에 fail하게 됩니다.
예) Figure 1에서 EDSR/ZSSR은 real image에 대해 unsatisfied result를 생성하게 됩니다.
따라서 real-world super resolution의 key problem은 generated Low-Resolution(LR) image와 original image가 same domain attributes를 갖도록 정확한 degradation을 해야합니다.

본 연구에서는 다양한 kernel에 대한 downsampled image로의 영향을 조사하였습니다.

original ream images가 source domain $X$, clean High-Resolution(HR) images가 target domain $Y$라고 정의하겠습니다.
Bicubic은 $X$에서의 information을 가능한 유지하려고 하기 떄문에 downsampling의 ideal way로 여겨질 수 있습니다.
하지만 downsampled images의 frequency는 another domain $X'$에서 변하게 됩니다.
$\{X', Y\}$에서 학습될 때, model은 domain $X'$에서 중요한 모든 information을 recover 하기 위한 시도를 할 것이고, 이 모델은 $I_{LR}$에서는 잘 작동하지만 $I_{src} \in X$의 이미지(unprocessed real image)에서는 잘 작동하지 못하게 됩니다.
또한 real-world images $X$는 noise를 많이 포함하고 있는 반면, downsampled image는 거의 noise가 없게 된다는 문제가 있어 blurry kernel이 model의 degradation process를 잘 추정하지 못하게 될 수 있습니다.

본 연구에서는 kernel estimation과 noise injection을 통해 original domain attributes를 유지할 수 있는 방법으로, Realistic degradation framework for Super-Resolution(RealSR)을 제안합니다.

existing kernel estimation 방법을 활용하여 더 realistic한 LR images를 generate합니다.
original image로 부터 noise를 collect하고 downsampled image에 noise를 첨가하는 방법을 제안합니다.
patch discriminator를 통해 RealSR이 generated artifacts를 피할 수 있도록 합니다.

2. Related Work

Super-Resolution

최근 Convolutional Neural Networks (CNN)-vased SR networks가 bicubic downsampling images에서 강력한 성능을 달성하였습니다.

그 중 대표적으로 EDSR은 deep residual network를 통해 SR model을 학습합니다.
또한 Generative Adversarial Networks(GAN)-based method는 adversarial losses와 perceptual losses를 도입하며, visual effect에 더 집중해 generated image의 quality를 향상 시켰습니다.

하지만 이런 SR 모델들은 clean HR data로부터 bicubic kernel을 통해 generated된 image에서 학습되어, 학습기간동안 blurry/noisy data를 경험하지 못했다는 한계점이 있습니다.

이는 real LR images가 자주 noise와 blur하다는 real-world의 needs를 반영하지 못하고 있습니다.
본 연구에서는 real images에서 degradation을 분석하여, SR network를 real data에서 훈련할 수 있는 전략에 초점을 맞추고 있습니다.

Real-World Super-Resolution

real-world super-resolution의 challenge를 극복하기 위해 최근 denoising or deblurring이 결합된 연구들이 제안되었습니다.

이런 연구들은 artificially constructed blurry and noise-added data에서 학습되어, SR 모델의 robustness를 향상시킵니다.
하지만, 이러한 explicit modeling methods는 blur/noise에 대한 sufficient prior을 필요로 하므로 적용할 수 있는 범위가 제한적이라는 한계점이 있습니다.

최근 real-world super-resolution challenges 에서 새로운 방법론들이 이러한 문제점을 해결하기 위해 연구되었습니다.

ZSSR은 대량의 데이터를 활용한 training process를 버리고, 각 test image에서 internal information에 집중하는 작은 모델들을 학습합니다.
하지만, ZSSR은 inference imte이 증가한다는 단점이 있어 real scence에 적용하기 어렵다는 한계점이 있습니다.

3. The Proposed Method

proposed degradation method는 Figure 2에 기술되어 있습니다.

First Stage: real data로 부터 degradation을 추정하고 realistic LR images를 생성합니다.
Second Stage: constructed data를 활용하여 SR모델을 학습합니다.

3.1 Realistic Degradation for Super-Resolution

kernel estimation과 noise injection에 기반한 real image degradation 방법에 대해 기술합니다.

LR image는 다음과 같은 degradation method에 의해 생성되었음을 가정합니다.

$k$: blurry kernel, $n$: noise
$I_{HR}$ , $k$, $n$ 은 알려져 있지 않습니다.

degradation 방법을 더 정확하게 추정하기 위하여, kernel과 noise를 image로 부터 추정합니다.

kernel과 noise를 추정 한 뒤, degradation pool을 만듭니다. 이때 degradation pool은 clean HR
images를 blurry and noisy images로 degrade하여 SR 모델을 훈련하기 위한 image pairs를 생성합니다.

위와같은 data constructing pipeline은 Algorithm 1에 기술되어 있습니다.

3.2 Kernel Estimation and Downsampling

real images로부터 kernel을 추정하기 위해 kernel estimation algorithm을 사용합니다.

KernelGAN과 유사항 estimation을 채택하여, real images로부터 적절한 parameter를 셋팅합니다.

KernelGAN의 generator는 activation layers가 없는 linear model이고, 모든 layers의 parameters는 fixed kernel로 combined 될 수 있습니다.

추정된 kernel은 다음과 같은 constraint를 만족해야 합니다.

첫번째 term: downsampled image가 source image의 important low-frequency information을 encourage하게 error를 최소화 합니다.
- $(I_{SRC}*k)\downarrow_s$: downsampled LR image with kernel $k$
- $I_{SRC}\downarrow_s$: downsampled image with ideal kernel
두번째 term: $k$의 합이 1이 되도록 하는 제약조건 입니다.
세번째 term: Discriminator $D()$가 source domain의 consistency를 보ㅓ장하도록 합니다

Clean-Up

더 많은 HR images를 얻기 위하여 $X$로 부터 noise-free images를 생성합니다.

특히, bicubic downsampling을 source domain real image에 적용하여 noise를 제거하고 image를 sharper하게 만듭니다.

$I_{src} \in X$, image from real source images set
$k_{bic}$: ideal bicubic kernel
image는 clean-up scale factor $sc$에의해 down sampled됩니다.

Degradation with Blur Kernels

downsampling이 적용된 images를 clean HR images로 고려합니다.

이러한 HR images을 대상으로, degradation pool에서 blur kernel을 랜덤하게 선택한 뒤 degradation을 수행합니다.

downsampling process는 다음과 같이 stride $s$를 가진 sampling을 따르는 cross-correlation 연산입니다.

$I_D$: downsampled image
$k_i$: selected specific blur kernel from $\{k_1, k_2 ... k_m\}$

3.3 Noise Injection

Realistic LR images를 생성하기 위하여 downsampled images에 noise를 inject합니다.

high-frequency information은 downsampling process에 의해 잃게 되므로, degraded noise distribution도 함께 변하게 됩니다.

degraded image가 source image의 noise distibution과 유사하게 만들도록 하기 위해서, source dataset $X$로부터 noise patch를 수집합니다.

richer content를 가진 patches는 larger variance를 갖는다는 사실을 발견하였습니다. 이러한 발견에 기초하여, variance에 기반하여 patches를 수집하는 filtering rule을 설계하였습니다.

단순하지만 효과적이게도, noise를 다음의 rule에 따라서 추출합니다.

$\sigma()$: function to calculate variance
$v$: max value of variance

Degradation with Noise Injection

series of noise patches $\{n_1, n_2 ... n_;\}$이 수집되어 degradation pool에 더해졌다고 가정합니다.

noise injection process는 랜덤하게 noise pool로부터 patches를 crop하여 수행됩니다.

$n_i$: cropped noise patch from the noise pool consisting of $\{k_1, k_2 ... k_l\}$

구체적으로, training phase동안 content와 noise가 결합되는 online noise injection method를 채택합니다.

이는 noise가 더 다양하게 하고, SR model이 content와 noise를 구분할 수 있도록 regularizes하는 효과가 있습니다.
blur kernels와 injecting noise를 통한 degradation 이후, $I_{LR} \in X$를 얻게 됩니다.

3.4 Super-Resolution Model

constructed paired data $\{I_{LR}, I_{HR}\}\in\{X,Y\}$를 활용하여 ESRGAN에 기반한 SR 모델을 훈련하였습니다.

loss function은 3개 loss들의 가중 합으로 구성됩니다.

pixel loss $L_1$: Li distance
Perceptual loss $L_{per}$: inactive features of VGG-19
- edges와 같은 low-frequency features의 visual effect를 enhance하는데 도움을 줌
Adversarial loss $L_{adv}$: generated image가 realistic하게 보일 수 있도록 generated image의 texture details를 enhance하는데 활용됨
$\lambda_1, \lambda_{per}, \lambda_{adv}$: 0.01, 1, 0.005

3.5 Patch Discriminator in RealSR

다음과 같은 이유로 default ESRGAN setting과 다르게, VGG-128대신 patch discriminator를 활용하였습니다.

VGG-128은 generated image의 size를 128로 제한하기 때문에, multi-scale training을 하는데 불편합니다.
VGG-128은 deeper network를 포함하고 있고, fixes fully connected layers는 discriminator가 더 global feature에 집중하게 만들고, local feature를 무시하게 합니다.

Fixed receptive field를 가진 Fully convolution structure 기반 patch discriminator를 사용하였습니다.

ex) a three-layer network corresponds to a 70*70 patch
discriminator의 각 output value는 오직 local fixed area의 patch에 관련됩니다.
patch losses는 generator로 피드백되어 local details의 gradient를 최적화 하는데 활용됩니다.

Final error는 local error의 평균으로, global consistency를 guarantee하게 됩니다.

4. Experiments

4.1 Datasets

DF2K

DF2K dataset은 DIV2K와 Flikr2K datasets을 merge하였으며 3,540 images를 포함하고 있습니다.
artificially added with Gaussian noise to simulate sensor noise
validation set은 ground truth와 함께 100 images가 제공되어, reference based metric을 계산 할 수 있습니다.

DPED

iPhone3 camera로 얻은 5,614 images를 포함합니다.
unprocessed real images, containing noise, blur, dark light and low-quality problems
validation set은 original real images로부터 cropped 되었으며, ground truth가 없어 오직 visual comparison만 가능합니다.

4.2 Evaluation Metrics

PSNR & SSIM

commonly-used evaluation metrics for image restoration
visual quality 보다는 image의 fidelity에 더 집중합니다.

LPIPS

LPIPS는 images의 visual features가 유사한지 아닌지에 더 집중합니다.
LPIPS는 pretrained Alexnet을 활용하여 image features를 추출하고 두 features간 distance를 계산합니다.
LPIPS가 작으면, generated image가 ground truth와 더 가깝다는 의미입니다.

4.3 Evaluation on Corrupted Images

LPIPS가 visual quality를 잘 반영하기 때문에, LPIPS metric에 주로 초점을 맞추었습니다.

EDSR, ESRGAN, ZSSR, K-ZSSR과 비교를 하였습니다.

EDSR과 ESRGAN은 authors에 의해 released된 pre-trained model을 활용하였습니다.
ZSSR은 training process가 필요없기 때문에, 간단히 test code를 validation images에 대해 돌렸습니다.
K-ZSSR은 KernelGAN과 ZSSR의 combination으로, KernelGAN은 ZSSR training동안 image patches를 downsampling하는데 활용됩니다(ZSSR은 bicubic degradation을 default로 채택).

Quantitative Results on DF2K

RealSR은 best LPIPS performance를 달성 하여, visual characteristics의 관점에서 ground truth에 더 근접하였습니다.

PSNR은 EDSR보다 낮았는데, RealSR의 perceptual loss가 visual quality에 더 집중 하였기 때문인 것으로 판단됩니다.

일반적으로 PSNR과 LPIPS metric은 positive correlated하지 않고 certain range에서는 오히려 반대 관계를 보이기도 합니다.

Qualitative Results on DF2K

local details를 살펴보았을 때, RealSR은 더 적은 noise를 보여주었습니다.

또한, EDSR과 ZSSR과 비교하였을 때, richer texture details관점에서 RealSR이 더 clear한 결과를 보여주었습니다.

ESRGAN, K-ZSSR과 비교하였을 때, RealSR의 results가 거의 인공적인 부분이 없는 것으로 보이고(almost no artifacts), 이는 real noise distribution을 정확하게 degradation하여 얻은 기여점인 것으로 판단됩니다.

K-ZSSR은 bicubic 보다 더 blurry한 결과를 얻어 거의 noise가 없지만, 많은 artifacts을 생성하게 된다는 단점이 있습니다.

4.4 Evaluation on Real-World Images

Qualitative Results on DPED

4.5 NTIRE 2020 Challenge

본 연구의 RealSR은 NTIRE 2020 Challenge의 Real-World Super-Resolution의 2개 track에서 우승하였습니다.

Track 1: synthetic corrupted data via image processing artifacts
Track 2: real data of smartphone images

각 track에서의 data는 2개 domain을 포함합니다.

source domain dataset containing noise and blur
clean HR target dataset

이 Task는 LR image의 resolution을 4배 확대하고, generated SR image의 clarity와 sharpeness를 given target dataset과 consistent 해야 합니다.

학습을 위해 주어진 pair data가 없으므로, 참가자들은 two set of images를 training data를 구성하는데 사용해야합니다.
본 연구에서는 proposed method를 적용하여 2개 track에서 best results를 달성하였습니다(Table 2, Table 3).

4.6 Ablation Study

kernel 추정을 하는 데, injecting noise during the degradation process, patch discriminator during SR training 등의 필요성을 증명하기 위하여 DPED dataset에서의 ablation experiments를 수행하였습니다.

5. Conclusion

본 연구에서는 kernel estimation과 noise injection에 기반한 novel degradation framework RealSR을 제안하였습니다.

다양한 degradation의 조합(blur and noise)으로 LR images들은 real images와 common domain을 share하게 됩니다.
domain-consistent data를 활용해 real image super-resolution GAN을 훈련하였고 HR result를 더 좋은 perception으로 생성 할 수 있었습니다.

Synthetic noise data와 real-world images의 실험에서 본 연구에서 제안함 RealSR이 state-of-the-art method의 성능을 능가함을 확인 하였고, NTIRE 2020 Challenge의 Real-World Super-Resolution의 2개 track에서 우승하였습니다.

같이 보시면 좋아요.

2021.07.11 - [Image Generation] - Noise2Void - Learning Denoising from Single Noisy Images(2019)

Noise2Void - Learning Denoising from Single Noisy Images(2019)

deepmal.tistory.com

2021.05.08 - [Image Generation] - Unpaired Image-To-Image Translation Using Cycle-Consistent Adversarial Networks(2017)

Unpaired Image-To-Image Translation Using Cycle-Consistent Adversarial Networks(2017)

Unpaired Image-To-Image Translation Using Cycle-Consistent Adversarial Networks(2017) Abstract ▷ Paired Image-to-image translation 훈련 데이터 획득의 어려움 Image-to-image translation은 input-t..

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

Noise2Void - Learning Denoising from Single Noisy Images(2019)

말해보시개 — Sun, 11 Jul 2021 18:47:56 +0900

Noise2Void - Learning Denoising from Single Noisy Images(2019)

안녕하세요. 쏴아리 입니다.

오늘은 Unsupervised Image Denoising 방법론 중 하나인 Noise2Void에 대해 포스팅 하고자 합니다.

Abstract

Image denoising의 분야는 주로 noisy input, clean target images의 pairs를 활용하여 훈련하는 deep learning 방법론이 주를 이루고 있습니다.

최근에는 clean target 없이 independent pairs of noisy images로만 학습이 가능한 NOISE2NOISE(N2N)의 연구도 이루어 졌습니다.

본 연구에서는 N2N에서 한단계 더 나아간 훈련 아이디어인 NOISE2VOID(N2V)를 제안합니다.

N2V는 noisy image pairs, clean target images를 필요로 하지 않고 noisy image 자체로만 학습이 가능하다는 점에 있어 차별화 됩니다.
예컨대, biomedical image data는 training target(clean or noisy)을 확보하는게 어려운 경우가 많은데, N2V는 이러한 문제에 적용이 가능합니다.

1. Introduction

Denoising은 대개, pixel values $s$는 통계적으로 독립이 아니라는 가정을 따릅니다.

이러한 점을 고려하면, image context를 관찰하고 unobserved pixel을 예측하는 것이 가능할 것입니다.

대개, denoising을 위한 연구들은 training pairs $(x^j, s^j)$를 필요로 합니다.

$x^j$: noisy input images
$s^j$: respective clean target images(ground truth)

하지만 ground truth images가 획득이 불가능하면, 이러한 방법들은 훈련할 수 없다는 단점이 있습니다. 최근 이러한 문제를 해결하기 위한 연구로 NOISE2NOISE(N2N)이 발표되었습니다.

noisy input을 clean ground truth images로 map하는 대신, N2N은 paird of independently degraded versions of the same training image, $(s+n, s+n')$간의 mapping을 학습하려 시도합니다.
N2N은 ground truth images에서 접근하는 전통적인 trained networks와 같은 prediction을 할 ㅅ수 있다는 장점이 있습니다.
하지만, N2N은 independent noises $(n, n')$를 갖는 same content ($s$)를 capturing하여 두 이미지를 획득해야하는 단점이 있습니다.

N2V(NOISE2VOID)는 이러한 단점을 극복하기 위한 novel training scheme을 제안합니다.

N2N이나 전통적인 supervised 방법들과 달리, N2V는 noisy images pairs나 clean target images가 없어도 훈련이 가능합니다.
N2V는다음 두가지 통계적 가정에 근거하고 있습니다.
- signal $s$ is not pixel-wise independent
- noise $n$ is conditionally pixel-wise independent given the signal $s$

본 연구의 기여점은 다음과 같습니다.

only single, noisy images만 활용하여 denoising CNNs을 훈련할 수 있는 NOISE2VOID를 소개합니다.
N2V trained denoising result와 existing CNN training schemes, non-trained methods의 결과를 비교하였습니다.

2. Related Work

Discriminative Deep Learning Methods

offline에서 훈련되어, ground truth annotated training set으로 부터 information을 추출하는 deep learning models 관련 선행연구가 이루어져 왔습니다.

Denoising을 regression task로 여겨, CNN을 predicted와 clean ground truth data간 loss를 최소화 하기 위해 학습시키는 것이 Discriminative Deep Learning Model의 목적입니다.
이와 관련하여 residual learning을 기반으로한 very deep CNN architecture, very deep encoder-decoder-architecture 등 다양한 연구가 이루어져 왔습니다.

Internal Statistics Methods

Internal Statistics Methods는 ground truth data를 사용한 훈련이 필요 없습니다.

대신, 직접 test image에 바로 적용되어, 모든 required information을 추출합니다.
N2V는 test image에 직접 훈련이 가능하다는 점에서 Internal Statistics Method 카테고리에 포함된다고 볼 수 있습니다.

Internal Statistics Methods와 관련된 선행연구는 non-local means, BM3D 등의 모델이 있습니다.

Generative Models

noisy and clean images로 구성된 unpaired training samples를 활용하여 generative adversarial networks에 기반한 denoising 모델이 연구되었습니다.

GAN-generator는 noise를 생성하도록 학습되어, clean and noisy images의 pairs를 생성하게 됩니다. 이는 전통적인 supervised setup에서와 같이 training data로 활용됩니다.
N2V와 다르게 이러한 접근 방법은 clean images가 훈련과정에 필요합니다.

3. Methods

Image Formulation

image 생성과정은 다음과 같은 joint distribution을 따른다고 봅니다.

$x = image, s: singal, n:noise$

$p(s)$는 다음 수식을 만족시키는 arbitrary distribution이라고 가정합니다.

두 픽셀 $i, j$는 서로 certain radius 안에 있습니다.

즉, signal pixel $s_i$는 통계적으로 독립적이지 않습니다.

noise $n$과 관련하여, 다음과 같은 conditional distribution을 따른다고 가정합니다.

noise pixel values $n_i$는 signal이 주어졌을때 conditionally independent합니다.

noise는 zero mean이라는 점을 가정하고, 이는 픽셀i의 이미지 기댓값이 signal임을 의미합니다.

즉, 같은 signal의 multiple images를 취득하였고 noise 수준만 다르다면, 이미지를 average했을 때, true signal의 결과를 얻게 됩니다.

Traditional Supervised Training

Image $x$를 입력받아 signal $s$를 예측하는 fully convolutional network(FCN)을 훈련합니다.

CNN의 output 중 각 픽셀 prediction $\hat{s_i}$은 입력 픽셀들의 receptive field $x_{RF(i)}$를 갖고 있습니다.
픽셀의 receptive field는 대개 해당 픽셀의 주위에있는 square patch 입니다.

이러한 관점을 고려하였을 때, CNN을 패치 정 가운데 존재하는 단일 픽셀 i에 대하여, patch $x_{RF(i)}$을 입력받아 prediction $\hat{s_i}$를 출력하는 function으로 볼 수 있습니다.

전체 이미지를 denoising하는 작업은 overlapping patches를 추출하여 네트워크에 하나하나 입력하여 이뤄낼 수 있습니다.

즉, CNN은 다음과 같은 function으로 정의합니다.

$\theta$: vector of CNN parameters we would like to train
$\hat{s_i}$: pixel prediction

전통적인 supervised training의 training pairs는 $(x^j,s^j)$입니다.

$x^j$: noisy input image
$s^j$: clean ground truth target

이를 patch based CNN의 관점에서 보면, training data를 $({x^j_{RF(i)}}, s^j_i)$으로 볼 수 있습니다.

$x^j_{RF(i)}$: patch around pixel i, extracted from training input image $x^j$
$s^j_i$: corresponding target pixel value, extracted from the ground truth image $s^j$ at the same position

이러한 training pairs를 활용하여 pixel-wise loss를 최소화 하기 위해 parameter $\theta$를 조정합니다.

여기서 standard MSE loss를 고려하면 다음과 같습니다.

Noise2Noise Training

N2N의 훈련데이터는 noisy image pairs $(x^j, x'^j)$이며, clean ground truth가 없습니다.

patch-based 관점에서 training data pairs $(x^j_{RF(i)}, x'^j_i)$를 살펴보겠습니다.

$x^j_{RF(i)}$: noisy input patch extracted from $x^j$
$x'^j_i$: noisy target, taken from $x'^j$ at position $i$.

전통적인 training 에서 식7과 유사하게, loss를 최소화 하기 위해 parameters를 조정합니다.

이때, ground truth signal $s^j_i$대신 noisy target $x'^j_i$를 사용합니다.

비록, noisy input에서 noisy target으로 mapping을 학습하지만, 훈련과정은 여전히 correct solution에 수렴하게 됩니다.

이는 expected value of noisy input이 clean signal과 같다(식 5)의 사실에 기반합니다.

Noise2Void Training

N2V는 input과 target 모두 single noisy training image $x^j$로부터 추출합니다.

만약, 간단히 patch를 입력으로하고, center pixel을 target으로 한다면, 네트워크는input patch의 center를 output으로 직접 mapping하여 단순히 identity를 학습하게 됩니다(Figure 2 a).

network architecture가 특별한 receptive를 갖고 있다고 가정하겠습니다.

receptive field $\tilde{x}_{RF(i)}$는 center에 blind-spot을 갖고있습니다(Figure 2 b).
CNN prediction $\hat{s_i}$는 바로 그 자리에 있는 input pixel $x_i$를 제외한 square neighborhood의 모든 input pixels에 영향을 받습니다.

blind-spot network는 적은 정보만을 prediction에 활용하기 때문에, normal network과 비교하였을때 약간 낮은 성능을 보여줄 수 있습니다.

blind-spot architecture의 장점은 identity를 학습하지 못한다는 점에 있습니다.

주어진 signal과 독립적인 noise를 가정하면(식 3), neighboring pixels는 noise value $n_i$에 대한 어떤 정보도 전달하지 않을 것입니다.
signal은 statistical dependencies를 가정하고 있기 때문에(식 2), network는 여전히 주변을 살펴보고 signal value $s_i$를 추정할 수 있습니다.
결국 blind-spot network는 input patch와 target value를 same noisy training이미지로 활용을 하게됩니다.

다음과 같은 empirical risk를 최소화 하기 위한 훈련을 할 수 있습니다.

Implementation Details

training scheme을 그대로 적용하면, 매우 비효율적일 수 있습니다.

single output pixel을 위한 전체 patch의 gradient를 처리해야합니다.

이러한 이슈를 해결하기 위하여, 다음과 같은 approximation technique을 활용하였습니다.

noisy training image $x_i$에 대하여, 랜덤하게 64x64 size의 pixel patches(network receptive 보다 큼)를 추출합니다.
clustering을 피하기 위해 stratified sampling을 활용하여 각 patch에서 랜덤하게 N개의 pixels를 선택 합니다.
이러한 pixels를 mask하고, original noisy input values를 그 위치의 target으로 활용합니다. (Figure 3)
Keras pipeline을 활용하여, 선택된 위치를 제외한 pixels의 loss는 zero로 설정합니다.
이를 통해 남은 predicted image를 무시하고, all of them을 위한 gradient를 동시에 학습 할 수 있습니다.

4. Experiments

NOISE2VOID를 natural images, simulated biological image data, acquired microscopy images에 대하여 평가하였습니다. 또한 NOISE2VOID 모델을 traditional, NOISE2NOISE, training-free denoising methods(BM3D, non-local means, means and median filters)의 결과와 성능을 비교하였습니다.

이전에 언급하였듯, N2V는 다른 방법론에 비해 더 적은 정보를 prediction에 활용하기 때문에 다른 training methods들을 outperform 하지 못하였습니다.

Performance over Various Noise Levels

BSD68 데이터셋에 대하여 N2V와 다양한 baseline 모델들의 various levels of noise에 따른 PSNR 성능을 측정하였습니다.

이전에 언급하였듯, N2V는 다른 방법론에 비해 더 적은 정보를 prediction에 활용하기 때문에 다른 training methods들을 outperform 하지 못하였습니다.

5. Conclusion

Only single noisy 이미지를 활용하여 denoising CNNs을 훈련하기 위한 방법인 NOISE2VOID를 소개하였습니다.

Photography, fluorescence microscopy, cryo-Transmission Electron Microscopy 등 다양한 image modalities에 N2V가 적용 가능함을 입증하였습니다.

같이 보시면 좋아요.

2021.05.08 - [Image Generation] - Unpaired Image-To-Image Translation Using Cycle-Consistent Adversarial Networks(2017)

Unpaired Image-To-Image Translation Using Cycle-Consistent Adversarial Networks(2017)

deepmal.tistory.com

2021.04.18 - [Image Generation] - Image-to-Image Translation with Conditional Adversarial Network(2017)

Image-to-Image Translation with Conditional Adversarial Network(2017)

Image-to-Image Translation with Conditional Adversarial Network(2017) Abstract 1. conditional GAN을 활용한 image-to-image translation problem 해결 본 연구에서는 conditional adversarial network를..

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

AWS Certified Cloud Practitioner 2021 합격후기

말해보시개 — Sat, 10 Jul 2021 19:47:57 +0900

AWS Certified Cloud Practitioner 2021 합격후기

안녕하세요. 쏴아리입니다.

최근 AWS Certified Cloud Practitioner 시험에 응시해 합격하였고, 시험 소개, 후기, 공부기간에 대해 포스팅 하고자 합니다.

AWS Certified Cloud Practitioner 소개

AWS Certification은 기초, 어소시에티트, 프로테셔널, 전문분야의 등급으로 구분됩니다.

AWS Cloud Practitioner 자격증은 기초 등급의 자격증으로, 어소시에이트와 전문분야 등급을 취득하기 위해 권장되는 단계입니다.

AWS Cloud Practitioner 자격증을 취득하지 않아도 바로 어소시에이트 자격증 시험 응시가 가능합니다.

출처: aws

AWS Certified Cloud Practitioner는 AWS 클라우드에 대한 전반적인 이해를 효과적으로 입증하는 데 필요한 지식과 기술을 갖추는 것을 목적으로 합니다.

출처: aws

AWS Certified Cloud Practioner 시험

시험 형식: 65개 문항, 객관식 또는 복수응답 / 1,000점 만점에 700점 이상 합격
시험시간: 시험 완료까지 90분 소요
요금: 100 달러
언어: 한국어, 영어 가능하지만, 영어를 추천합니다(덤프가 영어이기 때문).

AWS Certified Cloud Practitioner 준비방법, 덤프

1. AWS.training의 AWS Cloud Practitioner Essentials 교육 수강

1day 교육으로 AWS의 전반적인 내용에 대하여 교육
간단한 Lab이 있어, AWS를 실습할 수 있는 기회 제공

출처: aws

2. AWS 한글 백서

AWS에서 제공하는 한글백서를 통해 전반적인 내용을 파악가능
https://d1.awsstatic.com/whitepapers/ko_KR/aws-overview.pdf

3. AWS Certified Cloud Practitioner Dump(중요)

AWS Certified Cloud Practitioner 기출문제(족보) 입니다.
671문제로 구성되어있고, 정답이 틀린 경우가 있어서 이상한 경우 Discussion을 통해 확인해야할 필요성이 있습니다.

https://www.examtopics.com/exams/amazon/aws-certified-cloud-practitioner/

AWS Certified Cloud Practitioner Amazon Exam Info and Free Practice Test | ExamTopics

www.examtopics.com

AWS Certified Cloud Practitioner 준비기간

AWS Certified Cloud Practitioner 취득을 위한 총 준비 기간은 8일 입니다.

1일 소요: AWS.Training에서 AWS Cloud Practitioner Essentials 교육을 수료하였습니다(유료).
7일 소요: AWS Certified Cloud Practitioner 덤프의 630 문제를 모두 풀었습니다(지금은 확인해보니 671문제로 더 늘었네요 ㅎㅎ).
630문제를 2바퀴 풀고, 틀린문제는 따로 오답체크를 하여 틀린문제 위주로 반복 학습하였습니다.

솔직히 1주일 내내 덤프 문제만 풀때는 굉장히 지루했으나, 빠르게 Certi를 따고자 이를 악물고 공부하였습니다.

덤프볼때 로봇인지 체크하기 위한 퀴즈를 풀어야 하는데, 질리도록 로봇 테스트를 했습니다.

AWS Certified Cloud Practitioner 시험 응시

선정릉역 부근에 있는 SRTC 시험장에서 시험을 응시하였습니다.

시험은 총 90분정도 시간이 주어졌지만 실제 풀이는 40분정도만 소요되었습니다.

시험 문제 풀이 후, 제출하면 간단한 Survey 후 바로 합격하였음을 확인하였습니다.

합격하게 되면 추후 AWS Certificate 응시할때 50%의 할인 바우처가 지급됩니다.

다음에는 AWS Certified Developer Associate 시험에 도전할 계획입니다.

같이 보시면 좋아요.

2021.04.25 - [AWS] - AWS EC2 인스턴스 생성방법

AWS EC2 인스턴스 생성방법

AWS EC2 인스턴스 생성방법 EC2는 AWS에서 사용하는 서버입니다. EC2 instance에 API를 배포하는 용도 등 다양하게 활용할 수 있습니다. EC2 인스턴스 생성하기 1. AWS EC2 페이지 접근 AWS Management Consol..

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

AWS EC2에 Jupyter Notebook 서버 설치하기

말해보시개 — Sun, 4 Jul 2021 20:20:19 +0900

AWS EC2에 Jupyter Notebook 서버 설치하기

안녕하세요. 쏴아리입니다.

오늘은 AWS EC2에 Jupyter Notebook 서버를 설치하고 Local 컴퓨터에서 접속하는 방법을 포스팅 하겠습니다.

이번 포스팅은 AWS EC2 인스턴스가 생성되어있음을 가정하고 EC2에 Jupyter Notebook 서버를 설치하는 방법을 다룹니다. AWS EC2 인스턴스를 설치하는 방법은 다음 포스팅을 참고해주세요.

2021.04.25 - [AWS] - AWS EC2 인스턴스 생성방법

AWS EC2 인스턴스 생성방법

deepmal.tistory.com

AWS EC2에 접속하기

AWS EC2에 접속합니다. AWS EC2 인스턴스 Summary 페이지에서 Connect 버튼을 클릭 하면, Example에 윈도우의 Cmd에서 AWS EC2에 접속하는 명령어가 소개되어있습니다.

관리자 권한으로 Cmd를 실행 한 뒤, Pem 파일이 있는 위치에서 Example에 있는 명령어를 실행하면 AWS EC2에 접속이 가능합니다.

AWS EC2 인스턴스에서 Jupyter Notebook 설치하기

AWS EC2에서 Jupyter Notebook을 apt를 이용하여 설치할 것입니다.

따라서 다음 명령어로 update를 해줍니다.

$sudo apt-get update

AWS EC2의 Ubuntu LTS 18.04에는 Python3가 설치되어있습니다.

Python3와 관련된 pip을 설치합니다.

$sudo apt-get install python3-pip

설치된 pip3를 활용하여 jupyter notebook을 설치합니다.

$sudo pip3 install notebook

AWS EC2 인스턴스에 Jupyter Notebook 서비스 돌리기

Jupyter 비밀번호를 설정하기 위해 python3를 실행합니다.

$python3

다음 Python code를 실행하여 password를 설정합니다.

>>> from notebook.auth import passwd
>>> passwd()

password 설치 후, 생성된 코드 "argon2: ~~~"를 메모장에 복사해 둔 뒤, exit() 명령어를 통해 Python3에서 나갑니다.

>>> exit()

jupyter 환경설정을 하는 과정입니다.

$jupyter notebook --generate-config

vi 에디터를 이용하여 환경설정 파일을 열고 수정하겠습니다.

$sudo vi /home/ubuntu/.jupyter/jupyter_notebook_config.py

A버튼을 누르면 수정 모드로 변경됩니다.

가장밑에 다음과 같이 수정합니다.

c.NotebookApp.password = u를 앞에 입력하고, 메모장에 저장해 두었던 코드를 복사합니다.
- 예) c.NotebookApp.password = u'argon:qwertyuiopasdfghjklzxcvbnm'
c.NotebookApp.ip = AWS EC2의 Private IP를 입력합니다.
- 예) c.NotebookApp.ip = '123.42.67.890'

c = get_config()
c.NotebookApp.password = u'argon:~~~'
c.NotebookApp.ip = "AWS Private IP"
c.NotebookApp.notebook_dir = '/'

esc를 누른 뒤 wq!를 입력하면 vi에디터를 저장하고 종료할 수 있습니다.

다음 명령어를 통해 jupyter notebook 서비스를 실행합니다.

$sudo jupyter-notebook --allow-root

8888포트로 jupyter notebook 서버가 열린것을 확인할 수 있습니다.

AWS EC2 보안그룹에서 인바운드 규칙 편집을 통해 8888포트 방화벽을 열어줍니다.

Local에서 AWS EC2 Public IP의 8888포트로 접속하면 jupyter notebook을 실행할 수 있음을 확인할 수 있습니다.

예) http://123.45.67.890:8888

AWS EC2 bash로 돌아와 Ctrl + Z를 누른뒤 다음 명령어를 통해 백그라운드로 돌릴 수 있게 하고 소유권을 포기하게 되면 AWS 인스턴스가 항상 실행중인 상태로 둘 수 있습니다.

$bg
$disown -h

같이 보시면 좋아요.

2021.04.25 - [AWS] - AWS EC2 인스턴스 생성방법

AWS EC2 인스턴스 생성방법

deepmal.tistory.com

2021.04.27 - [AWS] - AWS EC2 VSCode 연결방법

AWS EC2 VSCode 연결방법

AWS EC2 VSCode 연결방법 안녕하세요. 쏴아리입니다. 이번 포스팅에서는 AWS EC2 인스턴스에 로컬 VSCode를 연결하는 방법에 대해 소개합니다. AWS EC2 인스턴스 생성 본 포스팅에서는 AWS EC2 인스턴스가

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

docker 컨테이너 삭제, docker rm

말해보시개 — Sun, 20 Jun 2021 17:11:04 +0900

docker 컨테이너 삭제, docker rm

안녕하세요. 쏴아리입니다.

오늘은 docker 컨테이너를 삭제하는 명령어인 docker rm에 대해서 포스팅 하였습니다.

docker rm

사용하지 않는 컨테이너를 삭제할 때, docker rm 명령어를 사용합니다.

현재 컨테이너들의 목록을 확인하기 위하여 docker ps -a 명령어를 사용합니다.

$docker ps -a

2개의 컨테이너가 있습니다. mycentos와 amazing_euclid의 이름을 갖고있네요.

STATUS를 살펴보니, mycentos는 실행중인 상태(Up)이고, amazing_euclid는 정지 상태(Exited)입니다.

docker rm 명령어를 통해 mycentos 컨테이너를 삭제 하겠습니다.

$docker rm mycentos

"Error response from daemon: You cannot remove a running container"

에러가 나네요..

실행중인 컨테이너는 삭제 할 수 없기 떄문에, 컨테이너를 정지 한 뒤 삭제해야하는 상황입니다.

docker stop 명령어를 통해 mycentos 컨테이너를 정지 시키겠습니다.

$docker stop mycentos

다시 mycentos 컨테이너를 삭제 시켜보겠습니다.

$docker rm mycentos

이번엔 에러가 발생하지 않았네요.

docker ps -a를 통해 mycentos 컨테이너가 잘 삭제 되었는지 확인해 보겠습니다.

$docker ps -a

잘 삭제되었네요!

docker rm 명령어로 하나하나 컨테이너를 삭제 할 수도 있지만,

docker container prune을 통해 한번에 모든 컨테이너를 삭제 하는 방법도 있습니다.

$docker container prune

이번 포스팅은 여기까지입니다.

읽어주셔서 감사합니다.

같이 보시면 좋아요.

2021.06.20 - [Docker] - docker 컨테이너 목록 확인, docker ps

docker 컨테이너 목록 확인, docker ps

docker 컨테이너 목록 확인, docker ps 안녕하세요. 쏴아리입니다. 오늘은 docker 컨테이너 목록을 확인하는 명령어인 docker ps에 대하여 포스팅 하겠습니다. docker ps docker ps 명렁어를 통해 생성한 컨테

deepmal.tistory.com

2021.06.20 - [Docker] - Docker 컨테이너 생성하기, docker run & docker create

Docker 컨테이너 생성하기, docker run & docker create

deepmal.tistory.com

2021.06.20 - [Docker] - Ubuntu 18.04 AWS EC2에서 Docker 설치하기

Ubuntu 18.04 AWS EC2에서 Docker 설치하기

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

docker 컨테이너 목록 확인, docker ps

말해보시개 — Sun, 20 Jun 2021 16:12:16 +0900

docker 컨테이너 목록 확인, docker ps

안녕하세요. 쏴아리입니다.

오늘은 docker 컨테이너 목록을 확인하는 명령어인 docker ps에 대하여 포스팅 하겠습니다.

docker ps

docker ps 명렁어를 통해 생성한 컨테이너의 목록을 확인합니다.

$docker ps

docker ps의 결과 컨테이너가 목록에 나타나지 않습니다.

docker ps 명령어는 정지되지 않은 컨테이너만 출력하는데, 모두 exit을 통해 컨테이너를 정지 시켰기 떄문에, 컨테이너 목록에 출력되지 않는 상황입니다. exit 대신 Ctrl+P,Q를 입력해서 빠져나왔다면 컨테이너가 실행중이고, docker ps 명령어를 통해 컨테이너 목록에 출력 되었을 것입니다.

-a 옵션을 추가하여 정지된 컨테이너까지 포함된 모든 컨테이너를 출력해보겠습니다.

$docker ps -a

STATUS를 살펴보면 2개의 컨테이너 모두 Exited(정지)상태임을 확인할 수 있습니다.

▷docker ps -a 명령어의 출력 결과

CONTAINER_ID: 컨테이너의 고유한 ID
컨테이너의 정보를 확인하기 위해 docker instpect 명령어를 사용하면 전체 ID 확인가능
```
$docker inspect mycentos | grep Id
```
IMAGE: 컨테니어를 생성할 때 사용된 이미지
COMMAND: 컨테이너가 시작될 때 실행될 명령어.
- centos:7, ubuntu:14.04 이미지에는 /bin/bash 라는 커맨드가 내장되어 있음.
CREATED: 컨테이너가 생성되고 난 뒤 흐른 시간
STATUS: 컨테이너의 상태
- Up: 컨테이너가 실행 중
- Exited: 종료 상태
- Pause: 일시 중지 상태
PORTS: 컨테이너가 개방한 포트와 호스트에 연결한 포트
NAMES: 컨테이너의 고유한 이름.
- 컨테이너 생성시 --name 옵션으로 설정하지 않으면, 도커 엔진이 임의로 이름을 생성함.
- docker rename 명령어를 통해 변경 가능
```
$docker rename sharp_chaplygin mycontainer
```

같이 보시면 좋아요.

2021.06.20 - [Docker] - Docker 컨테이너 생성하기, docker run & docker create

Docker 컨테이너 생성하기, docker run & docker create

deepmal.tistory.com

2021.06.20 - [Docker] - Ubuntu 18.04 AWS EC2에서 Docker 설치하기

Ubuntu 18.04 AWS EC2에서 Docker 설치하기

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

Docker 컨테이너 생성하기, docker run & docker create

말해보시개 — Sun, 20 Jun 2021 15:16:39 +0900

Docker 컨테이너 생성하기, docker run & docker create

안녕하세요. 쏴아리입니다.

오늘은 docker에서 컨테이너를 생성하는 명령어인 docker run & docker create의 예제와 그 차이점을 포스팅 하였습니다.

docker run 예제

도커 엔진의 버젼을 확인합니다.

$docker -v

docker run 명렁어를 통해 컨테이너를 생성하고 실행합니다.

ubuntu:14.04 컨데이너를 생성하기 위한 이미지 이름
-i -t: 컨테이너와 상호 입출력하는 옵션

$docker run -i -t ubuntu:14.04

$docker run 명령어를 실행결과, /var/run/docker.sock의 permission denied 에러가 발생합니다.

다음과 같이 /var/run/docker.sock 파일의 권한을 666으로 변경하여 그룹 내 다른 사용자도 접근 가능하게 변경합니다.

$sudo chmod 666 /var/run/docker.sock

권한 변경 후 다시 docker run을 실행합니다.

$docker run -i -t ubuntu:14.04

ubuntu:14.04 이미지가 local 도커 엔진에 존재 하지 않기 때문에, 도커 허브에서 이미지를 내려받습니다.

컨테이너에서 기본 사용자는 root이고, 호스트 이름은 컨테이너의 고유한 ID입니다.(root@3ca0e2c157ba)

ls 명령어로 파일 시스템을 확인해보면, 아무것도 설치되지 않은 상태입니다.

$ls

즉, 컨테이너와 호스트OS의 파일시스템은 서로 독립인것을 확인할 수 있습니다.

exit을 통해, 컨테이버 내부에서 빠져나오고, 컨테이너를 정지시킵니다.

$exit

docker create 예제

docker pull 명령어를 통해 도커 공식 이미지 저장소로부터 centos:7 이미지를 내려받겠습니다.

$docker pull centos:7

docker images 명령어를 통해 도커 엔진에 존재하는 이미지의 목록을 확인합니다.

$docker images

centos:7 이미지와 docker create를 통해 내려받은 ubuntu:14.04 이미지가 존재함을 확인할 수 있습니다.

docker create 명령어를 통해 centos:7 이미지로 컨테이너를 생성합니다. (이전 예제에서는 docker run을 통해 컨테이너를 생성했습니다.)

--name: 컨테이너의 이름을 설정하는 옵션

$docker create -i -t --name mycentos centos:7

docker run 명령어와 다르게, docker create 명령어는 컨테이너를 생성하기만 하고, 컨테이너 내부로 들어가지 않습니다.(docker run 명령어는 컨테이너를 생성 한 뒤, 컨테이너에 들어갑니다)

docker start, docker attach 명령어를 통해 컨테이너를 시작한 뒤, 내부로 들어가겠습니다.

$docker start mycentos 
$docker attach mycentos

docker를 종료하기 위해서 Cntl+P,Q를 입력합니다.

exit과 다르게, 컨테이너를 정지시키지 않고 컨테이너를 빠져나옵니다.

docker 컨테이너 생성: docker run vs docker create

docker run 명령어와 docker create 명령어의 차이점을 정리해 보겠습니다.

▷ docker run 명령어

pull create start 명령어를 실행 한 후, attach가 가능한 컨테이너일 경우 컨테이너 내부로 들어갑니다.

▷ docker create 명령어

pull create만 실행합니다. 즉, 도커 이미지를 pull하고 컨테이너를 생성 하기만 하고, start와 attach를 실행 하지 않습니다.

같이 보시면 좋아요.

2021.06.20 - [Docker] - Ubuntu 18.04 AWS EC2에서 Docker 설치하기

Ubuntu 18.04 AWS EC2에서 Docker 설치하기

deepmal.tistory.com

2021.04.30 - [Linux] - ubuntu 명령어 모음 1

ubuntu 명령어 모음 1

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

Ubuntu 18.04 AWS EC2에서 Docker 설치하기

말해보시개 — Sun, 20 Jun 2021 10:34:30 +0900

Ubuntu 18.04 AWS EC2에서 Docker 설치하기

안녕하세요. 쏴아리입니다.

도커를 실습하기 위하여 리눅스 환경을 셋팅 하는 방법은 1) VirtualBox, VMWare와 같은 가상화 도구로 리눅스를 생성하는 방법, 2) 아마존 웹 서비스 EC2를 생성하는 방법이 있습니다. 오늘은 AWS EC2 Instance에서 도커를 설치하는 방법을 포스팅 해 보겠습니다.

AWS EC2 Instance를 생성하는 방법은 다음 포스팅을 참고해주세요!

2021.04.25 - [AWS] - AWS EC2 인스턴스 생성방법

AWS EC2 인스턴스 생성방법

deepmal.tistory.com

AWS EC2 Instance에 Docker 설치

현재 메모리 공간이 얼마나 사용이 가능한지 체크합니다.

$df -h

apt를 이용하여 docker를 설치할 예정이라 apt를 update 합니다.

$sudo apt update

docker 설치에 필요한 패키지 들을 설치합니다.

$sudo apt install apt-transport-https ca-certificates curl software-properties-common

curl을 잉요하여, 도커를 설치하기 위한 gpg내용을 다운로드 받고, apt 기능을 위한 리스트에 추가 합니다.

$curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

ubuntu 18.04 버젼에 맞는docker를 다운로드 할 수 있도록 repository 리스트에 추가합니다.

$sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable"

apt update를 실행합니다.

$sudo apt update

이제, apt list에 도커를 다운로드할 경로가 update 되었습니다.

docker-ce를 설치합니다.

$apt-cache policy docker-ce
$sudo apt install docker-ce

docker가 설치되면, 자동으로 시스템 서비스로서 등록이 됩니다.

systemctl 명령어를 통해 docker 서비스 상태를 확인해 보면, 도커엔진이 구동중인걸 확인할 수 있습니다.

$sudo systemctl status docker

같이 보시면 좋아요.

2021.04.27 - [AWS] - AWS EC2 VSCode 연결방법

AWS EC2 VSCode 연결방법

deepmal.tistory.com

2021.04.26 - [AWS] - AWS RDS UTF-8 인코딩을 위한 파라미터 그룹 설정

AWS RDS UTF-8 인코딩을 위한 파라미터 그룹 설정

AWS RDS UTF-8 인코딩을 위한 파라미터 그룹 설정 AWS RDS에서 한국어를 처리하기 위해서는 UTF-8 인코딩을 처리해줘야 합니다. 본 포스팅에서는 UTF-8 인코딩 처리를 위한 AWS RDS 파라미터 그룹 설정 방

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

Linux Shell Script 예제

말해보시개 — Fri, 21 May 2021 22:30:15 +0900

Linux Shell Script 예제

▷ 예제 시나리오

현재 디렉토리에 있는 .log 확장자를 갖고 있는 파일을 bak 디렉토리(backup)에 copy함
bak 디렉토리가 없으면 bak 디렉토리를 생성

bak 디렉토리에 copy할 .log 파일을 생성합니다.

$touch a.log b.log c.log
$ls -l

nano 명령어를 통해 back shell script 파일을 생성합니다.

$nano backup

위와같이 작성 한 뒤 Ctrl + X 키를 눌러, 저장합니다.

Save 할 것인지 묻는 질문에 Y를 입력합니다.

#!/bin/bash
if ! [ -d bak ]; then
	mkdir bak
fi
cp *.log bak

위의 내용은 bash 문법을 통해 shell script를 작성 하였고, bak 디렉토리가 존재하지 않을 경우 bak 디렉토리를 생성한 뒤, .log 확장자를 가진 현재 디렉토리의 파일들을 bak 디렉토리에 copy하는 명령어 입니다.

생성된 shell script를 실행해 보겠습니다. script 앞에 "./"를 붙여줘야 실행됩니다.

$./backup

permission denied 오류가 뜹니다.

ls -al 명령어를 통해 shell script backup의 권한을 확인합니다.

$ls -al

backup shell script에 실행 권한이 없음을 확인 할 수 있습니다.

backup shell script에 실행 권한을 부여합니다.

$chmod +x backup
$ls -l

backup shell script를 실행합니다.

$./backup

bak 디렉토리로 이동 한 뒤, .log 파일들이 잘 복사되었는지 확인합니다.

$cd back
$ls

shell script가 잘 실행되었음을 확인하였습니다.

같이 보시면 좋아요.

2021.04.30 - [Linux] - ubuntu 명령어 모음 1

ubuntu 명령어 모음 1

deepmal.tistory.com

2021.05.03 - [Linux] - ubuntu 명령어 모음 2

ubuntu 명령어 모음 2

deepmal.tistory.com

2021.05.05 - [Linux] - ubuntu 명령어 모음 3

ubuntu 명령어 모음 3

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

Linux Shell bash vs zsh

말해보시개 — Wed, 19 May 2021 22:30:56 +0900

Linux Shell bash vs zsh

ubuntu 현재 shell 확인

ubuntu에서 echo $0 명령어를 입력하면 현재 shell을 확인할 수 있습니다.

$echo $0

-bash 라는 결과를 보니, 현재 shell은 bash인 것을 확인 할 수 있습니다.

ubuntu에서는 기본 shell로 bash를 활용하고 있습니다.

ubuntu에서 zsh shell을 실행하기 위해서는 다음과 같이 명령어를 실행합니다.

$zsh

ubuntu에 zsh shell 설치가 되지 않은 것을 확인할 수 있습니다.

ubuntu zsh 설치

다음 명령어를 통해 ubuntu에 zsh를 설치합니다.

$sudo apt install zsh

ubuntu에서 zsh shell를 실행해 보겠습니다.

$zsh

현재 shell이 zsh임을 확인하기 위해서 다음과 같이 명령어를 입력합니다.

%echo $0

현재 shell이 zsh임을 확인 합니다.

ubuntu bash vs zsh

▷ ubuntu bash vs zsh cd 명령어 자동완성

zsh shell에서 pwd를 입력하여 현재 디렉토리를 확인합니다.

%pwd

현재 디렉토리는 /home/user/deep-mal 에 위치합니다.

zsh shell에서 cd /h/u/d를 입력하고 tap키를 누르면 다음과 같이 자동완성이 됩니다.

위와 같은 cd 명령어 자동완성 기능은 zsh shell에서는 가능하지만 bash shell에서는 불가능 합니다.

▷ ubuntu bash vs zsh cd 명령어 간편기능

다음과 같이 zsh shell에서 디렉토리를 만들어 보겠습니다.

%mkdir dir1 dir2

ls 명령어를 실행하여 dir1, dir2 디렉토리가 생성되었음을 확인합니다.

%ls

dir1으로 이동한 뒤, 현재 디렉토리를 확인합니다.

%cd dir1
%pwd

%cd dir1 dir2
%pwd

이와 같이 상위 디렉토리 /deep-mal 내, 동일한 hierarchy에 위치한 디렉토리/dir2로 이동할 수 있습니다.

이와 같은 cd 명령어 디렉토리 간편 이동 기능은 zsh shell에서만 가능하고 bash shell에서는 불가능합니다.

같이 보시면 좋아요.

2021.04.30 - [Linux] - ubuntu 명령어 모음 1

ubuntu 명령어 모음 1

deepmal.tistory.com

2021.05.03 - [Linux] - ubuntu 명령어 모음 2

ubuntu 명령어 모음 2

deepmal.tistory.com

2021.05.05 - [Linux] - ubuntu 명령어 모음 3

ubuntu 명령어 모음 3

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

git branch, checkout, merge

말해보시개 — Mon, 17 May 2021 22:30:25 +0900

git branch, checkout, merge

git branch

git branch는 독립적으로 작업을 진행하기 위한 개념으로, 각 branch는 다른 brach와 관련 없이 작업을 진행합니다.

보통 master, develop, topic branch를 생성하여 형상관리를 합니다.

main branch : 배포용 안정적인 Branch
topic branch: 기능 추가 같은 단위 작업을 위한 Branch

1. branch 생성 방법

$git branch <new branch>

위의 명령어로 branch를 생성할 수 있습니다.

2. 현재 Branch 확인 방법

$git branch

위의 명령어로 현재 branch를 확인할 수 있습니다 .

예제) topic_branch 생성하기

git branch 명령어를 통해 topic_branch를 생성합니다 .

$git branch topic_branch

현재 branch를 확인하겠습니다.

$git branch

현재 master branch에 있고, topic_branch가 생성되었음을 확인하였습니다.

git checkout: branch, snapshop 전환

1. branch 전환

git checkout 명령어는 branch를 전환하는데 사용됩니다.

$git checkout <브랜치 명>

예제) topic_branch로 checkout

git checkout 명령어를 통해 topic_branch로 이동한 후, git branch 명령어를 통해 현재 branch로 확인합니다.

$git checkout topic_branch
$git branch

Switched to branch 'topic_branch' 메시지를 통해 checkout 되었음을 확인합니다.

git branch 명령어를 통해서 topic_branch로 현재 branch를 다시 확인합니다.

2. snapshop 전환

git checkout 명령어는 branch를 전환하는데 사용되며, git log로 확인한 snapshot으로 전환하는데도 사용이 가능합니다.

$git checkout <snapshot hash>

예제) git checkout을 통해 "commit2" snapshoit으로 전환하기

1. deepmal2.txt 파일을 생성한 뒤, commit 수행(commit 메시지: "commit2")

ubuntu에서 touch 명령어를 통해 deepmal2.txt 파일을 생성합니다.

git add 명령어를 통해 deepmal2.txt를 staging area로 보냅니다.

git status 명령어를 통해 deepmal2.txt가 staging area에 있는지 확인합니다.

$touch deepmal2.txt
$git add deepmal2.txt
$git status

git commit을 수행하여 staging area에 있는 deepmal2.txt를 repository로 보냅니다.(commit 메시지: "commit2")

ls 명령어를 통해 현재 디렉토리에 deepmal2.txt가 있음을 확인합니다.

$git commit -m "commit2"
$ls

2. deepmal3.txt 파일을 생성한 뒤, commit 수행(commit 메시지: "commit3")ubuntu에서 touch 명령어를 통해 deepmal3.txt 파일을 생성합니다.

git add 명령어를 통해 deepmal3.txt를 staging area로 보냅니다.

git status 명령어를 통해 deepmal3.txt가 staging area에 있는지 확인합니다.

$touch deepmal3.txt
$git add deepmal3.txt
$git status

git commit을 수행하여 staging area에 있는 deepmal3.txt를 repository로 보냅니다.(commit 메시지: "commit3")

$git commit -m "commit3"

ls 명령어를 통해 현재 디렉토리에 deepmal2.txt, deepmal3.txt가 있음을 확인합니다.

$ls

3. commit2로 snapshot을 checkout

git log 명령어를 통해 snapshop들을 확인합니다.

$git log --pretty=oneline

현재 commit3 snapshot에 위치합니다.

git checkout 명령어를 통해 commit2 메시지의 snapshot으로 이동합니다.

$git checkout <commit2 메시지 snapshot>

HEAD is now at commit2 메시지를 통해, commit2 메시지의 snapshot으로 이동하였음을 확인합니다 .

git log를 통해 현재 snapshot이 commit2에 위치하고 있음을 확인 한 뒤, ls 명령어를 통해 commit2 snapshot에 있어야할 deepmal2.txt 파일이 현재 디렉토리에 있음을 확인합니다.

$git log --pretty=oneline
$ls

git merge

git merge는 branch를 병합하는 명령어입니다.

예제) topic_branch에서의 작업을 마치고, master branch로 통합합니다.

1. master branch로 이동하여 topic_brach를 병합합니다.

git checkout 으로 master branch로 이동한 뒤, git merge 명령어를 통해 topic_branch와 merge 합니다.

$git checkout master
$git merge topic_branch

git log 명령어를 통해 master와 topic_branch가 병합되고 commit3 메시지의 현재 snapshot에 위치하고 있음을 확인합니다.

ls명령어를 통해 commit3의 repository에 존재해야할 deepmal2.txt, deepmal3.txt이 정상적으로 있음을 확인합니다.

$git log --pretty=oneline
$ls

같이 보시면 좋아요.

2021.04.30 - [Linux] - ubuntu 명령어 모음 1

ubuntu 명령어 모음 1

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

git add, git status, git commit, git log

말해보시개 — Fri, 14 May 2021 22:30:44 +0900

git add, git status, git commit, git log

git add: staging 영역으로 보내기

git add 명령어는 working directory에 있는 파일을 staging area로 보내는 역할을 수행합니다.

$git add <파일명>

한꺼번에 여러 파일을 staging area로 보내고 싶다면 현재 폴더를 대상으로 git add를 수행할 수 있습니다.

$git add .

예제) deepmal.txt 생성 하고 git add 수행

1. staging 영역으로 보낼 파일을 생성합니다.

ubuntu에서 nano 명령어를 통해 deepmal.txt를 생성하고, 내용을 작성합니다.

$nano deepmal.txt

deepmal.txt에 "Hello World!"를 입력 한 뒤, Ctrl + X 를 누릅니다.

Save 할 것인지 질문에 Y를 입력합니다.

파일명에 deepmal.txt가 입력된 것을 확인 하고 엔터를 입력합니다.

2. deepmal.txt 생성 완료 및 내용확인

deepmal.txt 파일이 생성되었는지 확인하기 위하여, ubuntu에서 ls 명령어를 실행합니다.

cat 명령어를 통해 deepmal.txt의 내용을 확인할 수 있습니다.

$ls -l
$cat deepmal.txt

3. git add 명령어를 통해 staging area로 보내기.

git add 명령어를 통해 deepmal.txt를 staging area로 보냅니다.

$git add deepmal.txt

git status: staging 상태 확인

git status 명령어를 통해 staging area의 상태를 확인할 수 있습니다.

$git status

예제) deepmal.txt가 staging area에 있는지 확인

$git status

git add를 수행한 deepmal.txt가 staging area에서 new file로 인식되고 있음을 확인 할 수 있습니다.

git commit: git 저장소 반영

git commit은 .git 저장소(repository) 내에 staging 파일을 저장하는 역할을 수행합니다.

$git commit -m "message"

staging area에 있는 파일들을 repository에 반영합니다. 메시지는 생략가능 합니다.

예제) git commit 수행하여, staging area에 있는 내용을 repository에 반영하기

git commit 명령어를 수행하겠습니다. 메시지는 "commit 1"입니다.

$git commit -m "commit 1"

staging area에 있던 deepmal.txt가 repository로 반영되었습니다.

git status 명령어를 통해 staging area를 확인합니다.

$git status

deepmal.txt가 staging area에 있었는데 git commit 이후, staging area가 비어있음을 확인합니다.(nothing to commit)

git log: .git repository에 존재하는 history 확인

git log 명렁어는 repository에 반영 내역을 확인할 수 있습니다.

$git log

예제) git log 실행하여 repository history 확인

$git log

ssali<deepmal@gmail.com>라는 Author가 방금 commit을 수행하였음을(메시지: commit 1) 알 수 있습니다.

같이 보시면 좋아요.

2021.04.30 - [Linux] - ubuntu 명령어 모음 1

ubuntu 명령어 모음 1

deepmal.tistory.com

2021.05.03 - [Linux] - ubuntu 명령어 모음 2

ubuntu 명령어 모음 2

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

Ubuntu Git 설치, 초기설정 방법

말해보시개 — Wed, 12 May 2021 22:30:29 +0900

Ubuntu Git 설치, 초기설정 방법

Git 설치

1. Git 설치 여부 확인

ubuntu 환경에서는 대부분 이미 git이 설치되어 있습니다.
다음과 같이 git 명령어를 통해 설치 여부를 확인할 수 있습니다.

$git

2. Git 설치

git이 설치 되지 않았다면, 다음 명령어를 통해 ubuntu에 git을 설치합니다.
git 설치 후 git --version 명령어를 통해 git 설치 여부를 확인합니다.

$sudo apt install git
$git --version

Git 저장소 생성

1. Git 저장소로 활용할 디렉토리를 생성한 뒤 이동합니다.

$mkdir git_test
$cd git_test

2. ubuntu에서 git init 명령어를 실행합니다.

$git init
$ls -al

ubuntu에서 ls -al 명령어를 통해 .git 디렉토리가 생성되어 저장소 생성이 완료된 것을 확인 할 수 있습니다.

Git 초기 설정

1. Git 사용자 정보 설정

저장소에 코드를 반영할 때 활용될 사용자의 정보를 설정합니다.

$git config --global user.name "sswali"
$git config --global user.email "deepmal@gmai.com"

프로젝트마다 다른 사용자 정보를 활용하고 싶다면, 저장소 생성 후 --global 옵션을 제외하고 실행합니다.

$git config user.name "sswali"
$git config user.email "deepmal.gmail.com"

2. Git 사용자 정보 확인

git config --list 명령어를 통해 확인합니다.

$git config --list

같이 보시면 좋아요.

2021.04.30 - [Linux] - ubuntu 명령어 모음 1

ubuntu 명령어 모음 1

deepmal.tistory.com

2021.05.03 - [Linux] - ubuntu 명령어 모음 2

ubuntu 명령어 모음 2

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

ubuntu 명령어 모음 4

말해보시개 — Mon, 10 May 2021 22:00:13 +0900

ubuntu 명령어 모음 4

grep: 패턴을 포함하고 있는 행을 출력

grep 명령어는 ubuntu에서 지정한 패턴이나 문자열을 포함하고 있는 모든 행을 출력하는데 활용됩니다.

$grep [option] [pattern] [파일명]

option
- -i: 대소문자를 구분하지 않고 검색합니다.
- -v: 패턴과 일치하지 않는 행을 출력합니다.
- -c: 패턴과 일치하는 행의 개수를 출력합니다.
- -w: 패턴과 단어 단위로 매칭되어야 출력합니다.

예제) 디렉토리 내, deep 문자열을 포함하고 있는 파일의 개수를 확인

nano 명령어를 통해 deepmal.txt를 작성합니다.

$nano deepmal.txt

명령어를 실행하면, deepmal.txt를 편집할 수 있습니다.

다음과 같이 depemal.txt를 작성한 뒤, "ctrl + X"를 누릅니다.

Save modified buffer? 질문에 Y를 입력합니다.

write할 File Name을 확인 한 뒤, "Ctrl+C"를 누릅니다.

ls 명령어를 통해 deepmal.txt가 생성되었음을 확인합니다.

cat 명령어를 통해 deepmal.txt의 내용을 확인합니다.

$ls
$cat deepmal.txt

grep 명령어를 통해, deepmal.txt 내 "deep" 문자열을 포함하고 있는 행의 개수를 출력합니다.

$grep -c deep deepmal.txt

deepmal.txt 내 "deep" 문자열을 포함하고 있는 행의 개수는 4입니다.

File Redirection: 표준 스트림의 흐름을 다른 경로인 파일로 재지정

ubuntu에서 File Redirection이란 표준 스트림의 흐름을 바꾸어 표준 입출력, 표준오류를 사용하지 않고, 다른 경로인 파일로 재지정하는 것을 의미합니다.

ubuntu에서 > 연산자는 표준출력을 재지정합니다.

예) ls 출력 결과를 ls.txt에 저장

$ls -l > ls.txt

ls.txt 파일에 ls -l의 결과가 저장되었음을 확인합니다.

ubuntu에서 >> 연산자는 파일이 존재하지 않으면 파일을 생성하고, 파일이 존재하면 파일 내용을 지우지 않고 이어서 작성합니다.

예) ls 출력 결과를 ls.txt에 저장(파일지 존재하면 이어서작성)

$ls -l >> ls.txt

ls.txt 파일에 ls -l의 결과가 이어서 작성되었음을 확인합니다.

표준 오류는 연산자를 사용하지 않고, 파일디스크립터 번호를 > 앞에 작성해서 사용합니다

0: 표준 입력
1: 표준 출력
2: 표준 에러

예제) cd folder1의 표준에러를 err.txt에 저장

cd folder1의 표준에러를 > 연산자를 사용하여 err.txt에 저장합니다.

$cd folder1 > err.txt
$cat err.txt

cat을 통해 err.txt를 출력하여도 빈 내용입니다.

$cd folder1 2> err.txt
$cat err.txt

cd folder1의 표준에러를 출력하기 위해서는 파일디스크립터 번호 2를 > 앞에 작성합니다.

cat 명령어를 통해 err.txt를 출력하니, 표준에러가 잘 작성되었음을 확인할 수 있습니다.

| : Linux Pipe

ubuntu에서 | 연산자는 Pipe를 의미하며, 둘 이상의 명령어를 묶어 출력의 결과를 다른 명령어로 전환하는데 사용됩니다.

예) 현재 디렉토리의 목록 중, "deep" 문자열을 포함하고 있는 파일명을 출력

touch 명령어를 통해 deep1.txt, deep2.txt deep3.txt 파일을 생성합니다.

ls 명령어를 통해 파일이 정상적으로 생성되었음을 확인합니다.

$touch deep1.txt deep2.txt deep3.txt
$ls

ls 명령의 결과 중 "deep" 문자열을 포함하고 있는 행을 출력합니다.

ls | grep "deep"

deep1.txt, deep2.txt, deep3.txt가 출력됨을 확인합니다.

mount: 보조기억장치를 디렉토리에 연결

mount 명령어는 ubuntu에서 보조기억장치를 디렉토리에 연결시키는데 활용됩니다.

$mount [option] [device] [directory]

option
- -a: etc/fstab에 명시된 파일 시스템을 마운트 할 때 사용합니다.
- -t: 파일시스템의 유형을 지정하거나 생략할 때 /etc/fstab 파일을 참조합니다.
- -o: 추가적인 설정을 적용할 때 사용합니다. 다수의 조건을 적용할 때는 ","로 구분합니다.

remount 명령어는 ubuntu에서 mount를 취소할 때 사용합니다.

$remount [device] [directory]

df 명령어는 현재 mount된 디스크 정보를 출력합니다.

$df

같이 보시면 좋아요.

2021.04.30 - [Linux] - ubuntu 명령어 모음 1

ubuntu 명령어 모음 1

deepmal.tistory.com

2021.05.03 - [Linux] - ubuntu 명령어 모음 2

ubuntu 명령어 모음 2

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

Unpaired Image-To-Image Translation Using Cycle-Consistent Adversarial Networks(2017)

말해보시개 — Sat, 8 May 2021 17:56:44 +0900

Unpaired Image-To-Image Translation Using Cycle-Consistent Adversarial Networks(2017)

Abstract

▷ Paired Image-to-image translation 훈련 데이터 획득의 어려움

Image-to-image translation은 input-target 이미지 pairs를 활용하여, 입력 이미지를 출력 이미지로 맵핑하는 함수를 학습하는 것이 목적입니다.
하지만 paired training data를 얻는 활동이 불가능할 수 있습니다.

▷ Paired Input-target 이미지가 없어도 학습 가능한 "Unpaired Image to image tranlslation" 학습방법 제안

본 연구에서는 paired examples가 없어도 sourece domain X에서 target domain Y로 이미지를 translate하기 위한 학습방법을 제안합니다.

▷ CycleGAN

mapping $ G: X\rightarrow Y $를 학습하는것이 목적입니다.
- $ G(X)$로 부터 생성된 Fake 이미지와 Real Y이미지는 구별이 불가능해야 합니다.
$G$를 학습하는 내용이 under-constrained 상황이기 때문에, Inverse mapping $F: Y \rightarrow X $를 학습합니다.
- cycle consistency loss와 관련됩니다.($F(G(X))\approx X $ (and vice versa))

Introduction

▷ Unpaired Image-to-image translation 훈련데이터 획득의 어려움

Figure 1의 왼쪽 상단에 있는 것과 같이, Monet의 그림을 Photo로 변경하기 위한 Paired Images(Input-Target) 훈련데이터를 획득하는 것이 가능한가요?
Figure 1의 왼쪽 하단과 같이, photo를 Monet, Van Gogh, Cezanne, Ukio-e의 그림으로 변경하기 위한 Paired Images 훈련데이터 획득이 가능할까요?
위와 같은 Paired 훈련데이터는 현실에 존재하지 않기 때문에, Paired Image to image translation 알고리즘 기반 방법(Figure 2의 좌측 그림)으로는 훈련데이터 획득이 쉽지 않아 Figure 1의 결과를 얻기 어려울 것입니다.

▷ Unpaired Image-to-image Translation Algorithm Motivation

본 연구에서는 Figure 1의 결과를 얻기 위한 Unpaired Image-to-image translation 접근 방법을 제시합니다.
Paired training examples 없이 하나의 image collection으로 부터 다른 image collection으로 translate하기 위한 특징들을 capture 합니다.

▷ Figure 2: Paired & Unpaired trainiang data

Paired training data(Figure 2 left)
- training example 내 각 $y_i $데이터는 $x_i $와 대응됩니다.
Unpaited training data(Figure 2 right)
- source set$X $과 target set $Y $이 존재하고, 각 $x_i $ 데이터와 $y_i $데이터의 대응 정보가 없습니다.

Formulation

▷ CycleGAN의 목적은 2개의 도메인 $X $, $Y $간의 mapping function 을 학습하는 것입니다.

$\left \{ x_i \right \}^{_{i=1}^{N}} \in X $ and $\left \{ y_j \right \}^{_{j=1}^{M}} \in Y $
Figure 3 (a)에서와 같이 CycleGAN에는 2개의 Mapping이 존재합니다.
- $ G : X \rightarrow Y $
- $ F : Y \rightarrow X $
adversarial discriminators $D_X $와 $D_Y $가 존재합니다.
- $D_X $: $\left \{ x \right \} $ 이미지와 translated images $\left \{ F(y) \right \} $를 구별하는 역할을 합니다.
- $D_Y $: $\left \{ y \right \} $ 이미지와 translated images $\left \{ G(x) \right \} $를 구별하는 역할을 합니다.
CycleGAN의 목적함수에는 Adversarial loss와 Cycle consistency loss 2가지가 존재합니다
- adversarial loss: gererated images를 target domain의 data distribution으로 matching
- cycle consistency loss: learned mappings $G $와 $F $가 contradicting each other되는 현상을 방지 합니다.

Adversarial Loss

▷ 2개 mapping function에 Adversarial Loss를 적용.

$ G : X \rightarrow Y $와 그에 대한 Discriminator $ D_Y$에 대해서, 다음과 같이 목적함수가 표현됩니다.
- $G $는 gererated images $ G(x)$를 domain $Y $와 유사하도록 try합니다.
- $D_Y는 translated samples $G(x)$와 reql samples $y$를 구별하는것이 목적입니다.
- $ F : Y \rightarrow X $와 discriminator $D_X $에 대한 adversatial loss는 유사하게 $L_GAN(F,D_X,Y,X)$로 표현됩니다.

Cycle Consistency Loss

▷ Adversarial Loss의 한계점

Adversarial training은 이론적으로 mapping $G$와 $F$가 각각 target domain $y$ $X$의 분포를 생성할 수 있습니다.
하지만 뉴럴 네트워크는 같은 input images를 활용하여 다양한 target domain의 random permutation images로 연결하기 때문에, 가능한 mapping function들의 경우의 수를 줄여줄 필요가 있습니다.

▷ Cycle-consistent

본 연구에서는 이와 같이 가능한 mapping function들의 space를 한정하기 위하여 learned mapping functions은 cycle-consistent해야 한다고 주장합니다.
Figure 3의 (b)에서와 같이, domain $X$로 부터 각 $x$ image들은 image tranaslation cycle을 통해 다시 original $x$이미지로 되돌아와야 합니다.
- $ x \rightarrow G(x) \rightarrow F(G(x)) \approx x $
- 이를 forward cycle consistency라고 부릅니다.
유사하게 Figure 3(c)에 묘사된것 처럼, domain $Y$로부터의 각 $y$ image들에 대하여 $G$와 $F$는 또한 backward cycle consistency를 만족시켜야 합니다.
- $ y \rightarrow F(y) \rightarrow G(F(y)) \approx y $
cycle consistency를 만족시키기 위하여, 다음과 같이 cycle consistence loss를 설계하였습니다.

Full Objective

▷ Full objective function

CycleGAN의 full objective는 다음과 같습니다.
\lambda\는 adversarial loss와 cycle conistency loss의 상대적인 중요도를 control합비다.

Implementation

Network Architecture

▷ Generative networks

two strided-2 convolutions, several residual blocks, two 1/2-strided convolutions
instance normalization을 사용하였습니다.

▷ Discriminator Networks

70*70 Patch-GANs를 사용하였습니다.

Training details

▷ $L_GAN$

$L_GAN$(Equation1)에서, negative log likelihood objective를 least square loss로 변경하였습니다.
training 동안 더 안정적이고 higher quality results를 생성하기 때문입니다.
변경된 Equation 1은 다음과 같습니다.

▷ Image Buffer

model oscillation을 줄이기 위하여 Discriminator $D_X$, $$D_Y$update를 할 때, latest generative networks로 부터 생성된 결과를 사용하지 않고 history of generated imafes를 사용하였습니다.
즉, 50개의 previsoud generated images를 저장하는 image buffer를 사용하였습니다.

Results

▷ Paired dataset performance

Ground Truth input-ourput pair가 존재하는 Paired dataset에 Cycle GAN(unpaired image-to-image translation)을 적용하여, 최근의 연구들와 성능을 비교하였습니다.
adversarial loss와 cycle consistency loss의 중요성을 연구하기 위하여 several variants에 적용하고 비교하였습니다.

▷ Unpaired dataset performance

CycleGAN의 generality를 입증하기 위하여 paired data가 존재하지 않는 광범위한 application에 적용하였습니다.

Evaluation

▷ pix2pix에서와 동일한 evalution datasets와 metric을 활용하였습니다 .

Applications

Limitations and Discussion

▷ Failure Case

CycleGAN이 다양한 케이스에서 compelling한 results를 보여주었으나, Figure 12와 같이 여러가지 실패 케이스 들도 있습니다.

같이 보시면 좋아요.

2021.04.18 - [Image to Image Translation] - Image-to-Image Translation with Conditional Adversarial Network(2017)

Image-to-Image Translation with Conditional Adversarial Network(2017)

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

ubuntu 명령어 모음 3

말해보시개 — Wed, 5 May 2021 11:34:19 +0900

ubuntu 명령어 모음 3

cp: 파일 및 디렉토리 복사

cp 명령어는 ubuntu에서 파일과 디렉토리를 복사하는데 활용됩니다.

$cp [option] [대상 위치 및 이름] [복사하고 싶은 위치]

oprion
- -r: 하위 디렉토리와 파일 전체를 복사합니다.
- -p: 소유주, 그룹, 권한, 시간 정보를 그대로 복사합니다.

예제) folder1에 있는 deepmal.txt 파일을 folder2에 복사하기

mkdir 명령어로 folder1, folder2를 생성 한 뒤, ls 명령어로 folder1, folder2가 생성되었는지 확인합니다.

$mkdir folder1 folder2
$ls

touch 명령어로 folder1 디렉토리 내에 deepmal.txt 파일을 생성한 뒤, cd 명령어로 folder1으로 이동합니다.

ls 명령어로 deepmal.txt이 생성되었는지 확인합니다.

$touch folder1/deepmal.txt
$cd folder1
$ls

다시 부모 디렉토리로 돌아옵니다

$cd ..

cp 명령어를 통해 folder1의 deepmal.txt 파일을 folder2로 복사합니다.

$cp folder1/deepmal.txt folder2

folder2로 이동 한 뒤, deepmal.txt 파일이 복사되었음을 확인합니다.

$cd folder2
$ls

mv: 파일 및 디렉토리 이동

mv 명령어는 ubuntu에서 파일과 디렉토리를 이동시키는데 활용됩니다.

$ mv [대상 위치/이름] [이동하고 싶은 위치/이름]

예제) folder1의 deepmal.txt 파일을 folder2로 이동시키기

mkdir 명령어로 folder1과 folder2 디렉고티를 생성한 뒤, folder1, folder2 디렉토리가 생성됨을 확인합니다.

$mkdir folder1 folder2
$ls

touch 명령어로 folder1 디렉토리 내에 deepmal.txt 파일을 생성합니다.

$touch folder1/deepmal.txt

mv 명령어를 통해 folder1 디렉토리 내, deepmal.txt 파일을 folder2로 이동시킵니다.

$mv folder1/deepmal.txt folder2

cd 명령어로 folder2 디렉토리로 이동한 뒤, ls 명령어를 통해 deepmal.txt 파일이 이동되었음을 확힌합니다.

$cd folder2
$ls

cd 명령어로 다시 부모디렉토리로 돌아왔다가, folder1 디렉토리로 이동 한 뒤, ls 명령어를 통해 deepmal.txt 파일이 folder1에 없음을 확인합니다.(folder2로 이동되었음)

$cd ..
$cd folder1
$ls

cat: 파일 내용 출력

cat 명령어는 ubuntu에서 파일 내용을 출력할 때 사용합니다.

$cat [option] [파일명]

option
- -n: 왼쪽에 줄 번호와 함께 내용을 출력합니다.
- >: 파일의 내용을 덮어씁니다.
- >>: 파일의 내용이 있다면 뒤에 내용을 추가합니다.

예제) deepmal.txt 파일 내용을 출력하기

touch 명령어로 deepmal.txt 빈 파일을 생성합니다.

cat 명령어로 deepmal.txt 파일을 덮어씁니다.

$touch deepmal.txt
$cat > deepmal.txt
Hello World!

cat 명령어로 deepmal.txt 파일을 출력합니다.

$cat deepmal.txt

cat 명령어로 deepmal.txt 파일 뒤에 내용을 추가합니다

$cat >> deepmal.txt
Deep Learning!

cat 명령어로 deepmal.txt 파일을 출력합니다.

$cat deepmal.txt

Hello World! 뒤에 Deep Learning!이 추가되었습니다.

find: 파일 검색

find 명령어는 ubuntu에서 파일을 검색하는데 사용됩니다.

$find [파일 경로] [-name] [파일 이름] [-type d/f]

[-type d/f]
- 디렉토리나 폴더만을 검색하는 옵션

예제) find 명령어로 folder1 디렉토리 내 deepmal1.txt 파일 검색

mkdir 명령어를 통해 folder1 디렉토리를 생성하고, cd를 통해 folder 1디렉토리로 이동합니다.

touch 명령어를 통해 deepmal1.txt, deepmal2.txt, deepmal3.txt 파일을 생성한 뒤, ls 명령어를 통해 디렉토리 내 목록들을 출력합니다.

$mkdir
$cd folder1
$touch deepmal1.txt deepmal2.txt deepmal3.txt
$ls

folder1 디렉토리 내, deepmal1.txt, deepmal2.txt, deepmal3.txt 파일이 생성된 것을 확인할 수 있습니다.

부모 디렉토리로 이동합니다.

$cd ..

find 명령어를 통해 folder1 디렉토리내, deepmal1.txt, deepmal2.txt, deepmal3.txt 파일이 있는지 확인합니다.

$find folder1 -name deepmal1.txt
$find folder1 -name deepmal2.txt
$find folder1 -name deepmal3.txt

같이 보시면 좋아요.

2021.04.30 - [Linux] - ubuntu 명령어 모음 1

ubuntu 명령어 모음 1

deepmal.tistory.com

2021.05.03 - [Linux] - ubuntu 명령어 모음 2

ubuntu 명령어 모음 2

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

ubuntu 명령어 모음 2

말해보시개 — Mon, 3 May 2021 22:30:49 +0900

ubuntu 명령어 모음 2

tree: 디렉토리 구조를 확인

tree 명령어는 ubuntu에서 디렉토리 구조를 출력합니다.

$tree

tree 명령어가 작동하지 않는다면, 다음 명령어를 통해 설치합니다.

$sudo apt install tree

$tree

정상 작동함을 확인할 수 있습니다.

chmod: 파일의 권한 변경

chmod 명령어는 ubuntu에서 파일의 권한을 변경합니다.

$chmod [파일권한] [변경할 파일 위치 또는 이름]

파일권한은 다음과 같이 숫자로 표현합니다.

읽기(4), 쓰기(2), 실행(1)

777 권한은 모든 사용자가 모든 권한을 얻는다는 의미입니다.

예제) deepmal.txt에 777 권한 부여 하기

touch 명령어를 통해 deepmal.txt를 생성합니다.

$touch deepmal.txt

ls -al 명령어를 통해 deepmal.txt 생성, 권한을 확인합니다.

$ls -al

rw-r--r--의 의미는 다음과 같습니다.
- rw-: 소유자는 read와 write 권한이 있음
- r--: 그룹은 read 권한만 있음
- r--: 그 외 사용자는 read 권한만 있음

chmod 명령어를 통해 deepmal.txt에 777 권한을 부여합니다.

$chmod 777 deepmal.txt

ls -al 명령어를 통해 deepmal.txt의 권한을 확인합니다.

$ls -al

deepmal.txt에 777 권한이 부여되었음을 확인 할 수 있습니다.

rwxrwxrwx의 의미는 다음과 같습니다.

rwx(첫번째): 소유자는 read, write, excute 권한이 있음
rwx(두번째): 그룹은 read, write, execute 권한이 있음
rwx(세번째): 그 외 사용자는 read, write, execute 권한이 있음

mkdir: 디렉토리 생성

mkdir 명령어는 ubuntu에서 디렉토리를 생성할 때 사용합니다.

$mkdir [생성할 디렉토리 이름]

예제: 현재 디렉토리에서 folder3 디렉토리를 생성

ls -al 명령어를 통해 현재 디렉토리 목록을 확인합니다.

$ls -al

다음 명령어를 통해 folder3 디렉토리를 생성합니다.

$mkdir folder3

ls -al 명령어를 통해 folder3 디렉토리가 생성되었음을 확인합니다.

$ls -al

touch: 빈파일 생성

touch 명령어는 ubuntu에서 빈파일을 생성하는데 사용됩니다.

$touch [생성할 파일 명]

예제) touch 명령어로 deepmal.txt 파일 생성하기

$ touch deepmal.txt

ls 명령어로 deepmal.txt 생성 확인

$ls

rmdir: 디렉토리 삭제

rmdir 명령어는 ubuntu에서 디렉토리를 삭제 하는데 사용됩니다.

$rmdir [삭제할 디렉토리 명]

예제) folder3 디렉토리를 삭제

ls 명령어로 현재 디렉토리 목록을 확인

$ls

rmdir 명령어로 folder3를 삭제

$rmdir folder3

ls 명령어로 folder3 디렉토리가 삭제 되었는지 확인

$ls

rm: 파일 및 디렉토리 삭제

rm 명령어는 ubuntu에서 파일과 디렉토리를 삭제하는데 활용됩니다.

$rm [option] [삭제할 파일 및 디렉토리 명]

option
- -r: 디렉토리와 하부 파일까지 삭제
- -f: 삭제 여부를 묻지 않고 바로 삭제
- -i: 삭제할 것인지 확인
- -rf: 삭제 여부를 묻지 않고 하부파일이 있는 디렉토리까지 삭제

예) folder3와 그 안에 있는 deepmal.txt 파일까지 삭제

mkdir 명령어로 folder3를 생성한 뒤, cd 명령어로 folder3 디렉토리로 이동합니다.

$mkdir folder3
$cd folder3

touch 명령어로 deepmal.txt 파일을 생성 한 뒤, ls 명령어로 deepmal.txt가 생성됨을 확인합니다.

$touch deepmal.txt
$ls

cd 명령어로 부모 디렉토리로 이동 한 뒤, ls를 통해 목록을 확인합니다.

rm 명령어를 통해 folder3와 그 안에 있는 파일 까지 삭제 한 뒤, ls 명령어를 통해 올바로 삭제 되었는지 확인합니다.

$cd ..
$ls
$rm -r folder3
$ls

같이 보시면 좋아요.

2021.04.30 - [Linux] - ubuntu 명령어 모음 1

ubuntu 명령어 모음 1

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

ubuntu 명령어 모음 1

말해보시개 — Fri, 30 Apr 2021 15:12:21 +0900

ubuntu 명령어 모음 1

whoami: 사용자 ID 확인

whoami 명령어는 로그인한 사용자의 ID를 알려줍니다.

$whoami

다음과 같이 ubuntu에서 whoami 명령어를 통해 사용자의 ID를 확인할 수 있습니다.

whoami 명령어를 통해 확인해보니 ID는 user입니다.

passwd: 사용자 비밀번호 변경

passwd 명령어는 로그인한 사용자의 비밀번호를 변경합니다.

$passwd

pwd: 현재 디렉토리 위치 출력

pwd 명령어는 현재 디렉토리 위치를 출력합니다.

$pwd

다음과 같이 ubuntu에서 pwd 명령어를 통해 현재 디렉토리를 확인할 수 있습니다.

현재 디렉토리를 확인해 보니 /home/user입니다.

ls: 현재 디렉토리 목록 출력

ls 명령어는 현재 디렉토리 목록을 출력합니다.

$ls

다음과 같이 ubuntu에서 ls 명령어를 통해 현재 디렉토리에 있는 목록을 확인 할 수 있습니다.

현재 디렉토리엔 folder1, folder2가 있네요.

ls -l 명령어는 현재디렉토리의 목록을 상세히 출력합니다.

$ls -l

ls -a 명령어는 숨겨진 파일이나 디렉토리까지 포함하여 출력합니다.

ls -a

ls -al 명령어는 숨겨진 파일과 디렉토리를 포함하여, 상세히 출력합니다.

$ls -al

각 디렉토리나 폴더의 권한 등 상세한 정보들을 확인할 수 있습니다.

cd: 해당 디렉토리로 이동

cd 명령어는 change directory의 약자로, 해당 디렉토리로 이동합니다.

$cd folder1

pwd로 현재 위치를 확인하고, cd 명령어를 통해 folder1으로 이동하였습니다.

apt install

apt install 명령어는 ubuntu 내, 필요한 패키지를 설치합니다.

$apt install nano

nano 패키지를 설치하는 명령어입니다.

apt install nano 명령어를 통해 nano를 설치하려고 하나, 권한문제로 Permission denied 에러가 뜹니다.

sudo apt install nano 명령어를 통해 nano를 설치할 수 있습니다.

$sudo apt install nano

같이 보시면 좋아요.

2021.04.25 - [AWS] - AWS EC2 인스턴스 생성방법

AWS EC2 인스턴스 생성방법

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

AWS EC2 RDS MySQL 연결

말해보시개 — Wed, 28 Apr 2021 22:30:52 +0900

AWS EC2 RDS MySQL 연결

안녕하세요. 쏴아리입니다.

이번 포스팅에서는 AWS EC2 인스턴스에서 RDS MySQL 인스턴스에 연결하는 방법을 소개합니다.

AWS EC2와, RDS MySQL 인스턴스 생성이 되어있다는 가정하에, EC2에서 RDS를 접근하기 위해 보안 설정을 셋팅 하는 방법을 주로 알아보겠습니다.

AWS EC2 인스턴스 생성

이번 포스팅에서는 AWS EC2 인스턴스가 생성되어있음을 가정하고 있습니다.

AWS EC2 인스턴스 생성방법은 다음 포스팅을 참고해 주세요.

2021.04.25 - [AWS] - AWS EC2 인스턴스 생성방법

AWS EC2 인스턴스 생성방법

deepmal.tistory.com

AWS RDS MySQL 인스턴스 생성

이번 포스팅에서는 AWS RDS MySQL 인스턴스가 생성되어있음을 가정하고 있습니다.

AWS RDS MySQL 인스턴스 생성 방법은 다음 포스팅을 참고해 주세요.

2021.04.24 - [AWS] - AWS RDS MySQL 인스턴스 생성 방법

AWS RDS MySQL 인스턴스 생성 방법

AWS RDS MySQL 인스턴스 생성 방법 1. AWS RDS AWS RDS(Relational Database Service)는 AWS에서 제공하는 데이터베이스 서비스 입니다. RDS를 통해 직접 데이터베이스 서버를 설치하고 운영할 필요 없이,..

deepmal.tistory.com

AWS EC2 RDS 연결

EC2에서 RDS를 연결하기 위해서는 RDS의 보안 그룹을 설정해 줘야 합니다 .

1. EC2 보안 그룹 ID확인

EC2 인스턴스에서 보안그룹을 클릭합니다.

보안그룹ID를 확인하고 복사합니다.

2. RDS 인스턴스 VPC 보안 그룹

RDS인스턴스페이지에서 VPC 보안 그룹을 클릭합니다.

3. 보안그룹 생성 인바운드 규칙

RDS에서 생성한 보안그룹을 선택한 뒤, 인바운드 규칙에서 규칙 추가 버튼을 클릭한 뒤, 다음과 같이 규칙을 추가합니다.

유형: MySQL/Aurora
소스: 사용자지정
값: EC2 보안정책의 그룹ID(복사한 값)

4. RDS 인스턴스 엔드포인트 확인

RDS 인스턴스 페이지에서 엔드포인트를 확인합니다.

5. EC2에 접속하여 mysql을 설치합니다.

$sudo apt install mysql-client-core-5.7

6. EC2에서 RDS 엔드포인트로 접속합니다.

mysql -u {마스터 사용자 이름} -p -h {RDS 인스턴스 엔드포인트}

올바로 접속됨을 확인합니다.

같이 보시면 좋아요.

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

AWS EC2 VSCode 연결방법

말해보시개 — Tue, 27 Apr 2021 22:30:35 +0900

AWS EC2 VSCode 연결방법

안녕하세요. 쏴아리입니다.

이번 포스팅에서는 AWS EC2 인스턴스에 로컬 VSCode를 연결하는 방법에 대해 소개합니다.

AWS EC2 인스턴스 생성

본 포스팅에서는 AWS EC2 인스턴스가 생성되어있다고 가정하겠습니다.

AWS EC2 인스턴스 생성방법은 다음 포스팅을 참고해주세요.

2021.04.25 - [AWS] - AWS EC2 인스턴스 생성방법

AWS EC2 인스턴스 생성방법

deepmal.tistory.com

VSCode Remote-ssh 설정

1. VSCode의 Extension에서 Remote Development를 설치해 줍니다.

Remote Development 기능은 SSH, Containers, WSL 3가지 옵션이 있는데, 이번 포스팅에서는 SSH를 사용하여 EC2 인스턴스에 VSCode를 연결하도록 하겠습니다.

2. Remote-SSH Configuration 설정

VSCode에서 F1키를 누르고, configuration을 검색한 뒤, Remote-SSH: Open COnfiguration File기능을 선택합니다.

ssh configuration 파일을 다음과 같이 수정합니다.

Host: 접속할 EC2의 별명을 입력합니다. 추후 Host에 입력한 별명으로 EC2를 구분하여 연결하게됩니다.
- HostName: AWS EC2 인스턴스의 Public IP입니다.
- User: 접속할 유저명
- IdentifyFile: AWS EC2 인스턴스 pem key의 경로입니다.

AWS EC2 인스턴스의 Public IP는 다음 그림에서 퍼블릭 IPv4에 기술되어있습니다(붉은색 박스).

3. Remote-SSH: Connect to Host

VSCode에서 F1을 누른 뒤, connect를 검색합니다.
Remote-SSH: Connect to Host... 를 입력하면 EC2에 접속이 가능합니다.
원격 호스트의 OS를 선택하라고 나오는데, Linux를 선택하면됩니다.

4. EC2 VSCode 연결확인

VSCode 좌측 Remote Explorer를 통해 EC2 VSCode에 접속하였음을 확인할 수 있습니다.

같이 보시면 좋아요.

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

AWS RDS UTF-8 인코딩을 위한 파라미터 그룹 설정

말해보시개 — Mon, 26 Apr 2021 22:30:37 +0900

AWS RDS UTF-8 인코딩을 위한 파라미터 그룹 설정

AWS RDS에서 한국어를 처리하기 위해서는 UTF-8 인코딩을 처리해줘야 합니다.

본 포스팅에서는 UTF-8 인코딩 처리를 위한 AWS RDS 파라미터 그룹 설정 방법을 살펴보겠습니다.

AWS RDS 파라미터 그룹 생성

1. 파라미터 그룹 페이지로 이동

Amazon RDS 페이지 좌측에서 파라미터 그룹을 선택합니다.

2. 파라미터 그룹 생성 버튼 클릭

3. 파라미터 그룹 생성

파라미터 그룹 패밀리
- 파라미터 그룹이 적용될 데이터베이스 패밀리를 선택합니다.
- 본 포스팅에서는 mysql5.7 데이터베이스를 생성할 것으로 가정하겠습니다.
그룹 이름
- 데이터베이스 파라미터 그룹에 대한 식별자입니다.
- 자유롭게 설정하면 됩니다.
설명
- 데이터베이스 파라미터 그룹에 대한 설명입니다.
- 자유롭게 설정하면 됩니다.

파라미터 그룹 패밀리, 그룹이름, 설명을 입력하고 생성버튼을 클릭합니다.

4. 파라미터 그룹 생성 확인

파라미터 그룹이 생성된 것을 확인합니다.

DB 파라미터 그룹 설정 값 변경

1. 설정 값을 변경할 파라미터 그룹을 선택합니다.

2. 파라미터 편집 버튼 클릭

우측 상단에 파라미터 편집 버튼을 클릭합니다.

3. 파라미터 설정 값 변경

다음 파라미터들의 설정 값을 변경해야 합니다. 검색창에서 수정하고자 하는 파라미터를 검색 하여 찾은 뒤, 원하는 값으로 수정 할 수 있습니다.

character_set_clinent: utf8mb4
character_set_connection: utf8mb4
character_set_database: utf8mb4
character_set_results: utf8mb4
character_set_server: utf8mb4
collation_connection: utf8mb4_general_ci
collation_server: utf8mb4_unicode_ci

파라미터를 다 설정 하였으면, 변경 사항 미리보기 버튼을 클릭합니다.

4. 변경 사항 미리 보기

다음과 같이 나오면 올바로 설정을 한 것입니다.

수정사항들을 확인 한 뒤, 변경 사항 저장을 클릭합니다.

RDS 생성시 DB 파라미터 그룹 적용

AWS RDS 인스턴스를 생성과정에서 위에서 생성한 DB 파라미터 그룹을 적용할 수 있습니다.

RDS 생성시 생성한 DB 파라미터 그룹을 선택하면 됩니다.

AWS RDS 생성 방법은 아래 포스팅을 참고해주세요.

2021.04.24 - [AWS] - AWS RDS MySQL 인스턴스 생성 방법

AWS RDS MySQL 인스턴스 생성 방법

deepmal.tistory.com

같이 보시면 좋아요.

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

AWS EC2 인스턴스 생성방법

말해보시개 — Sun, 25 Apr 2021 09:00:32 +0900

AWS EC2 인스턴스 생성방법

EC2는 AWS에서 사용하는 서버입니다. EC2 instance에 API를 배포하는 용도 등 다양하게 활용할 수 있습니다.

EC2 인스턴스 생성하기

1. AWS EC2 페이지 접근

AWS Management Console에서 EC2를 검색하면, EC2 서비스 페이지로 접근할 수 있습니다.

2. EC2 인스턴스 시작

EC2 페이지에서, EC2 대시보드를 클릭한 뒤, 인스턴스 시작 버튼을 클릭합니다.

2. Amazone Machine Image(AMI)선택

먼저 사용할 운영체제 시스템을 선택해야 합니다.

본 포스팅에서는 Ubuntu 18.04 버젼을 선택하겠습니다.

3. 인스턴스 유형 선택

서버 사양을 선택하는 페이지 입니다.

t2_micro가 AWS free tier이기 때문에, t2_micro를 선택하겠습니다.

선택 후, 다음: 인스턴스 세부 정보 구성 버튼을 클릭합니다.

4. 인스턴스 세부 정보 구성

퍼블릭 IP 자동 할당을 활성화 옵션으로 선택하겠습니다.

나머지 옵션들은 디폴트 값을 그대로 하고 검토 및 시작 버튼을 클릭합니다.

5. 인스턴스 시작 검토

시작하기 버튼을 클릭합니다.

7. 기존 키 페어 선택 또는 새 키 페어 생성

pem key 파일을 설정하라는 메시지가 나오면, 새 키 페어 생성 옵션을 선택한 후, 키 페어 이름을 입력합니다.

키 페어 다운로드 버튼을 누른 뒤, pem 파일을 잘 보관합니다.

pem key를 이용해 EC2 서버에 SSH 접속을 할 수 있습니다.

마지막으로 인스턴스 시작 버튼을 클릭합니다.

ubuntu에서 EC2 인스턴스 접속하기

1. Pem ksy파일 .ssh폴더 저장

pem key 파일을 .ssh 폴더에 저장합니다.

2. 인스턴스 public ip 주소 확인

EC2 접속에 필요한 EC2 Instance의 Public IP 주소를 확인합니다.

3. EC2 접속 시도

다음 명령어를 입력하여 EC2 Instance에 접속합니다 .

$ssh-i <pem key 경로> ubuntu@<ec2 instance pubic ip 주소>

위와 같은 WARGNING: UNPROTECTED PRIVATE KEY FILE! Permission denied(publickey) 메시지가 발생합니다.

4. Pem key 권한 설정

메시지를 자세히 읽어보면, 권한이 너무 많이 오픈되어, 다른사용자들이 접근 할 수 없도록 권한을 셋팅해 주어야 한다고 합니다.

다음 명령어를 통해 pem key의 권한을 설정해줍니다.

$chmod 600 <pem key 경로>

5. EC2 접속

성공적으로 접속하였음을 확인할 수 있습니다.

같이 보시면 좋아요.

2021.04.24 - [AWS] - AWS RDS MySQL 인스턴스 생성 방법

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

AWS RDS MySQL 인스턴스 생성 방법

말해보시개 — Sat, 24 Apr 2021 10:56:55 +0900

AWS RDS MySQL 인스턴스 생성 방법

AWS

1. AWS RDS

AWS RDS(Relational Database Service)는 AWS에서 제공하는 데이터베이스 서비스 입니다.

AWS

RDS를 통해 직접 데이터베이스 서버를 설치하고 운영할 필요 없이, RDS를 통해 원하는 데이터베이스 시스템과 버전 설정을 한 후 사용할 수 있습니다. 또한 직접 데이터베이스 서버를 운영하는 것보다 더 저렴한 가격에 사용할 수 있다는 장점이 있습니다.

AWS

2. AWS RDS MySQL 인스턴스 생성

AWS RDS를 사용하여 MySQL 데이터베이스 인스턴스를 생성해 보겠습니다.

1. AWS Management Console

AWS Management Console에서 RDS를 검색합니다.

2. AWS RDS 대시보드

AWS RDS 대시보드로 이동합니다.

1) 좌측 상단에 있는 데이터베이스를 클릭합니다.

2) 이후 우측 상단에 잇는 데이터베이스 생성 버튼을 클릭합니다.

3. 데이터베이스 생성

1) 데이터베이스 생성방식은 표준 생성을 선택합니다.

2) 엔진 옵션은 MySQL을 선택합니다.

3) MySQL 버젼을 선택합니다.

본 포스팅에서는 MySQL 5.7.23 버젼을 사용하겠습니다.

4. 템플릿

프리티어를 선택합니다.

프로덕션, 개발/테스트 옵션도 있지만 본 포스팅에서는 프리티어를 사용하겠습니다.

5. 설정

1) DB 인스턴스 식별자

AWS 리전에서 AWS 계정이 소유하는 모든 DB인스턴스에 대해 고유한 식별자를 작성합니다.

2) 마스터 사용자 이름, 마스터 암호

마스터 사용자의 ID와 암호를 작성합니다.
이 부분은 추후, MySQL에 접속할때 활용되므로 잘 기억해 두어야 합니다.

6. DB 인스턴스 크기

DB 인스턴스 크기를 설정합니다.
본 포스팅에서는 Default로 설정되어있는 값을 사용하겠습니다.

7. 스토리지

디폴트 옵션을 선택하겠습니다.
스토리지 자동 조정은 동적으로 스토리지를 확장하는 기능입니다. (Scale Out)
최대 스토리지 임계값은 1000GB로 설정되어있습니다.

8. 연결

VPC / 서브넷 그룹
- Default 옵션을 사용하겠습니다.
퍼블릭 액세스 기능
- Public IP를 할당하여, 외부에서 DB인스턴스를 접근할 수 있도록 하는 기능입니다.
- ubuntu에서 MySQL에 접근할 것이기 때문에, 예 옵션을 선택합니다.
VPC 보안 그룹
- 새로 생성 합니다.
- 추후 EC2에서 사용하기 위해서는 EC2의 보안 그룹을 연결해야 합니다.
데이터베이스 포트
- 3306을 사용하겠습니다.

9. 데이터베이스 인증

DB를 암호를 사용해서 인증할 것이기 때문에, 암호인증을 선택하겠습니다.

10. 추가 구성

DB 파리미터 그룹을 설정해 놓은것이 있다면 선택합니다. 없으면 기본값으로 하여도 무방합니다.
DB 파라미터 그룹 설정은 추후 포스팅 하겠습니다.

3. AWS RDS MySQL 보안그룹 셋팅

1. RDS 인스턴스 생성 확인

설정을 마친 뒤, 생성된 RDS 인스턴스를 확인합니다. 상태가 사용가능으로 표현되어있어야 합니다.
생성된 RDS인스턴스를 클릭합니다 .

2. VPC 보안그룹 수정

VPC 보안 그룹을 클릭합니다.

인바운드 규칙 편집을 클릭합니다.

소스에 위치무관을 선택하시면 로컬 ubuntu에서 RDS 인스턴스 MySQL서버에 접근이 가능합니다.

4. Ubuntu에서 AWS RDS MySQL 인스턴스 연결

1. RDS 인스턴스의 엔드포인트 확인

RDS 인스턴스의 엔드포인트를 확인합니다.

2. ubuntu에서 RDS MySQL서버 접속확인

다음 명령어를 입력하시면 접속이 가능합니다.

$mysql -h <endpoint>-u <master username> -p

같이 보시면 좋아요.

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

Image-to-Image Translation with Conditional Adversarial Network(2017)

말해보시개 — Sun, 18 Apr 2021 15:49:08 +0900

Image-to-Image Translation with Conditional Adversarial Network(2017)

Abstract

1. conditional GAN을 활용한 image-to-image translation problem 해결

본 연구에서는 conditional adversarial network를 활용하여 image-to-image translation problem의 general-purpose solution이 적용가능한지 탐구 하였습니다.
이러한 뉴럴네트워크는 input image에서 output image로의 mapping을 학습할 뿐 아니라, mapping을 학습바기 위한 loss function도 함께 배웁니다.
이는 전통적인 방법과 매우 다른 loss formulation을 요구하는 문제에 적용 가능하게 합니다.

2. Pix2Pix의 wide한 적용 가능성을 검증

본 연구에서는 해당 접근 방법론이 매우 효과적으로 photo를 label map으로 부터 잘 변환하고, edge map으로 부터 object를 잘 reconstruction하며, 이미지에 color를 주는 등 다양한 task에 적용이 가능한 것을 입증하였습니다.
pix2pix software가 본 논문과 함께 발표된 이후로, 많은 관심을 가져 주었고 다양한 연구자들의 softwafe에 그들의 고유한 실험을 진행하여 범용적인 적용성을 검증 하였습니다.

Introduction

본 연구에서는 automatic image-to-image translation 문제는 이미지를 하나의 가능한 representation으로 변환하는 과정으로 정의합니다.

Figire 1: image-to-image translasiton task

본 연구에서는 GAN에 conditional setting을 하여 image-to-image translation으로의 적용가능성을 탐색합니다. Conditional GAN(cGAN)은 conitional generative model로서, input image를 condition으로 주어 output image를 generate 하기 위한 image-to-image translation task에 적합합니다.

Related work

Structured losses for image modeling

Image-to-Image translation problem은 per-pixel classifiaction 혹은 regression 형태로 formulated 되어 왔습니다.
이러한 formulation은 각각의 output pixel이 주어진 input image와 다른것과 모두 조건부 독립적이라는 측면에 있어서, output space를 unstructured로 취급합니다.
Conditional GANs 대신에 structured loss를 학습하는데, Structured losses는 output의 joint configuration을 penalize하는 특징이 있습니다.

Conditional GANs

기존 연구들은 GANs을 사용하여 image-to-image mappings 문제에 활용하였으나, L2 regression과같은 term에 의존한 unconditionally GANs을 적용하였습니다.
본 연구에서는 generator와 discriminator를 위한 serveral architectural choice 측면에서 기존 연구와 차별화됩니다.
- 기존 연구와 다르게 "U-Net"에 기반한 Generator를 활용하였으며, "PatchGAN"에 기반한 Discriminator를 활용하였습니다.
- PatchGAN은 image patch의 scale에 맞게 penalizes structures를 수행합니다.

Method

GAN and Conditional GAN

GAN은 Generative Model로서, random noise vector z로 부터 output image y, G : z → y로의 mapping을 학습합니다.
반면, conditional GAN은 observed image x와 random noise vector z를 활용 하여 y, G : {x, z} → y로의 mapping을 학습합니다.
- Generator G는 Discriminator로 하여금 output(fake image)이 real images 구별이 불가능하 도록 학습을 합니다.
- Discriminator D는 반대로, generator의 fake image를 real image와 구별하여 탐지하도록 학습을 합니다.
- 해당 training procedure는 Figure 2에 기술되어있습니다.

Figure 2: Training a conditional GAN to map edges -> photo

Discriminator D는 fake(Generator가 만든)와 real {edge, photo} tuple을 분류합니다.
Generator G는 discriminator를 속이도록 학습합니다.
unconditional GAN과 달리, generator와 discriminator는 input edge map을 입력받습니다.

3.1 Objective

Conditional GAN의 Objective는 다음과 같이 표현됩니다.

Generator G는 objective를 minimize하고 반대로, D는 maximize하고자 합니다.

본 연구에서는 Discriminator에 conditioning의 중요성을 테스트 하기 위하여, unconditional variant를 함께 비교하였습니다.

다음 objective에는 Discriminator는 x를 observe하지 않은 상황입니다.

기존의 접근 방법들은 GAN objective와 L2 distence와 같은 trainidional loss를 함께 섞는 것이 유용하다는 점을 발견 하였습니다.

discriminator의 역할은 그대로입니다.
하지만 generator는 단순히 discriminator를 속이는 것 뿐만 아니라 L2의 측면에서output이 ground truth 근처에 되어야 합니다.
본 연구에서는 L1 distance 보다 L2를 사용하는것이 less blurring의 측면에서 더 효과적인것을 확인하였습니다.

최종 목적함수는 다음과 같습니다.

3.2 Network architectures

3.2.1 Generator with skips

generator에게 bottleneck information을 우회할 수 있는 수단을 제공하기 위하여, "U-Net" style의 skip-connection을 더하였습니다.
skip connection을 각 layer i와 layer n-i 사이에 연결해 주었습니다.
- n: total number of layers
각각의 skip-connection은 단순히 layer i에서의 모든 채널들을 layer n-i의 채널들과 concatenates합니다.

3.2.2 Markovian discriminator (PatchGAN)

L2, L1 Loss는 image genereation에 적용할 때 blurry results를 생성한다는 문제점이 있습니다.
이러한 loss들은 high frequence cripness를 잘 반영하지 못하는 반면, low frequencies를 capture하는데 좋은 성능을 낸다는 특징이 있습니다.
본 연구에서는 discriminator architecture를 PatchGAN을 적요하였습니다.
- PatchGAN은 scale of patches 에만 penalize합니다.
- Disciminator는 N*N patch 각각에 대하여 real 인지 fake인지 분류합니다.

Figure 3: Two choies for the architreture of the generator

좌측 Network: Encoder-decoder
우측 Network: U-Net
- encoder-decoder에 Skip connection을 더한 것으로, encoder의 mirrored layer가 decoder stacks에 있는 점이 특징입니다.

3.3 Optimization and inference

Training Time: minibatch SGD, Adam solver를 적용하였습니다.

Experiments

4.1 Evaluation metrics

Amazon Mechanical Turk(AMT)

사람을 대상으로 한 실험으로, 실제 이미지와 가짜 이미지를 보여준 후 그들이 진짜라고 생각하는 것을 선택하게 합니다.
알고리즘이 참가자를 속였는지 테스트 합니다.

FCN-Score

classify the synthesized image correctly as well
Semantic Segmentation을 위해 FCN-8s architecture를 채택하고, cityscape dataset에 훈련함

4.2 Analysis of the objective function

Figure 4: Different losses induce different quality of results

Figure 4는 labels -> photo image to image translation problem의 qualitative effects를 보여줍니다.
각 columns은 각자의 loss에 기반하여 훈련된 결과를 보여줍니다.
L1 alone은 reasonable but blurry한 results를 보여줍니다.
cGAN alone(setting lambda = 0 in Eqn 4)의 경우 더 sharper한 result를 보여주지만 visual artifacts on certain applications의 문제가 있습니다.
L1 + cGAN(lambda =100)의 경우 이러한 artifacts problem을 줄여줍니다.

Table 1: FCN-scores for different losses, evaluated on Cityscapes labels<->photos

cityscapes labels -> photo task에서 FCN-score를 측정
GAN: condition을 discriminator에서 제거함.
L1+cGAN이 가장 높은 성능을 보여주었습니다.

4.3 Analysis of the generator architecture

Figure 5: Adding skip connections to an encoder-decoder to create a "U-Net" results in much higher quality results

Encoder-decoder, L1+cGAN 구조 모두에서 U-Net을 적용하였을때 결과가 더 좋은 quality를 보여주었습니다.

Table 2: FCN-scores for different generator architecrues

U-net Generator architecture를 적용하고, L1-cGAN의 Objective의 결과가 가장 좋은 성능을 보여주었습니다.

4.4 From PixelGANs to PatchGANs to ImageGANs

Table 3: FCN-scores for different receptive fields size od the discriminator

70*70의 PatchGAN을 활용하였을때 가장 성능이 좋았습니다.

Figure 6: Patch size vatiants

70*70 PatchGAN의 output이 가장 sharp하였습니다.

4.5 Perceptual validation

map<-> aerial photograph, grayscale -> color Task에서의 perceptual realism 결과를 검증한 내용입니다.

4.6 Semantic Segmentation

Figure 10: Applying conditional GAN to semantis segmentation

cGAN이 가장 sharp하고 ground truth에 가까운 이미지를 생성하였습니다.

Table 6: Performance of photo->labels on city scapes

cGAN을 사용하였을 때보다 Semantic Segmentation 문제에서는 단순히 L1 regression이 더 좋은 성능을 보여주었습니다.
저자들은 vision problem에서 semantic segmentation같이 덜 애매모호한 graphics tasks에서는 L1과 같은 reconstruction losses만으로도 충분할 수 있다고 주장합니다.

4.7 Community-driven Research

Twitter community인 pix2pix codebase를 배포하였을때, computer vision and graphic practitioner들이 성공적으로 다양한 image-to-image translation task를 적용한 결과를 보여줍니다.

Conclusion

cGAN이 성공적인 성과를 보여주었지만, 이러한 문제를 해결하기 위한 best solution은 더 존재할지도 모릅니다. Figure6에서 단순히 L1 regression을 적용하였을때 cGAN보다 더 좋은 score를 보여주었기 때문입니다.

같이 보시면 좋아요.

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

f-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks(2019)

말해보시개 — Sat, 17 Apr 2021 16:51:49 +0900

f-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks(2019)

Abstract

1. 의료 이미지의 이상여부 Label을 얻는 작업은 time-consuming하고 비현실적입니다.

의료 이미지에 대한 전문가의 라벨을 얻는 것은 time-consuming 하고 매우 어려운 작업입니다. 또한 사전에 알려진 모든 가능한 라벨을 annotation 하는 작업은 불가능하고, 또한 guide annotation도 충분히 잘 묘사하기 힘든 경우가 있습니다. supervised learning 방법론은 전문가의 labeled training data가 있다면 좋은 결과를 낼 수 있지만, 라벨이 반드시 존재해야 하는 한계점이 존재합니다.

2. f-AnoGAN은 비지도학습기반의 이상탐지 방법이며, fast mapping technique의 특징이 있습니다.

본 연구에서는 fast AnoGAN(f-AnoGAN)을 제안합니다. f-AnoGAN은 generative adversarial network(GAN) 기반의 비지도 학습 방법론 접근 방법으로, 이상한 이미지와 이미지 세그먼트를 탐지함으로서, 의료 이미지에서 문제가 되는 후보군을 도출 할 수 있습니다. 본 연구에서는 generative model을 healthy training data로 부터 훈련하고, 새로운 테스트 데이터에서 GAN's latent space로의 fast mapping technique을 제안합니다. Mapping 작업은 trained encoder를 통해 이루어지며, anomaly detection 작업은 feature redisual error와 image reconstruction error를 합친 anomaly score에 기반합니다.

3. f-AnoGAN의 실험결과는 정량적, 정성적 평가에서 긍정적입니다.

실험결과 OCT(optical coherence tomography) data에서, f-AnoGAN이 다른 방법론들 보다 정량평가에서 좋은 성능을 보여주는 것을 보여주었으며, 망막전문가 시각적인 테스트(정성평가)에서도 실제 이미지와 f-AnoGAN의 생성이미지의 차이가 없음을 확인하였습니다.

Introduction

본 연구에서는 annotation 작업이 필요 없이 대규모 only normal images를 훈련데이터로 사용하는 fast anomaly detection technique을 제안합니다. Generarative model은 Normal Data를 활용한 비지도 학습을 통해, 대규모 훈련 데이터의 natural variability를 학습합니다. 그 후, encoder를 훈련하여 images가 latent space로 fast mapping을 수행할 수 있도록 하며, 이상탐지 단계에서 normal data의 manifold에 fit한지 아닌지의 여부를 빠르게 평가할 수 있습니다.

Figure 1) Anomaly detection Framework

1) Model Training

모델 훈련단계에서는 normal "healthy" data만 사용합니다.
generative adversarial training을 수행하여 Generator와 Discriminator를 학습합니다.
Encoder training을 수행하여, trained encoder를 학습합니다.

2) Anomaly detection

이상탐지 단계에서는 normal "healthy" data와 훈련데이터에 존재하지 않은 unseen healthy cases, anomalous 데이터를 함께 활용합니다.

Fast GAN based anomaly detection

본 연구에서 제안하는 anomaly detection framework는 normal image를 활용한 2가지 training step으로 구성됩니다.

(1) GAN Training(WGAN training)

AnoGAN(2017)과 유사하게 GAN을 normal 이미지로부터 학습하여 generator와 discriminator를 만들고, normal anatomical variability의 latent representation을 만듭니다.
이 GAN model을 활용하여, image로 부터 latent space로의 encoder를 학습하게 되는데, 이 과정은 Figure 2에 표현되어있습니다.

(2) Encoder Training based on the trained GAN model(izi encoder training or ziz encoder training)

encoder training 이후, input이 trained generator에 입력되면 encoder는 이미지를 latent space로 맵핑합니다.
normal image가 입력될 경우 enocder를 통해 image space로부터 latent space로 맵핑되고, 그 이후 generator를 통해서 latent space에서 다시 input space로 맵핑됩니다

훈련 이후, inference는 위의 (1), (2) 훈련 모듈에 기반하여 새로운 이미지에 대하여 anomaly score를 계산합니다.

Figure 2) Components of the proposed anomaly detection framework training

(1) Wasserstein GAN(WGAN) Training

WGAN을 훈련하여 Generator G와 Discriminator D의 learned parameter를 얻습니다.

(2) encoder trainig

Fixed Parameter G, D를 활용하여 3가지 가능한 encoder training 옵션이 있습니다.

1) izi encoder training

input images와 "reconstructed" images 간 residual에 기반하여 Loss Lizi를 최소화 합니다.

2) izif encoder training

Loss Lizi와 Lodd LD를 jointly training합니다.
- Loss Lizi는 input images와 "reconstructed" images 간 residual에 기반합니다.
- LD는 input images와 "reconstructed: images간 disciminator의 feature간 redisual을 의미합니다.

3) ziz encoder training

Loss Lziz를 최소화 합니다.
Lziz는 randomly sampled 와 reconstructed locations의 z-space(latent space)에서의 residual에 기반합니다.

Training the encoder with generated images: ziz architecture

ziz encoder training

훈련동안, z-space에서 random sample을 fixed Generator G에 통과 시키고, 그 결과를 Encoder E에 통과시켜서 z-hat을 획득합니다.
- input z-samples 와 reconstructed z-samples E(G(z))간의 mean squared error(MSE)를 최소화합니다.\
  - 다음 수식에서 d는 z-space의 dimensionality를 의미합니다.

izi architecture와 다르게, ziz architecture에서는 true target z location을 알 수가 있는데, 이 방법론은 오직 encoder가 generated images만 활용하고 real images를 활용하지 않는다는 단점이 있습니다.
본 연구에서는 izif architecture를 활용한다고 합니다.

Training the encoder with real images: izi architecture

izi encoder training

izi archecture는 standard Autoencoder의 환경 즉, enocoder 뒤에 docoder(generator)가 있는 구조로 되어있습니다.
훈련 기간 동안, real images는 trainable encoder를 통과하여 latent encoding z-hat을 생성하고, z-hat은 다시 fixed Generator G를 통과하여 Reconstucted Images를 생성합니다.
input images x 와 reconstructed images G(E(x))간 MSE redisual loss를 최소화합니다.

izi encoder는 WGAN training에서와 동일한 데이터(only normal images)를 통해 학습됩니다.
이 방법론은 query image에 대한 z-space의 true target location을 알수 없다는 단점이 있습니다.
간접적으로 image와 z mapping, 다시 z로부터 image로 되돌아오는 작업을 통해 image-to-image residual로 accuacy를 측정합니다.

Discriminator guided izi encoder training: izif architecture

izi training의 한계점

izi training의 object가 image space에서의 similatiry를 image space에서 enforce합니다.
훈련기간동안 새로운 이미지의 mapping은 latent space에서의 position을 sparsely sampled 되게 할 수 있으며, 다시 image space로 되돌아 갔을때 discriminator를 convince하지 못할 것입니다.
그 결과, 오직 pixel-wisw differences를 최소화하는 것은 realistic하지 않은 nomal images만 생성 할 수 있고, anomalous images들에 대해 작은 residual을 갖게 할 수도 있습니다.

t-SNE embedding on the feature representation of the last convolution layer of the disciminator (출처: AnoGAN Paper)

discriminator의 feature space간 residual의 의미

본 연구에서는 discriminator로 부터 populated된 feature space간 resisual은 anomalous images를 탐지하기 위한 핵심적인 조건인 것을 발견하였습니다.
따라서 본 연구에서는 real image와 reconstructed image의 결과를 izif architecture에서 추가적으로 계산하였습니다.

discriminator guided izi encoder training

Loss function은 다음과 같습니다.
- f는 disciminator의 intermediate layer feature입니다.
- nd는 intermediate feature representation에서의 dimensionality입니다.
- k는 weighting factor입니다.

Discriminator의 parameters는 WGAN training에서만 학습되고, encoder training에서는 fixed 상태로 유지됩니다.
izif architecture가 image space와 latent space를 동시에 encoder training이 가이드 하기 떄문에, 본 연구에서는 izif를 f-AnoGAN framwork에서의 propesed encoder training architecture로 선정하였습니다.

Detection of Anomalies

anomaly quantification

anomaly quantification을 위한 formulation은 encoder training에서 활용된 loss를 사용합니다. (Equation (1) ~ (3))
dissciminator guided izif encoder training(Equation (3))에 기반한 f-AnoGAN 모델은 다음과 같이 정의된 final anomaly score A(x)를 사용합니다.
- x는 새롭게 입력된 이미지 입니다.

Figure 3) Inference on new images for anomaly scoring

Anomaly Scoring은 encoder training에서 활용된 dataflow와 같은 architecture를 사용합니다.

(a) Proposed f-AnoGAN

Discriminator guided encoder training을 사용한 f-AnoGAN 모델(izif architecture)
- AR(x)
  - Real image x가 Encoder E 에 입력하면 그 결과로 E(x)가 생성됩니다.
  - E(x)를 Generator G에 입력하면 G(E(x))가 생성됩니다.
  - 이때 real image x와 reconstructed image G(E(x))에 기반한 loss를 AR(X)로 정의합니다.
- AD(x)
  - Real image x와 reconstructed image G(E(x))를 discriminator D에 입력하여, Discriminator의 intermediate layer에서의 feature representation을 비교하여 loss AD(x)를 계산합니다.

(b) Anomaly quantification

discriminator based term 없이, (izi architecture와 ziz architecture)encoder training architrecure를 위한 anomaly quantification

pixel level anomaly localizaion

다음 수식은 absolute value of pixel-wise residuals을 의미합니다.
이것은 pixel-level anomaly localization에 활용됩니다.

Experiments

Figure 4) Data preprocessing

Figure 4는 OCT 스캔으로 부터 2D iomage patches로의 date preprocessing step의 overview를 보여줍니다.
1) Volume-wise intensity normalizaeion
2) retinal area를 extraction and flattening
3) 2D patch extraction

f-AnoGAN 모델은 normal variability를 smoth representation으로 적절히 capture합니다.

Figure 5) Interpolations in the z-space of the trained WGAN

First 3 rows
- z-space에서 randomly sampled endpoint간의 Linear interpolation
Last 3 rows
- z-space에서 훈련데이터의 real image를 condition으로 하여 생성한 2 z location간의 Linear interpolation
- 제안된 encoder는 주어진 guery이미지로 부터 대응되는 latent encoding을 찾을 수 있음을 확인할 수 있다.

f-AnoGAN 모델은 training data가 아닌 주어진 input image에 대하여, visually close normal image를 찾을 수 있고, 이는 anomaly detection의 선행조건입니다. 해당 내용은 Figure 6에서 확인이 가능합니다.

Figure 6) 모델간 anomalous image region의 pixel-level localization 비교

first row: real input images
second row: Pixel-level anomaly anootations
First block: training set(normal images)로부터 취득된 images
Second block: test set에서의 healthy cases로 부터 취득된 normal images
Third block: test set에서 diseased cases로 부터 extracted된 images

Figure 7) Encoder training 방법론간 anomaloys image region에 대한 pixel-level localization 비교

Figure 7은 query images를 reconstruct하는 3가지 encoder training 방법론이 anomaly localitzation을 잘 수행할 수 있는지 시각적으로 보여줍니다.
first row: real query images
third row: f-AnoGAN으로 부터의 generated images
fourth row: real query images와 f-AnoGAN의 generated images간 overlayed residual

Figure 8) Image-level anomaly detection accuracy evaluation

(a) 다양한 모델들과 f-AnoGAN의 ROC curve, AUC 성능을 함께 보여줍니다.
- f-AnoGAN의 AUC가 0.9301로 가장 높은 성능을 보여주었습니다.
(b) 3가지 encoder training architecture를 적용한 f-AnoGAN의 ROC Curve, AUC 성능을 보여줍니다.
- izif를 적용한 f-AnoGAN의 AUC사 0.9301로 가장 높은 성능을 보여주었습니다.

Table 1) Clinical performance statistics

다양한 모델들에 비해 f-AnoGAN이 Precision, Sensitivity, Specificity, f-score, AUC 모든 metric에서 최고의 성능을 보여주었습니다.

Table 2) 3개 encoder training architecure를 사용하였을 때의 f-AnoGAN의 성능평가

izif encoder training architecture가 Precision, Specificty, f-score, AUC의 metric에서 최고의 성능을 보여주었습니다.
Sentivitry metric에서는 ziz encoder training architecture가 최고의 성능을 보여주었습니다.

Conclusion

1. 본 논문에서는 GAN related encoder training procedure를 활용한 fast anomaly detection 방법론을 제안하였습니다.

f-AnoGAN을 만들기 위하여, healthy example로 WGAN을 훈련합니다.
그 뒤, images를 latent space로 mapping 하기 위한 encoder를 학습합니다.
encoder는 fast inference 와 anomaly detection을 위해 사용됩니다.
이상탐지를 수행할 때, input images와 reconstructed images를 활용하여 reconstruction residual, residual on discriminator feature를 계산하고, 이는 anomalies를 찾기 위한 marker를 도출하는데 활용됩니다.

2. 3가지 encoder training approaches를 조사하였습니다.

1) ziz encoder training architecture
- image로부터 latent encodings를 mapping하기 위한 encoder를 만듭니다.
- ziz encoder training의 objective가 latent space만 training에 활용하기 때문에, normal query images에도 anomaly detection에 accuracy가 제한된다는 한계점이 있습니다.
2) izi encoder training architecture
- smooth reconstruction을 생성합니다.
3) izif encoder training architecture
- WGAN discriminator를 포함해서 encoder를 taining합니다.
- beset anomaly detection과 localization result를 생성합니다.

같이 보시면 좋아요.

2021.04.16 - [Anomaly Detection] - Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery(2017)

Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery(2017)

Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery Abstract 질병의 발병을 모니터링 하기 위하여, 이상한 이미지를 마킹하는 작업은 도전적인 문제입니다. 일반..

deepmal.tistory.com

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!

Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery(2017)

말해보시개 — Fri, 16 Apr 2021 21:08:32 +0900

Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery

Abstract

질병의 발병을 모니터링 하기 위하여, 이상한 이미지를 마킹하는 작업은 도전적인 문제입니다. 일반적으로 모델은 많은 라벨 데이터를 필요로 하기 때문입니다. 하지만 라벨을 annotation하는 작업은 비용이 많이 든다는 한계점이 있습니다. 본 연구에서는 비지도 학습기반의 방법론 AnoGAN을 통해 이미지 데이터를 위한 이상탐지를 수행합니다. AnoGAN은 정상데이터의 다양성의 Manifold를 학습하기 위한 Deep Convolutional Generative Adversarial Network로서, 새로운 이상 데이터를 latent space에 mapping하여 스코어링합니다. 새로운 데이터에 적용되었을 때, 모델은 이상탐지를 수행하고, 해당 이미지 패치가 학습한 분포로부터 fitting이 되는지 스코어링 합니다.

Introduction

Anomaly Detection Framework

Anomaly Detection Framework는 다음과 같습니다.

1) Figure 1의 가장 왼쪽 그림: Preprocessing

Flattening of the retinal area, patch extraction and intensity normalization

2) Figure 1의 파란색 Stage: Training the GAN

Normal Data(Healthy data)를 활용하여 generative model을 adversarial training합니다.

3) Figure 1의 붉은색 Stage: Identifying anomalies

Labeled Test Data(Unseen data)를 활용하여, 이상이 있는 이미지를 탐지하고 이미지 내 anomaloues region(anomalies)을 잘 찾아내는지를 체크 합니다.

Generative Adversatial Representation Learning to Identify Anomalies

Figure 2는 AnoGAN에서 사용하는 (a) Deep convolutional generative adverdarial network(DCGAN)과, (b) normal, anomalous image간 discriminator 마지막 layer에서의 feature representation의 차이점을 보여주고 있습니다.

(a) Deep convolutional generative adversarial network

Generator G는 noise z값을 입력받아 Fake Image를 생성합니다.
Discriminator D는 Fake Image와 Real Image를 구분하는 분류 역할을 수행합니다.

(b) t-SNE embedding

파란색으로 표현된 정상 이미지, 붉은색으로 표현된 비정상 이미지를 Discriminator에 입력 한 뒤, Discriminator의 final layer feature representation 결과입니다.
정상데이터와 비정상데이터가 feature representation에서 잘 구분이 되는 것을 확인 할 수 있습니다.

AnoGAN의 동작방식

1) Step 1: DCGAN 훈련

물공's 딥러닝

AnoGAN은 Normal Data만을 활용하여 DCGAN을 훈련합니다.

Generator G: Latent Space에서 Z를 입력 받아 Fake Image G(Z)를 생성합니다.
Discriminator D: Real Image와 Fake Image를 구분하기 위한 분류기 입니다.
- 훈련 과정에서의 Real Image는 Only Normal Data 입니다.

2) Step 2: Generator G와 Discriminator Z의 Parameter를 고정하고 Fake Image 생성

물공's 딥러닝

Step 1)에서 정상 데이터로만 학습된 DCGAN이 있습니다.
DCGAN의 Generator G와 Discriminator D의 Parameter를 Fix한 뒤, 최적의 z값을 찾도록 학습을 진행합니다.
Latent Vector Z1을 Random Sampling 한 뒤, Generator G에 입력합니다.
Generator G의 출력 결과 G(Z1)는 Normal Image가 생성됩니다.
- Generator G는 Step 1)에서 Normal Data로만 학습을 하였기 때문입니다.

3) Step 3: Residual Loss

물공's 딥러닝

Step 2)에서 생성된 Fake Image G(Z1)와 Real Image를 비교하여 Residual Loss를 계산합니다.
Residual Loss의 정의는 다음과 같습니다.

Residual Loss

Residual Loss는 Real 이미지(query image x)와 Generated Image G(Zr)간 visual dissimilarity를 측정합니다.

4) Step 4: Discrimination Loss

물공's 딥러닝

Discrimination Loss를 계산합니다.
여기서 Discrimination Loss란 Fake Image와 Real Image를 Discriminator에 입력하여 나온 Feature Space에서의 Dissimilarity를 의미합니다.

discrimination loss

f: Discriminator의 intermediate layer output

5) Step 5: Overall Loss = Residual Loss + Discrimination Loss

Overall Loss = Residual Loss + Discrimination Loss를 계산합니다.
- Overall Loss는 Residual Loss와 Discrimination Loss의 가중합계이며, Lambda가 가중치 입니다.

Overall Loss

Overall Loss를 Objective function으로 정의하고 Backpropagation을 통해 Overall Loss를 Minimize 하기 위한 최적의 latent vector를 탐색합니다.
논문에서는 500번 Iteration을 진행합니다. Z1->Z2->...->Z500
최적화 이후 Overall Loss를 Anomaly Score로 사용합니다.
- 테스트 단계에서 정상데이터가 들어왔다면, Overall Loss가 낮을 것입니다.
  - 훈련데이터가 정상데이터로만 구성되어있는데, 훈련데이터와 유사한 이미지가 입력된다면 Generator가 생성한 Fake Image가 Real Image와 유사할 것이기 때문입니다.
- 테스트 단계에서 비정상 데이터가 입력되었다면, Overall Loss가 클 것입니다.
  - 훈련데이터에서 경험하지 못한 새로운 abnormal image가 들어온다면, Generator가 생성한 Fake Image와 Real Image간 차이가 클 것이기 때문입니다.

Experminets

Figure 3는 AnoGAN이 예제 이미지에서 anomalies를 잘 감지하는지 pixel-level에서 살펴본 것입니다.

첫번째 Row: Real Input Image
두번째 Row: AnoGAN의 Generator가 생성한 Fake Image(첫번째 Row의 각 Real Input Image에 대응됨)
세번째 Row: Residual overlay
- Red bar: residual score에 의한 Anomaly identification
- Yellow bar: discrimination score에 의한 Anomaly identification
첫번째, 두번째 블록: 훈련데이터의 OCT Healthy Cases로부터 추출된 Normal Image
세번째 블록: 테스트데이터의 diseased cases로 부터 추출된 Images
마지막 column: Hyperrefective foci(초록색 box)

Conclusion

GAN을 사용한 이상탐지 방법론인 AnoGAN을 제안하였습니다. AnoGAN은 Generator와 Discriminator를 concurrently 훈련하여, 정상데이터로만 이루어진 비지도 학습기반 훈련방법론을 통해 훈련데이터에서 경험하지 않은 이상(anomalies)을 탐지 합니다.

실험결과, AnoGAN은 retinal fluid와 HRF와 같은 훈련데이터와 다른 형태의 이상(anomalies)을 잘 탐지함을 확인하였습니다. 따라서 AnoGAN은 새로운 이상(anomalies)를 탐지하는데 효과적일 것으로 기대됩니다.

같이 보시면 좋아요.

포스팅 내용이 도움이 되었나요? 공감과 댓글은 큰 힘이 됩니다!