"비전공자를 위한 이해할 수 있는 파이썬: 1시간 30분으로 파이썬 끝내기" 본 영상은 최원영 작가의 "비전공자를 위한 이해할 수 있는 파이썬" 책을 바탕으로 제작되었습니다. 영상을 보면서 조금이라도 이해가 안 가는 내용이 있다면, 이 책을 꼭 읽어보세요. 교재 구매 링크는 아래와 같습니다. 교보문고 : https://bit.ly/4cav73W 예스24 : https://bit.ly/3WLylX8 알라딘 : https://bit.ly/3YsNPAE 특히 기초 지식이 부족한 비전공자에게 적극 추천합니다. 본 영상과 별개로 해당 책에서는 최원영 작가가 직접 만든 무료 동영상 강의도 제공하고 있으니, 책으로 공부하고 영상으로 한 번 더 복습하면 보다 빠르게 실력을 키울 수 있습니다.

이번 영상에서 리뷰할 논문은 ECCV 2020에 발표된 논문으로, Bit Transfer (BiT) 모델을 제안하였습니다. 구체적으로 본 논문에서는 전이 학습(transfer learning)에 효과적으로 사용할 수 있는 대규모 모델을 제안하고, 배포합니다. 딥러닝 분야에서 전이 학습은 적은 양의 데이터 및 컴퓨팅 자원으로 높은 정확도를 이끌어내, 실무적인 관점에서 매우 활용도가 높습니다. 본 논문의 저자들이 배포한 모델을 사용하면 빠르고 간단히 원하는 이미지 관련 작업(task)에서 우수한 정확도를 얻을 수 있습니다.

현재 과학기술정보통신부가 주최하는 SW 인재 양성 과정 [SW마에스트로] 제14기 연수생 모집 중입니다. ▶ SW마에스트로 지원하러 가기: https://swmaestro.org/sw/main/contents.do?menuNo=200033 한 달 100만 원의 장학금, IT 기기 구입비, 최고 수준의 멘토링을 제공하는 국가 지원 과정입니다. SW 개발 분야에 관심이 있는 분들의 많은 지원 부탁드립니다. ※ 본 영상의 제작 과정에서 SW마에스트로의 도움과 지원을 받았습니다. ※ 또한, 출연해주신 두 분의 유튜브 채널 소개 드립니다. 1) 김동이(면접관): 개발자 취업 도우미 채널 https://www.youtube.com/@codingmonster 2) 은승욱(면접자): 알고리즘 교육 채널 https://www.youtube.com/@silvercoding ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬ Music name: Money Go Round - Le Gang Soundcloud：https://soundcloud.com/thisislegang ▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬▬

현대 딥러닝 아키텍처에서 학습 속도(training speed)를 비약적으로 향상시킬 수 있었던 방법 중 하나인 배치 정규화(Batch Normalization)에 대한 설명 영상을 만들어 공유합니다 :) 초기 배치 정규화는 Internal Covariate Shift (ICS)를 줄여서 성능을 높이기 위한 목적으로 2015년에 처음 제안되었으며, 실제로 학습 속도 및 정확도 향상에 도움이 되어 ResNet을 포함한 다양한 아키텍처에 사용되었습니다. 배치 정규화를 사용함으로써 하이퍼 파라미터 설정이 편리해지고 성능이 향상될 수 있다는 점은 의심의 여지가 없으나, 정말 배치 정규화가 ICS를 감소시키는지에 대해서는 불명확하여 Madry 연구소에서는 배치 정규화의 성능 향상 원인을 분석하는 논문을 출판했습니다. (NIPS 2018) 배치 정규화에 대한 강의 자료나 블로그 글은 매우 많이 찾아볼 수 있지만, 핵심이 되는 두 논문의 내용을 한 번에 정리한 뒤에 코드까지 확인해 볼 수 있는 자료는 거의 없는 것 같아 직접 만들어 보았습니다. 영상의 내용은 다음의 흐름을 가집니다. 1. 배치 정규화 원본 논문(PMLR 2015) 핵심 요약하기 00:00:00 2. 배치 정규화 파라미터 미분해보고 기울기 계산해보기 00:18:39 3. PyTorch를 기반으로 ResNet 아키텍처에서 배치 정규화를 포함할 때와 포함하지 않을 때의 손실(loss) 값 및 성능을 비교/분석해보기 00:26:46 4. 배치 정규화의 성능 향상 원인을 분석하는 논문(NIPS 2018) 핵심 요약하기 00:34:35 5. 두 개의 논문 연달아 같이 읽기 00:54:54 본 시리즈의 동영상에서 사용된 강의 자료(PPT)와 코드는 다음의 깃허브 저장소에 업로드됩니다. https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice 본 강의는 배치 정규화에 대한 2가지 논문에 대한 요약, 논문 리딩, 코드 실습을 포함하고 있습니다. (바로 실행 가능한 Colab 코드를 제공합니다.)

생성 모델(Generative Model)은 실제로는 존재하지 않지만, 있을법한 데이터를 만들어 내는 모델을 의미합니다. 오늘은 현대 딥러닝 기반 생성 모델에 큰 영향을 끼친 논문인 GAN(NIPS 2014)을 소개합니다. GAN은 최근까지 이미지 도메인에서의 많은 발전이 이루어져 특정한 분야의 이미지(사람의 얼굴, 동물의 형체 등)를 생성하거나 수정하는 작업을 수월하게 만들어주고 있습니다. 논문 핵심 요약: 00:00:00 코드 실습: 00:33:26 논문 같이 읽기: 00:38:40 본 시리즈의 동영상에서 사용된 강의 자료(PPT)와 코드는 다음의 깃허브 저장소에 업로드됩니다. https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice 본 강의는 논문 요약, 논문 리딩, 코드 실습을 포함하고 있습니다. (바로 실행 가능한 Colab 코드를 제공합니다.) ① Generative Adversarial Networks (GAN)의 동작 원리와 수학적인 증명을 이해할 수 있습니다. ② PyTorch를 기반으로 GAN 모델을 구현해 간단한 손글씨 이미지 생성 모델을 학습할 수 있습니다. ③ NIPS 2014에 업로드된 GAN 논문 원서를 함께 읽어 보며 내용을 이해할 수 있습니다.

본 교육 동영상에서는 현대의 자연어 처리 딥러닝 모델에 중대한 영향을 끼친 논문인 Transformer (NeurIPS 2017)를 소개합니다. 2020년을 기준으로 15,000회의 인용 횟수를 가진 Transformer 논문은 매우 많은 최신 자연어 처리 모델이 활용하고 있는 아키텍처를 제안합니다. 이러한 Transformer의 메인 아이디어는 BERT, GPT와 같은 최신 아키텍처에서도 채택되어 세계적으로 유명한 번역 프로그램인 Google 번역기, 네이버 파파고 등에서도 활용되고 있습니다. 논문 핵심 요약: 00:00:00 코드 실습: 00:43:40 논문 같이 읽기: 01:04:31 본 강의는 논문 요약, 논문 리딩, 코드 실습을 포함하고 있습니다. 바로 실행 가능한 Colab 코드를 제공합니다. 본 시리즈의 동영상에서 사용된 강의 자료(PPT)와 코드는 다음의 깃허브 저장소에 업로드됩니다. https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice

오늘은 자연어 처리 딥러닝 모델에 대한 공격 기법(Adversarial Attack) 논문을 소개합니다. 본 논문은 BERT를 포함해 최신 텍스트 분류 모델에 대하여 효과적으로 동작하는 공격 기법인 TextFooler를 제안한 논문입니다. 2020 AAAI의 Oral Session에서 발표되었으며, 간단하면서도 효과적인 방법으로 WordCNN, WordLSTM, BERT 등의 모델을 속이는 것을 보여줍니다. 논문 핵심 요약: 00:00:00 코드 실습: 00:29:57 논문 같이 읽기: 00:39:23 공격은 목표 모델의 파라미터를 전혀 모르는 상태에서 수행이 가능하며(black-box), 논문에서 제안한 알고리즘은 매우 단순하고 효과적입니다. ① 원본 문장에 포함된 단어 중에서 분류에 큰 영향을 미치는 단어들을 찾습니다. ② 찾은 단어들을 유사한 의미를 가지는 단어로 하나씩 바꾸되, 모델의 결과를 최대한 바꿀 수 있는 방향으로 바꿉니다. 본 시리즈의 동영상에서 사용된 강의 자료(PPT)와 코드는 다음의 깃허브 저장소에 업로드됩니다. https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice

오늘의 딥러닝 논문 리뷰는 자연어 처리 쪽에서 매우 유명한 논문인 Seq2Seq입니다. Seq2Seq는 2014년 인공지능 분야 최우수 학회 중 하나인 NIPS에서 소개되었습니다. Seq2Seq는 현대의 기계 번역(machine translation) 기술들이 딥러닝 기반으로 전환되도록 해준 돌파구와 역할을 해준 논문이며, 아직도 많은 논문에서 베이스라인으로 비교되고 있을 정도로 중요한 논문입니다. (2020년 기준 인용 수는 약 12,000회) 논문 핵심 요약: 00:00:00 논문 같이 읽기: 00:25:50 코드 실습: 00:43:19 본 강의는 논문 요약, 논문 리딩, 코드 실습을 포함하고 있습니다. (바로 실행 가능한 Colab 코드를 제공합니다.) 본 시리즈의 동영상에서 사용된 강의 자료(PPT)와 코드는 다음의 깃허브 저장소에 업로드됩니다. https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice

코딩 테스트를 위한 트리(Tree) 자료구조 10분 핵심 요약

코딩 테스트를 위한 벨만 포드 알고리즘 7분 핵심 요약 이번 강의는 다익스트라 최단 경로 알고리즘을 알고 있다고 가정합니다. 선행 강의(다익스트라) 동영상: https://www.youtube.com/watch?v=acqm9mM1P6o&list=PLRx0vPvlEmdAghTr5mXQxGpHjWqSz0dgC&index=7

자료구조: 바이너리 인덱스 트리(Binary Indexed Tree, BIT, 펜윅 트리) 10분 정복

최소 공통 조상(Lowest Common Ancestor, LCA) 알고리즘 10분 정복

자료구조: 우선순위 큐(Priority Queue)와 힙(Heap) 10분 핵심 요약

오늘은 ResNet으로 알려진 논문에 대한 리뷰 영상을 준비했습니다. ResNet은 나온 지 5년이 되었으나 최근까지도 많은 논문에서 베이스라인 아키텍처로 비교되고 있을 정도의 좋은 논문입니다. 2020년 기준 인용 수는 약 60,000회입니다. 논문 핵심 요약: 00:00:00 논문 같이 읽기: 00:14:38 코드 실습: 00:39:38 본 논문은 CVPR 2016에서 최우수 논문상을 받았고, 2015년 메이저급 이미지 분류 대회들에서 1등 상을 싹쓸이한 논문이기도 합니다. 이 논문은 수학적인 개념은 많이 없고 이해하기가 쉽다는 장점이 있습니다. 잔여 학습(residual learning) 개념을 이용하여 모델의 최적화 난이도를 낮추어 아주 깊은 네트워크를 이용해도 학습이 잘 이루어질 수 있도록 합니다. 오늘은 논문 요약, 논문 리딩 뿐만 아니라 총 4개의 코드 실습을 포함하고 있습니다. (바로 실행 가능한 Colab 코드를 제공합니다.) * ResNet을 이용해 MNIST 학습하기/평가하기: 5분 만에 99.5% test accuracy 만들어 보기 * ResNet을 이용해 CIFAR-10 학습하기/평가하기 (95% 이상 test accuracy) * (ImageNet) Pretrained ResNet을 이용해 분류해보기 본 시리즈의 동영상에서 사용된 강의 자료(PPT)와 코드는 다음의 깃허브 저장소에 업로드됩니다. https://github.com/ndb796/Deep-Learning-Paper-Review-and-Practice

컴퓨터 공학과를 위한, 최신 논문 찾아 읽는 방법을 정리한 동영상입니다.