AI

outline motivation convolution operator(2 - dimention) convolution operator(3 - dimention) max/mean pooling operator convolutional neural networks structure of convolutional neural network motivation DNN은 기본적으로 1차원 형태의 데이터를 사용한다. 그렇기 때문에 이미지가 입력 값이 되는 경우, 이것을 flatten 시켜서 one hat-encoding으로 데이터로 만들어야 하는데 이 과정에서 이미지의 공간적/ 지역적 정보가 손실되게 된다. 추가로 추상화 과정 없이 바로 연산 과정으로 넘어가 버리기 때문에 학습시간과 능률의 효율성이 저하된다. 물..

텐서플로우로 시작하는 딥러닝 기초 부스트코스 무료 강의 www.boostcourse.org Package Load import os import time import numpy as np import matplotlib.pyplot as plt %matplotlib inline import tensorflow as tf from tensorflow.keras import layers numpy: Scientific computing과 관련된 여러 편리한 기능들을 제공해주는 라이브러리. matplotlib.pyplot: 데이터 시각화 tensorflow: Tensor Flow를 로드. tensorflow.keras.layers: 모델의 각 Layer들을 만들기 위해 사용. 하이퍼파라미터 세팅 학습에 필요한..

outline Feedforward Neural network Feedforward Backpropagation 순방향 신경망(Feedforward Neural network) FFNN(Feed Forward Neural Network)는 입력에 대한 출력 값을 가장 잘 예측하는 가중치(weights)를 찾는 것이다. 그렇게 하기 위해서는 학습 데이터를 이용하여 출력을 구하고, 출력에 대한 에러를 구한 후 에러가 줄어드는 방향을 찾아 업데이트 해주는 과정을 반복하여 가중치를 찾는다. 위에 그림을 보면 입력 값(x1,x2,...xn)은 가중치(weight)에 의해 가중되고 더해진 뒤 bais가 더해진 후 활성화 함수(activation function)를 거쳐 출력된다. 이후 출력되는 출력 값과 실제 값을..

Regression "Regression toward the mean" 전체 평균으로 되돌아간다. 즉 어떤 데이터들이 굉장히 크거나 굉장히 작은 데이터들이 나와도 결과적으로, 전체적으로 봤을 때 이 데이터들은 전체 평균으로 되돌아가려는 특징을 갖고 있다. Linear Regression 종속 변수 y와 한 개 이상의 독립 변수 x와의 선형 상관관계를 모델링하는 회귀 분석 기법을 선형 회귀라고 한다. 선형 예측 함수를 사용해 회귀식을 모델링하며, 알려지지 않은 변수는 데이터로부터 추정한다. 이렇게 만들어진 회귀식을 선형 모델이라고 한다. 선형은 말 그대로 1차이기 때문에 선형 모델은 일차 모델 즉, 대표적인 일차 방정식인 직선의 방정식을 일컫는다. 그림에서 이 파란색 점들을 데이터를 의미하며, 이 데이터 ..

Suffix trie Suffix tree Definition Construction with Naive algorithm 접미사 트라이(Suffix trie) edge가 문자를 가진 문자열 모음을 가진 그래프를 트라이(trie)라고 한다. 접미사 트라이(Suffix trie)는 접미사 트리(Suffix Tree)의 일반화된 개념이며, 문자열을 저장하기 위한 트리이다. 트라이 구축(trie Construction): O(|patterns|) 패턴 매칭 : O(|Text| * |LongestPattern|) text T(abaaba)의 모든 접미사(루트에서 리프까지)를 포함하는 트리로 예를 들어보자. 접미사 트리(Suffix tree) 접미사 트리(suffix tree)는 주어진 텍스트의 모든 접미사를 포..

Burrows-Wheeler transform (BWT) Transform LF mapping Reversing with BWT Searching with table occurrence and count BWT (Burrows-Wheeler transform) 블록 정렬 알고리즘으로 변환 결과에 Index 정보가 포함되어 있어, 다른 정보가 없더라도 변환된 문자열의 경우 유사한 문자열들끼리 뭉쳐진 형태로 나타나는 경우가 많아 압축을 위한 전처리 알고리즘 동일한 문자를 조합(block-sorting compression) 데이터 압축에 사용(예: bzip2) 압축성을 항상 향상하는 것은 아니다. 변환은 되돌릴 수 있다. 패턴의 위치를 효율적으로 찾다(O|pattern|) 변환(Transform) - ex)..

Markov chain Hidden Markov model characteristics, Difference Model parameters Construction Prediction(Forward, Backward, Viterbi alogrithm) Learning 마코프 체인(Markov Chain) 상태(state)의 확률은 단지 그 이전 관측된 상태에만 의존한다. 한 상태에서 다른 상태로의 전이(transition)는 상태 전이에 대한 긴 이력(history)을 필요로 하지 않고 바로 직전 상태에서의 전이로 추정할 수 있다. 모델 변수(model parameter): 전이 변수(transition parameter) (1) - P(X1, X2, X3, X4) = P(X1) P(X2| X1) P(X3..

Basic concept for probability(Definition and How to calcultate it) Random variable, Joint probability distribution, Joint probability, Marginalization Conditional probability, Bayes rule, Chain rule, Conditionally independent Bayesian networks Characteristics Model parameters Prediction / Inference inference by enumberation by sampling(BN) by variable elimination Learning Bayesian network를 이해를 위..