이제라도 기록하기

해당 포스팅은 책을 기준으로 하며, 공부 기록 목적으로 작성되었습니다. 기울기 모든 변수의 편미분을 벡터로 정리한 것을 기울기라고 한다. 기울기는 다음과 같이 구현할 수 있다. def numerical_gradient(f, x): h = 1e-4 # 0.0001 grad = np.zeros_like(x) # x와 형상이 같고 모든 원소가 0인 배열을 생성 for idx in range(x.size): tmp_val = x[idx] # f(x+h) 계산 x[idx] = tmp_val + h fxh1 = f(x) # f(x-h) 계산 x[idx] = tmp_val - h fxh2 = f(x) grad[idx] = (fxh1 - fxh2) / (2*h) x[idx] = tmp_val return grad 넘파..

해당 포스팅은 책을 기준으로 하며, 공부 기록 목적으로 작성되었습니다. 학습이란 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 뜻한다. 손실 함수는 신경망이 학습할 수 있도록 해주는 지표로 손실 함수의 결괏값을 가장 작게 만드는 개중치 매개변수를 찾는 것이 학습의 목표이다. 데이터에서 학습한다! 신경망의 특징은 데이터를 보고 학습할 수 있다는 점이고 학습한다는 것은 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다는 의미이다. 데이터 주도 학습 기계학습은 데이터에서 답과 패턴을 찾고 데이터로 이야기를 만드는 것이기 때문에 그 중심에는 데이터가 존재한다. 기계학습에서는 사람의 개입을 최소화하고 수집한 데이터로부터 패턴을 찾으려 시도한다. 신경망과 딥러닝은 기존 기계학습에서 사용하..

해당 포스팅은 책을 기준으로 하며, 공부 기록 목적으로 작성되었습니다. 퍼셉트론은 복잡한 함수도 표현할 수 있다는 장점이 있지만, 가중치를 사람이 수동으로 설정해야 한다는 단점이 있다. 신경망은 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습하는 능력이 있어 퍼셉트론의 단점을 해결해 줄 수 있다. 퍼셉트론에서 신경망으로 아래 그림에서 볼 수 있듯이 가장 왼쪽 줄을 입력층, 맨 오른쪽 줄을 출력층, 중간 줄을 은닉층이라고 한다. 은닉층의 뉴런은 사람 눈에 보이지 않고 '은닉' 되어 있다. 책에서는 입력층, 은닉층, 출력층을 0, 1, 2층이라고 한다. 퍼셉트론 복습 그림 3-2는 두 신호를 입력받아 y를 출력하는 퍼셉트론이고, 식으로 표현하면 식 3.1이 된다. 식에서 나온 편향, b까지 그림에 ..

해당 포스팅은 책을 기준으로 하며, 공부 기록 목적으로 작성되었습니다. 퍼셉트론 퍼셉트론은 프랑크 로젠블라트가 1957년에 고안한 알고리즘으로 신경망(딥러닝)의 기운이 되는 알고리즘이다. 퍼셉트론이란? 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력하는 방식으로 구성되며 아래의 그림은 입력으로 2개의 신호를 받은 퍼셉트론의 예시이다. x는 입력 신호, y는 출력 신호, w(weight)는 가충치를 뜻하고, 원은 뉴런 혹은 노드라고 부른다. 수식으로 나타내면 다음과 같다. 출력 신호가 정해진 합계를 넘어설 때에만 1을 출력한다. 식에서는 임계값이 곧 theta이다. 단순한 논리회로 AND 게이트 AND 게이트의 진리표를 작성하면 다음과 같다. AND 게이트는 두 입력이 모두 1일 때만 1을 출력..