[네이버 AI 부스트캠프 5기] 20230307 2일차

네이버 부스트캠프의 두번째 날이다! 오늘도 마찬가지로 피곤하지만, 어제보다는 조금 적응된 것 같다.

학습

이제 기본 문법은 다 사라지고 AI 수학만 남았다.. 어제 보던 경사하강법을 마저 다 보고 퍼셉트론과 같은 딥러닝 학습 방법과 함께 확률론에 대해 공부하였다. 난생 공부할 일 없던 삼각함수가 조금씩 등장하기 시작했다. 그것도 일반 삼각함수도 아니고 이상한 녀석들이다. 거기다 자연상수?까지 함께 나타났다. 이 놈들과 친해져서 미분도 해야 한다!

하지만 오늘은 크게 어렵지 않았다. 다항식 미분이야 맨날 했던거고, 모르면 검색해서 알아가면 되는거고.. 앞으로 어떤 녀석들이 나올지가 문제다.

딥러닝 학습방법으로 선형모델을 사용하기에는 복잡한 상황에 대한 정확도가 떨어져 무리가 있다. 선형이라는 단어 자체가 linear, line과 관련한 것이니까 당연히 고차원의 데이터를 해석하면 문제가 생길 것이다. 그래서 사용하는 것이 비선형모델인 인공신경망이다. 그리고 인공신경망의 키워드가 활성함수이다. 활성함수는 비선형함수로, 이를 활용하지 않은 딥러닝은 선형모형과 차이가 존재하지 않는다. 활성함수의 예시로는 시그모이드 함수, tanh(hyperbolic tan) 함수, ReLU 함수가 있다. 앞의 두 함수는 전통적으로 많이 쓰이던 친구들이고, ReLU는 딥러닝에서 많이 쓰는 함수이다. 신경망은 이 활성함수를 선형모델과 합성한 함수이다.

신경망을 두개 쌓으면 2층 신경망, 그 이상이 되면 다층 퍼셉트론이라고 부른다. 이론적으로 2층 신경망으로도 목표 함수를 근사할 수 있지만, 이론은 아주 이상적이다. 현실에는 그렇지 않은 상황이 많기에 다층 퍼셉트론이 필요하다. 층이 여러개 쌓이면 효율적인 학습이 가능하지만, 당연히 구조는 훨씬 복잡해진다.

다음으로 나오는 것은 순전파(Foward Propagation)와 역전파(Back Propagation) 알고리즘이다. 간단하게 순전파는 식을 계산하는 것이고, 역전파는 검산하는 것이라고 볼 수 있는 모양이다. 검산을 통해 오차를 조절하여 다음 계산을 더욱 잘 할 수 있도록 돕는 느낌이랄까. 이게 딥러닝의 학습 방법인듯. 순전파와 역전파에 대해 더 자세히 공부해야겠다.

그 이외에는 확률론, 통계학에 대해 공부했는데 확률론은 좀 괜찮더니 통계학은 무슨 수식만 수십줄이 나와서 참 힘들었다. 최대 가능도, 라그랑주 승수법, 쿨백-라이블러 발산 같은 용어들이 튀어나왔다. 여러번 보면서 이해하겠다는 생각으로 들어야지. 다른 캠퍼들은 이걸 다 이해하면서 듣는걸까.. 그래도 1주일이면 다 이해할 수 있지 않을까 하는 긍정적인 생각도 가져본다 ㅎㅎ

피어 세션

어색하다 :) 그래도 뭐 아직 8주나 함께 해야 하니까 점점 괜찮아지겠지. 사람이랑 무슨 말을 할지 고민한게 신입생 시절 이후로 처음인 것 같다. 한 캠퍼분의 말대로 FEAR SESSION일지도. 같이 코테 한 문제 풀기도 했는데 뭔가 대화할 주제가 있으니까 조금 희망이 보였다! 다른 사람 풀이를 보니까 도움도 되고, 코테 풀기는 좋은 선택인 것 같다. 다들 어떤 주제의 대화를 좋아하는지 모르겠지만.. 내일은 더 주도적으로 이야기를 해보자.

후기

사실 첫날보다 조금 멍때리는 시간이 있었다. 사람이 어떻게 9시간을, 중간에 점심시간이 한 시간 있으니 8시간이지만, 어쨌든 그 시간 내내 공부를 할 수 있는건지 모르겠다. 그래도 최대한 많은 시간을 사용할 수 있도록 노력해야겠다. 하루 세끼 먹고 공부하고.. 평생 이렇게 안 살다가 지내니 좀 힘들긴 하지만 실패는 있어도 포기는 없는거다. +++ 밤에 운동도 다녀야지..