본문 바로가기


인공지능

[딥러닝] 교차 엔트로피 오차 이해하기 손실 함수를 사용 하는 목적 손실 함수의 값 측 '오차' 를 경사 하강법을 통해 줄여 내기 위한 목적 함수에 집착하는 이유는 미분을 하기 위함 그냥 정확도는 상수가 되어 미분하면 0이 되기 때문에 업데이트 용으로 사용할 수가 없다. 엔트로피(Entropy) 무질서의 정도, 놀람의 정도 열역학 에서의 엔트로피 엔트로피는 열역학 개념에서는 유용하지 않은 에너지의 흐름을 설명할 때 사용하는 용어 정보이론에서의 엔트로피 확률 또는 확률 밀도가 특정 값에 몰려 있으면 엔트로피가 작다고 하고 반대로 여러가지 값에 골고루 퍼져 있다면 엔트로피가 크다고 한다. 주사위가 윷놀이의 윷 보다 높은 엔트로피를 가진다. ⇒ 윷놀이 중 윷이 될 확률보다 개나 걸이 될 확률이 높다 즉 값이 균등하지 않지만 주사위는 균등하게 1/6..
[DL] Deep Learning 시작하기 Google colab 연동 딥러닝 공부를 시작했다. 300만원이지만 GPU 없는 망할 맥북 프로 16인치에는 GPU 가 탑재 됐다고 한다. 무튼 내 노트북에는 GPU 가 없기 때문에 공부에 방해가 될 수 있지만 우리는 구글 코랩으로 이겨낼 수 있다. 1. 구글 코랩접속 https://colab.research.google.com/ 코랩이 뭐에요? 구글 코랩이 뭐냐면 클라우드 기반의 주피터노트북 개발환경이다. 나처럼 딥러닝 입문자들은 사실 주피터가 뭔지도 모르니까 간략하게 찾아본 대로 설명을 하면 웹브라우저 내에서 코드구현을 하고 실행까지 해볼 수 있는것이고 .ipynb 확장자로 되어있다. colab 으로 직접 저 파일을 열어서 확인해보면 어떤 환경인지 이해가 되는데 마치 워드처럼 코드를 작성하지만 그안에서 실행이 된다 그것도 GP..