크루저의 쉼터

오늘은 Coursera에서 학습한 YOLO와 그와 관련된 알고리즘을 정리한다. Object Detection 또는 Localization 문제를 해결하기 위해, 간단한 접근 방법으로는 다음과 같을 것이다. 이미지의 일부분을 crop 한다. 미리 학습된 classifier을 적용한다. 그래서 classifier가 object를 인식하면, 그 박스가 하나의 bounding box가 되는 셈이다. 하지만 이러한 접근은 연산적으로 비싸다. 그 이유는 다음과 같다. 다양한 크기로 crop 해야 한다. 이미지 전체를 일정 보폭으로 crop 하면서 predict 해야 한다. 만약 이 접근(Sliding Windows Detection)이 영상 문제에 사용된다면 성능이 매우 나쁠 것이다. Andrew Ng 교수님은 위..

머신러닝과의 첫 만남 대학원의 인공지능 분야에 진학하기 위해, 나는 코세라의 머신러닝, 뉴럴 네트워크에 대한 강의를 듣기로 결심했다. 그리고 한 달 좀 넘는 시간 동안 앤드류 응 교수님의 머신러닝 수업과 심층 코스 중 미니 수업 2개를 수료했다. 대학시절부터 계속 인공지능이 중요하고 매우 인기 있는 분야라고 들었지만, 직접 공부한 것은 이번이 처음이었다. 그래서 혹시 머신러닝을 처음 공부하는 분, 결심한 분을 위해 이 분야의 느낌을 본문 전에 작성하려고 한다. 강의를 듣고서, 슬픈 사실이지만 나는 머신러닝, Neural Network는 정말 피곤한 분야라고 느껴졌다 (그렇다고 흥미롭지 않다는 의미는 아니다). 나는 인공지능이면 이미지 classify도 슉슉 되고 무언가 놀라운 분야라고 생각했는데 실제로 ..

오늘은 인코더, 디코더, 멀티플렉서, 디멀티플렉서에 대해 알아보자. 이 네 개는 모두 Combinational Logic, 즉 입력에 의해 출력이 결정되는 회로들이다. 인코더와 디코더? 인코더는 2의 n승 비트의 입력을 n비트로, 디코터는 n비트의 입력을 2의 n승 비트로 출력한다. 그런데 슬픈 사실은 저렇게 암기했는데 실제 입력과 출력의 truth table을 그려보려고 했더니... 기억이 나지 않았다. 인코딩과 디코딩의 핵심은 1이 발생한(할) 위치를 나타낸다는 점이다. 예를 들어 8bit 입력과 3bit 출력이 있다고 하자. 그러면 0번째 입력에 1이 들어오면 000 1번째 입력에 1이 들어오면 001 2번째 입력에 1이 들어오면 010 3번째 입력에 1이 들어오면 011 ... 디코더는 이의 역으..

참고 교재: Digital Design with RTL Design, VHDL, and Verilog (Frank Vahid) 논리회로 과목은 디지털 공학, 디지털시스템설계와 거의 동일한 과목으로, 부울 대수, 잘 알려진 회로 (Adder, Mux, Encoder와 같은 회로), Finite State Machine과 이의 Sequential Logic 구현 등을 학습하게 된다. Q. 진리표란? 진리표를 다루기 전에, 부울대수, 부울 함수를 살펴보자. 부울 대수에는 참과 거짓(1과 0) 값을 사용하며, 이에 대한 논리적 연산이 존재한다. 부울 함수는 input과 output이 모두 부울 값인 함수이다. 예를 들어, F(Y, Z) = Y + Z와 같은 부울식(boolean expression)을 갖는 부울..

오늘은 뉴럴 네트워크의 중요한 개념 forward propagation과 backward propagation을 정리하려고 한다. 뉴럴 네트워크의 학습 과정을 간단히 설명하면 (regression algorithm과 비슷하게) 파라미터 W, b (또는 Theta)를 이용하여 각 레이어의 activation과 loss를 계산하고, gradient descent 기법을 적용하기 위해 파라미터들의 partial derivative를 구하게 된다. (그리고 learning rate에 따라 파라미터를 업데이트할 것이다) 여기서 W, b를 이용하여 각 layer의 activation 값 (a), 마지막 prediction 값(y hat), 그리고 loss (cost)를 구하는 과정이 forward propagati..