01. 딥러닝의 개념( 딥의 역사, 활용도 )

딥 러닝은 머신러닝과 비슷하 개념이다 

사실 딥러닝의 큰의미가 머신러닝이고 머신러닝의 큰의미가 인공지능이다.

인공지능 > 머신러닝 > 딥러닝

그중에서도 우리느 딥러닝을 공부 해보자. !! 

역시 김성훈 교수님의 강의를 듣고 정리 할것이다.

딥러닝이 나온 기본적인 이념은

우리대신 어려운 일들을 생각해내고 해결해주는 머신을 만들자! 이다.

위의 사진을 보면 뇌의 구조와 뇌가 어떤식으로 작동되는지 알 수 있다.

뇌는 복잡하게 뉴런들로 연결되어 있다.

하지만 뉴런들은 생각보다 간단하게 작동하는대.

input 의 신호를 받아서 받은 신호들을 합쳐서, 

 그 합친 값들이 어느 이상이 되면 활성화, 아님 비활성화

로 작동한다.

그래서 충분히 알고리즘으로 나타낼 수 있다고 믿었다.

뉴런의 과정을, 알고리즘으로 나타낸 것이다. ( 머신러닝에서 사용한 그 알고리즘!)

이런식으로 값들을 잘 연결해주면 인공지능이 가능 하다 라고 생각!

그결과...

1950년대에 하드웨어적으로 만들어 졌었다.

(세상 충격.. 이떄 우리나라는...) 

위 하드웨어적 인공지능이 가능하다고 생각 했던 것이 or, and 를 가지고 

linearly 한 선으로 나눌수 있다고 생각 했기 떄문..

하지만!!!

한가지 문제에 직면하자 모든것이 물거품이 된다.

xor 연산을 하지 못한다는 것이다.

이당시에 어떤 방법을 사용해도 linearly 한 선으로 xor 연산을 나눌수가 없었다.!

그래도 사람들이 계속 도전을 하고 있었으나..

1969년 민스키 교수가 수학적으로 xor 은 불가능 하다고 증명을 해버렸다..

하지만 여러개의 머신을 가지고 하면 가능은 할 수 있다고 말은 하지만

이당시에는 불가능 했다.

그러자 대부분의 사람들이 인공지능은 허황된 꿈 이라고 생각

// 인공지능의 발전을 최소 10년 늦추는 계기가 된다고 현재 생각한다고 한다.

그러다 1974년 Werbos 교수가 논문을 낸다 xor 역시 학습이 가능하다고

하지만 대부분의 사람들은 무시되었다가 82년에  논문이 채택되었지만...

그마저도 무시..

그러다가 히스톤에 의해 82년 다시한번 똑같은 개념의 논문이지만

이떄 사람들의 이목을 다시 끌게된다.

방법은 학습된 결과값의 에러라면 다시 되돌아가는 방법으로 처음의 값을 변경하는 방식이다.

동시에 다른 방법을 생각한 교수도 있었다.

고양이의 뇌를 이용한 방법이었는대

방법은 고양이에게 그림을 보여주고 뉴런의 변화를 관찰했다

그결과 고양이는 그림을 판단할때 부분부분 의 그림을 판단하고

나중에 합쳐서 그림을 판단하는 것을 알아냈다.

즉

큰 그림을 나눠서 학습하고

다시 나눠진 것들을 합쳐서 결과를 도출해 내는 방식!

뉴럴 네트웤의 발견이다.

위와 같이 A 라는 것을 나눠서 학습한후

나중에 다시 합쳐서 결과를 내는 방식

완벽할 것만 같았던 이방법에도 큰 문제가 있었다.

바로 나누는 과정이 많아지면 에러가 났을떄 돌아가는 과정도 많아지기 떄문에

w 의 값이 희석되어 결국은 학습률이 더 떨어진다는 것이다.

( 되돌아 가는 과정에서 w 의 값이 더 안좋아짐)

그래서 다시한번 사람들에게서 침체기를 맞음.....

사람들이 이제는 뉴럴 네트웤 이라고 하면 논문조차 보지 않은 수준이 되었다.

하지만 히스톤 교수는 포기하지 않았지만... 지원을 해주는 회사가 없었다.

그러다가 나온 단체 CIFAR (발음 주의) 에서 히스톤을 밀어준다고 했다 ( 캐나다)

//현재 딥러닝이 나온 계기 또한 딥러닝 프로그래머가 대부분 캐나다 출신이다.

드디어 2006년, 7년에 히스턴, 벤기오 교수가 논물을 냈다 (C 단체에서 연구하여)

2006 : 각각의 w값을 초기값을 잘못주었다, 초기값을 잘만 준다면 학습 가능하다!

2007:신경망을 잘 구축해서 실제로 보여줌 

그리고 사람들이 뉴럴 네트웤이라면 기피 하니깐

이름을 변경해서 논물을 냈다

바로 deep net or Deep Learning

딥러닝이 최고가 된 시점은 바로 이미지 넷이라는 회사에서

이미지를 보여주면 컴퓨터가 그이미지에 대한 정보를 찾아내는 프로그램을 만들었다.

처음에 딥러닝을 사용전에 26프로라는 오차율을 보여주었지만,

 

딥러닝을 이용하자 15프로라는 어마어마한 수치를 보여주었다가.

하지만 아직까지 부족( 하지만 사람들은 딥러닝에 대해 관심을 가짐 , 10% 오차율은 엄청나게 크기 떄문)

그러다가 2012 년에 뉴럴네트웤 개념까지 사용하자 수치가 더더욱 떨어지더니

2015년에는 사람을 능가하는 수준을 보여주었다!!

현재는 API Learning 이라고 해서

자연어를 처리해주는 수준 까지 오게 되었다 

( 원래 20% 대 성공률에서 ,딥러닝 사용후 65% 성공률을 보여줌)

이것이 딥러닝의 출현, 그리고 기본개념 이다.

딥러닝은 그밖의 많은 곳에서 사용중이고, 사용될 것이다.

( 내가 공부하는 이유!)