여하튼, 이제 이것이 왜 문제가 되는지 알아보자.

하나의 이미지를 생각하자. 여기서는

요런 그림

을 생각해 보자. 각각의 그림을 perceptron에게 보여줘서 이 그림이

연결되어 있는지, 아닌지

알아보고 싶다. 요컨대 A나 D같은 경우는 끊어져 있으므로 0을 반환하고, B나 C같은 경우는 연결되어 있으므로 1을 반환하도록 perceptron을 학습시킬 수 있을까? 여기서 약간의 제약을 위해 predicate, 그러니까 깔때기의 수가 충분히 많지 않고(9개라고 하자!), 깔때기의 크기는 좀 작아서 그림을 전부 덮지는 못하며, 각각의 그림을 볼때마다 깔때기를 움직이지 않는다고 하자.

$ S_A = \sum_{group1}w_iP_i + \sum_{group2}w_iP_i + \sum_{group3}w_iP_i  + \theta < 0 $

$ S_A + \Delta S_3 \ge 0 $

$ \Delta S_3 \ge -S_A $

이며, C의 경우에는 마찬가지로 group 1에다가 같은 논리를 적용시키면 된다.

$ S_A + \Delta S_1 \ge 0 $

$ \Delta S_1 \ge -S_A $

이제부터 하이라이트다. 우리의 perceptron은 D를 보게 된다. 얘는 학습되었으므로 반드시 D를 보고 0을 반환할 것이다. 즉 $ S_D < 0 $이어야 한다. 그런데, group1,  group2와 group3은 각각 자신이 C, A와 B를 볼 때와 다름이 없으므로,

$ S_D = S_A + \Delta S_1 + \Delta S_3 \ge -S_A > 0 $

이다. 왜냐면 $ S_A < 0 $이니까.

이는 모순이므로 우리의 perceptron은 불행히도 이 상태로는 이 그림들의 연결성을 알아낼 수 없다. 유일한 대안은 진짜 인간이 연결성을 알아내듯이, sequential 하게 인식하는 방법밖에는 없다.

다시 Perceptrons의 책 표지를 보자. 위와 아래, 둘 중 어느 그림이 연결되어 있는가?

참고