상자속 이야기들

1. 들어가며

 나를 비롯해서 누구나 마찬가지로 미래를 예측 하고 싶어 할 것이다. 그리고 우리는 그게 정확하든 아니든 언제나 무언가를 예측하면서 살아 갈 수 밖에 없는 것도 사실이다. 대부분의 불안감은 이런 예측에서 부터 시작되는 것 같다. 내가 하는 예측이 맞을지 아닌지에 대한 확신이 들지 않으니 말이다.

 또한 근래 들어 빅데이터도 세계적으로 큰 화두이다. 빅데이터를 이용하여 사람들의 일상을 추적하고 세상을 바꾸고 미래를 예측하는 것이 과연 가능 할까? 그리고 이런 일에 사용되는 컴퓨터의 연산 속도는 날이 갈 수록 빨라지는데 그럼 대체 그 속에서 인간이 할 수 있는 일은 무엇일까?

 과연 미국 대선 결과를 모두 맞혔다는 이 분야에서 유명한 저자가 책을 통해 우리에게 하고 싶었던 이야기는 무엇이었을까?

2. 책의 주요 내용

 책은 여러가지 내용들과 이슈들을 보여주며 예측이라는 것을 소개한다. 그리고 그속에서 정확한 예측을 방해하는 요소 그러니까 어떠한 소음들이 있어 우리의 정확한 예측을 방해하는지 소개시켜준다.

 주제가 참 다양하다. 경제, 정치, 야구, 기상, 지진, 전염병, 체스, 포커, 지구 온난화, 테러, 주식도 나온다. 세계에 정보의 양은 몇단계를 거치면서 폭발적으로 늘어나기 시작했다. 인쇄술이 발달하기 전에는 정보나 지식 같은 것은 구전이 되거나 돈과 시간을 들여 필사를 하거나 해야 했다. 그래서 정보나 지식의 유통량이(신호) 적기는 했지만 그만큼 소음도 적었다. 그런데 인쇄술이 발달하기 시작하면서 책을 편찬하는 비용이 획기적으로 줄어들었고 인터넷이 보급되자 정보의 양은 그야 말로 폭발적으로 증가하기 시작했다. 그러나 여전히 가치있는 정보(신호)는 적은 대신 소음이 더 폭발적으로 늘었다.

 내가 이렇게 글을 쓰고 있는 것도 다 인터넷의 보급 때문이 아니겠는가. 돈이 거의들지 않는 장점 덕분에 그저 조금의 시간을 투자하여 누가 읽을지 안 읽을지도 모를 지금 이 글을 쓰고 읽는 사람들도 얼마나 가치가 있을지에 대한 확신도 없이 이 글을 클릭하여 보고 있을지도 모르겠다. 지금은 클릭 한번으로 전국 아니 전세계에 글을 올릴 수도 있지만 책으로 펴 낼려고 했으면 수만부는 찍어야 했을 것이고 만약 과거였다면 나 혼자 글을 쓰고 아무도 배껴쓰지 않아 이 글이 집 밖으로도 나돌지 못 할 가능성이 매우 컷을 것이다.

 다시 본론으로 돌아와서 이런 것들 때문에 늘어난 정보속에 수많은 소음과 신호가 혼재되어 점점 구분하기가 어려워 지고 있다.

 책은 우리의 예측을 방해하는 요소들을 몇 가지 소개하고 있다.  '과잉적합', '인지편향', '대세추종' 등 이외에도 많은 것들이 소개 된다. 책을 읽고나니 이런 일들이 우리 주변에 얼마나 흔히 일어나는지 느낄 수 있었다. 회사에서도 그저 높으신 분들의 말이 옳다고 따르고 (뭐.. 여기에는 귀찮음이란 요소가 굉장히 큰 것은 같지만 말이다.) 주식을 사놓고 가격이 떨어지거 오를때 판단을 제대로 하지 못하고 미루기도 한다.

 그럼 대체 예측의 정확도를 높이는 방법은 무엇이란 말인가?

 저자는 이 부분에서 베이즈주의를 꺼내든다. 간단하게 후려쳐서 정리하자면 어떤 사건이 발생 할 확율을 사전에 정한 후 예측하는 사건에 관한 정보가 추가 되거나 변화가 있을 경우 확율을 계속적으로 수정해나가야 한다는 것이다. 일견 굉장히 쉬운 소리를 하고 있는 것 같지만 사실 우리는 이런 것에 익숙해져 있지 않다. 우리의 삶은 떨어지는 사과와 같이 눈에보이는 물리법칙에 익숙해져 있지 눈에보이지 않는 확율의 세계에 익숙해져 있지 않기 때문이다. 얼마나 많은 사람이 내가 취업에 성공할 확율과 실패할 확율 따위를 생각하며 살겠는가?

3. 마무리

 일단 책이 굉장히 두껍다. 만약 이북으로 나오지 않았다면 살지 말지 굉장히 고민했을지도 모를 책이다. 그리고 굉장히 실용적인 책이다. 책을 한번만 읽고 얼마나 이해했을지 확신을 할 수는 없지만 말이다. (아무래도 한번 더 읽어야 겠다.)

 서두에서도 말했듯이 세계적으로 빅데이터가 큰화두이다. 통신기술, 컴퓨터가 더욱더 발달하고 IOT 까지 우리의 일상 속에 들어와 완전히 자리가 잡는다면 또 다시 정보의 양이 폭증할 것이다. 나의 한걸음 한걸음이 데이터로 축적 될 지도 모를 일이다. 그러나 이 속에서 신호를 잡아내지 못하고 소음만 긁어 내고 있다면 여전히 아무런 소요없는 쓰레기 더미가 될지도 모른다. 대체 그 속에서 신호를 어떻게 잡아내야 할까 라는 물음에 대해 세상을 바라보는 새로운 눈을 가지게 해주는 책이 아닐까 한다.