#title Entropy

정보 이론의 엔트로피..

http://blog.acronym.co.kr/m/433

{{{
x <- 1/8
ep <- -x * log(x, base=2) * 8
ep
}}}

예를 들어, 모두의 마블 팀전을 10판했다. 일반적으로 생각했을 때 승은 좋은 경험이고 패는 나쁜 경험일 것이다. 팀전의 경우 10판 했으면 5판 정도는 승리를 할 것으로 기대하지만 10판 모두 패배했다고 하면 나쁜 경험을 계속하게 될것이고 이런 스트레스를 견디지 못하는 고객들은 이탈할 것이다. 즉, 경험에 대한 기대하는 바가 있을 테고, 그 기대하는 바를 충족시켜주지 못한다면 조정이 필요한 부분이다. 

물론 10판 했는데 10판 모두 승리한 것도 좋은 경험은 아니다. 이는 전혀 ‘놀라움’이 없다. ‘놀라움’의 측정은 Entropy가 적당하다. 승률의 경우 50%가 Entropy가 가장 높다. 즉, 이상적인 승률 분포는 평균 50%의 정규분포다.

{{{
buys <- c("no", "no", "yes", "yes", "yes", "no", "yes", "no", "yes", "yes", "yes", "yes", "yes", "no")
freqs <- table(buys)/length(buys)
ep <- -sum(freqs * log2(freqs))
ep
}}}