Entropía
Me puedes ayudar a saber que representa el bit en en Teoría de la Información en el tema de la Entropía ya se que es la unidad de este sistema, pero ese 1 que aparece en el resultado del ejemplo que relación tiene con la probabilidad de caer cara sea 50% y que salga cruz 50%
Este ejemplo viene en internet
El lanzamiento de una moneda al aire para ver si sale la cara o cruz (dos estados con probabilidad igual a 0.5) tiene una entropía:
H=0.5*log2(1/0.5)+0.5*log2(1/0.5)=.05*log2(2)+0.5*log2(2)=0.5+0.5= 1 bit
Este ejemplo viene en internet
El lanzamiento de una moneda al aire para ver si sale la cara o cruz (dos estados con probabilidad igual a 0.5) tiene una entropía:
H=0.5*log2(1/0.5)+0.5*log2(1/0.5)=.05*log2(2)+0.5*log2(2)=0.5+0.5= 1 bit
3 respuestas
Respuesta de natitanavita
1
Bueno la verdad no manejo el tema pero según leí y entendí es pura probabilidad aplicada a la entropía, esta entropía esta dada entre 0 y 1 siendo este un intervalo 0<H<1 ahora veamos el ejemplo que tu pones, cuando lanzas una moneda tienes dos posibilidades una que caiga cara y otra que caiga sello sindo como tu dices un 50% cara y el otro 50% sello segun la formula que encuentras en wikipedia
http://es.wikipedia.org/wiki/Entrop%C3%ADa_(información) en la parte dedefinicion formal se tiene que
H=p*log(a)(1/p) - p*log(a)(p)
p = probabilidad que pueda caer ( 0.1, 0.2, 0.3,...)
a = Numero de posibilidades (2, 3, 4...)
por esto p = 0,5 a=2 para tu ejemplo
para un dado:
La probabilidad que se tiene para que salga un numero es de 1/6, o sea 0,166 * 100 = 16,6% a esto son 6 caras entonces se tiene:
Digamos que queremos saber cual es la entropía de obtener uno de ellos entonces
H=0,16*log6(1/0,166) - 0,16 log6 (0,166) = 0,32
la entopia que tu me dices arriba seria la entropia total
para meter en la calculadora, lee las propiedades de los logaritmos, ok, cuidate y espero que te ayude en algo, cuidate
http://es.wikipedia.org/wiki/Entrop%C3%ADa_(información) en la parte dedefinicion formal se tiene que
H=p*log(a)(1/p) - p*log(a)(p)
p = probabilidad que pueda caer ( 0.1, 0.2, 0.3,...)
a = Numero de posibilidades (2, 3, 4...)
por esto p = 0,5 a=2 para tu ejemplo
para un dado:
La probabilidad que se tiene para que salga un numero es de 1/6, o sea 0,166 * 100 = 16,6% a esto son 6 caras entonces se tiene:
Digamos que queremos saber cual es la entropía de obtener uno de ellos entonces
H=0,16*log6(1/0,166) - 0,16 log6 (0,166) = 0,32
la entopia que tu me dices arriba seria la entropia total
para meter en la calculadora, lee las propiedades de los logaritmos, ok, cuidate y espero que te ayude en algo, cuidate
Creo que se mide de 0 a 1 este indice
Mi pregunta es que significa si tengo un .99 o si tengo un .01
Mi pregunta es que significa si tengo un .99 o si tengo un .01
Es la probabiidad según la entropía que estos sucesos puedan ocurrir
Siendo 1 lo más probable y 0 lo menos probable
Respuesta de ronald1987
1
raicard97430"...
Mira... Lo que tú tienes en tu problema es un resultado expresado en "bit"... y ¿por qué? dirás... Pues sencillo. Para facilitar las posibilidades de los resultados de un experimento. Se llama bit porque trabaja en sistema binario. Y como tal, sólo tiene dos valores: 0 y 1. Sólo hay esas dos posibilidades! No hay más!
Por lo tanto, y viendo tu problema, al lanzar una moneda al aire para ver si sale cara o cruz, su probabilidad es 1 (en sistema binario)... Lo que te indica que ha salido una respuesta: o bien cara o cruz. Si hubiese salido 0 bit... también indicaría lo mismo.
Por otro lado, una interpretación más matemática diría que sale 1 porque de cualquier forma siempre va a salir cara o cruz... no hay otra posibilidad. Es una CERTEZA (1) que saldrá la cara o la cruz...
Pero tu problema no va por este lado supongo... así que lo anterior responde largamente tu pregunta.
Espero haberte ayudado. Me cuentas tus impresiones y no olvides finalizar la pregunta.
Mira... Lo que tú tienes en tu problema es un resultado expresado en "bit"... y ¿por qué? dirás... Pues sencillo. Para facilitar las posibilidades de los resultados de un experimento. Se llama bit porque trabaja en sistema binario. Y como tal, sólo tiene dos valores: 0 y 1. Sólo hay esas dos posibilidades! No hay más!
Por lo tanto, y viendo tu problema, al lanzar una moneda al aire para ver si sale cara o cruz, su probabilidad es 1 (en sistema binario)... Lo que te indica que ha salido una respuesta: o bien cara o cruz. Si hubiese salido 0 bit... también indicaría lo mismo.
Por otro lado, una interpretación más matemática diría que sale 1 porque de cualquier forma siempre va a salir cara o cruz... no hay otra posibilidad. Es una CERTEZA (1) que saldrá la cara o la cruz...
Pero tu problema no va por este lado supongo... así que lo anterior responde largamente tu pregunta.
Espero haberte ayudado. Me cuentas tus impresiones y no olvides finalizar la pregunta.
Respuesta de ricardor8
1
La teoría de la información no es mi área, te puedo hablar del significado termodinámico de la entropía.
Te puedo dar mi humilde opinión extrapolando hacia lo que me indicás en tu expresión, vos tienes dos posibilidades al arrojar la moneda (cara o cruz), equivalentes, 50 y 50%, para no perder información del evento, en el que pueden ocurrir dos cosas igualmente probables vos necesitas un bit (0 y 1) llámale 0 a cara y 1 a numera, o al revés. Creo que eso te quiere indicar el bit en la fórmula que me pones.
Te puedo dar mi humilde opinión extrapolando hacia lo que me indicás en tu expresión, vos tienes dos posibilidades al arrojar la moneda (cara o cruz), equivalentes, 50 y 50%, para no perder información del evento, en el que pueden ocurrir dos cosas igualmente probables vos necesitas un bit (0 y 1) llámale 0 a cara y 1 a numera, o al revés. Creo que eso te quiere indicar el bit en la fórmula que me pones.