La probabilidad de que un miembro de esa población cambie de un estado e₁ a otro e₂ vendrá dada por un número comprendido entre 0 y 1. Siendo 0 una probabilidad nula de cambio y el 1 supone un cambio seguro del estado e₁ a e_2. Podemos representar estas probabilidades de transición mediante una matriz como sigue:

Del estado...

Por ejemplo, la probabilidad del cambio del estado e₁ al e₂ viene dada por p₂₁.

De igual manera p₁₁ es la probabilidad de pasar del estado e₁ al mismo e₁, es decir de quedarse en el mismo estado.

p₁₂ representa la probabilidad de pasar del estado e₂ a e_1.

p_n1 es la probabilidad de cambiar de e₁ a e_n

Y p_nn representa la probabilidad de no cambiar de e_n a otro estado.

Esta matriz, que representa las probabilidades de transición de un estado a otro de los miembros de una población, se llama matriz de probabilidades de transición y para interpretarla tienes que hacerlo fijándote en que es una tabla de doble entrada. En horizontal colocamos los estados actuales y en vertical los estados a los que se puede pasar y ya no nos queda sino colocar las probabilidades de transición de un estado a otro para rellenarla.

Como las probabilidades de transición de un estado a otro oscilan entre 0 y 1, todos los elementos de la matriz de probabilidades de transición están entre estos dos valores. Además, fíjate en las columnas, las probabilidades de transición, por ejemplo del estado e₁ a todos los demás posibles, están reflejados en la columna 1, con lo cual la suma de todos los valores de esta columna tiene que ser igual a 1 (la suma de las todas las probabilidades posibles). Lo mismo ocurre en el resto de las columnas.

De las dos aseveraciones anteriores obtenemos la definición de matriz estocástica (estocástico significa "hábil en conjeturar"): es una matriz en la que todos sus elementos tienen un valor comprendido entre 0 y 1. Además la suma de los elementos de cada columna de una matriz estocástica es igual a 1. Fíjate que se tienen que cumplir las dos condiciones y no basta con una sóla.

Por lo tanto, podemos concluir que la matriz de probabilidades de transición es una matriz estocástica.

Para enfrentarnos a los problemas que vienen a continuación también tenemos que saber a qué llamamos matriz de estado. Dicha matriz representa el estado actual de la población en cada uno de los estados posibles. En el ejemplo inicial de los fumadores, si nos dicen que la población total de estudio son 10000 personas, que hay 5500 no fumadoras, 3000 que fuman una o menos de una cajetilla y 1500 que fuman más de una, la matriz de estado es la siguiente:

Continuaremos ahora con el estudio de un caso práctico.