Luego de su relevo como Patriarca, a inicios de 1947, el Presidente George Albert Smith instruyó que se siguiera pagando el sueldo al patriarca Joseph F. Smith hasta el mes de Diciembre.

El Patriarca Smith decide ir a vivir a Honolulu con su familia. El 06 de Diciembre de 1947, George F. Richards del Quórum de los Doce, habla con el presidente de misión Hawaii, Ralph Woolley, y le entrega una carta de la Primera Presidencia con instrucciones de no dar ningún llamamiento al ex-patriarca.

Ruth Smith, esposa del patriarca, comenta con John Reese que el relevo de su esposo y su exilio a Honolulu fué debido a sus asuntos homosexuales. La iglesia lo quería lejos de la atención de los miembros. Ruth le comentó la relación del patriarca cuando él era Presidente del Club de Drama de la Universidad con Wallace, el administrador del Club de Drama.

En una carta, el Presidente David O. McKay expresa que el el patriarca nunca fué excomulgado.