Como todo pobre, José morava em uma casa muito simples, construída com paredes de pedras calcárias, com tijolos de barro cozido ao sol. Dormia como era o costume, em esteiras apropriadas para esse fim e sua alimentação era constituída de pão e peixes provenientes do Lago de Genesaré, não distante de Nazaré. Não faltavam também variedades de frutas tais como: romãs, figos e tâmaras. A carne era muito rara na mesa do pobre, mas em compensação havia sempre o azeite, o leite e até o vinho.