しかし、これらが発行されないときはどうしたらいいのでしょうか？

入管のHPには入国後間もない場合や転居等により，お住まいの区役所・市役所・役場から発行されない場合は，最寄りの地方入国管理官署にお問い合わせ下さい、とあります。

実際に問合せてみました。

源泉徴収票または直近３か月の給与明細書

を所得を証するものに代えて提出してください、とのこと。

通帳などでも給与振込を証明することはできそうですが、受け付けていないのが現状のようです。
所得証明書はその年の１月１日に住所があった市町村から発行してもらえます。

（つけたし）
所得証明書は少々ややこしいのでこの際まとめてみました。
１．どの期間の所得を証明してもらえるのでしょうか？
　　前の年の1月1日から12月31日までの所得を証明します。
２．発行される時期はいつでしょうか？
　　6月1日以降です（大阪市の場合、他の市町村でも大方６月中のようです。）
　　つまり、6月1日以降にその前の年1年間の所得の証明書が発行されます。
３．引っ越したらどちらの市役所に請求したらいいでしょうか？
　　1月1日に住所があったところの市役所に請求します。

この他細かいことは大阪市のホームページが役にたちます。
https://www.city.osaka.lg.jp/zaisei/page/0000071330.html