ケージ内にペット用シートを敷いてそこで排便や排尿をするよう躾…

トイレは悩ましいですよね。
うちの子も最初は所かまわずという感じでしたので、家中がペットシートだらけでした。「これではいかん」と一念発起しトイレのしつけのYouTubeを見まくって、試行錯誤の上、今は家の中の決まった所でするようになりましたよ。
その時に心掛けていたのは「叱らない」ことと「ほめてあげる」ことでした。
トイレをしてほしい場所できちんとできたときは「ほめてあげる」。
「ほめてあげる」ときは好きなおやつをあげて、なるべく大げさにオーバーアクションでほめてあげていました。
してほしくない場所でトイレをしてしまったときは反対に何もせずたんたんとシートを取り換えてました。
ほぼ「無視」ですね。
そんなことを1か月ぐらい続けていたらおやつがもらえる場所を覚えたようで、トイレをして欲しい場所でちゃんとトイレをするようになりましたよ。
（ただ場所で覚えているみたいでペットシートがなくてもその場所でしてしまいますけど。）
参考になれば嬉しいです。

時々ケージの外でしてしまうとのことですが、どんな場合でしょうか？

トイレじゃないところで排泄することで、ぽんＱさんにかまってもらえる！と思ってしまっているかもしれないので、失敗した排泄物は何事もなかったかのように片付けることをおすすめします。

うちの子は、病院で注射をした日にトイレじゃないところで排泄したことがあります。
注射がいやだったと主張したのかなと思いました。

こちらが過剰に反応しないことで、おさまってくるように思います。
がんばってみてください。