放し飼いにすると帰ってこなくなりそうだから未だに外に出すかど…

個人的には、お外に出ずに家で過ごしてもらったほうがいいと思います！
おっしゃる通り外には車や他の動物はもちろん、病気をもらってきたりしてしまう怖さもあります。
また、外に出ている間は猫ちゃんが何をしているのかわかりませんよね。つまり、なにか変なものを食べてしまったりしてもわからないのです。我が家の猫は家の中ですら知らぬ間に平輪ゴムの一部を食べていて驚いたことがありましたから（便で出てきてわかった）、お外に出た暁にはきっともっと大変なものを拾い食いしてしまうでしょう（笑）
なので我が家ではキャットタワーや、カラーボックスなどの収納を組み合わせたりして上下運動をできるようにしたり、お外がみえるよう日当たりの良い窓際にケージを設置したりしてなるべくおうちの中で楽しんでもらえる環境を作る努力をしています。
猫も外に出たがるようなことはほぼないので、満足しているのかなと思いますよ！