家族以外が家に来ると走り回った後、飼育小屋の中に勢いよく潜り…

家族以外が家に来ると走り回った後、飼育小屋の中に勢いよく潜り込みます。
知らない人に対して警戒や怯えているのはわかるのですが、普段見せないくらいの勢いで逃げ込むので少し不安です。
何度かあったことのある人でもダメです。
特に無理して構ったりするわけでもないのですが、いなくなるまで小屋の中から出てきません。
人懐っこく、というのは望みませんが人馴れさせるために何か方法はないでしょうか。