自分のハウスはフォローされたくありません。拒否できますか?

現時点ではフォロー・フォロワー機能は招待制となっています。

自分から招待しなければフォローされません。
また、一度招待した人は許可リストに表示されるので、そこから外すことも可能です。