отношения с гражданским мужем

Здраствуйте! я переехала вместе со своим гражданским мужем в другой город, он переезжать не хотел, но поехал за мной. При каждом удобном случае приезжает в родной город и живет в моей квартире с моей взрослой дочерью. Дочери это не нравится, по хорошему я ему объяснила, что это по он мешает там, что у дочери своя жизнь. Но под любым предлогом он все равно остается на 2-3 месяца. Тогда как я приезжаю в отпуск всего на 2 недели. Дочь ему не родная, и он ее не воспитывал, ей 23, мы начали жить с ним когда ей было 17. у него в нашем родном городе есть своя квартира, но он ее сдает. Как объяснить ему, что не надо жить под одной крышей с чужим ему человеком?