Хочу понять что у него в голове

Был у меня парень, я от него забеременела, мы расстались. Потом когда ребёнку исполнилось 8 месяцев он появился и просил чтоб я разрешила видеться ему с ребёнком, я разрешила он начал приезжать, потом сказал что хочет возобновить отношения со мной, я согласилась, мы из одной области но из разных городов, я переехала к нему в город мы сняли квартиру, меня как раз позвали вернуться на бывшую работу, он работал на тот момент там же, я с директором договорилась что смены будут корректироваться так чтоб всегда кто то из нас был дома, мы по очереди работали 2 на 2. Через месяц я начала понимать что когда он дома то по дому толком ничего не делается, всё делаю я в свои выходные, начала ему об этом говорить, зарабатывал он тоже в 2 раза меньше чем я, меня это мягко говоря не устраивало. Я ему через время начала высказывать и то после того как приехала моя мама в гости и мы пошли на работу вместе чтоб немного больше заработать и я увидела что он просто не работает, а сидит и играет в телефон. На этой почве у нас начали возникать конфликты, жениться на мне тоже зась... В итоге прожив так год я ему предложила переехать в мой город, город меньше намного, но мы выигрывали в том что можно оставить ребёнка на моих родственников, соответственно больше работать и иногда выбираться погулять. Он согласился, я уволилась с работы переехала в свой город, а он должен был позже переехать, в итоге через месяц он мне сказал что передумал. Ещё через месяц мы решили вернуться к нему, но когда переехали он начал с первых дней попрекать меня что я не работаю, через месяц я не выдержала собрала вещи и уехала обратно домой. Так и живём он там, мы тут, звонит раз в два три дня! Очень меня это злит, я не могу понять что в его голове происходит, и не понимаю как мне поступать! Финансами он не помогает вообще. Я хочу запретить ему видеться с дочерью, пока она маленькая быстро его забудет, но опять же не знаю правильно ли это с моральной стороны. По закону он на неё не имеет прав, я мать одиночка.
P. S. Я старше его на 9 лет