Как принять прошлое своего парня не в ущерб себе

Здравствуйте. Мне нужен совет. Встречаюсь с парнем полтора года из них мы год прожили совместно. У него от первого брака есть ребёнок-девочка 5 лет, с ней у меня отношения хорошие. Да и с парнем все было нормально. Дочка его живёт с мамой в другом городе и вот с наступлением лета он решил забрать ребёнка к себе на каникулы. Я не против, что он принял это решение, но меня больше насторожили его слова "я дочку забираю на каникулы и перееду к родителям, так как она будет рваться к бабушке с дедушкой, а ты как будешь сама решай" И тут у меня появился вопрос, а если у нас появятся общие дети, он мне тоже также будет каждое лето говорить, я поехал к родителям, а ты тут с детьми как хочешь??? При этом, прожив год вместе, мы пришли к решению взять ипотеку и он мне всегда говорит, надо как-то экономить, у НАС ипотека, но при этом ипотеку он взял на свое имя и всегда говорит, что квартира это хорошо, а если что-то случится все его дочке достанется. Так почему это тогда наша ипотека? Я что должна работать и вкладывать все в чужого ребёнка? Помогите советом, может я что-то не понимаю или не так воспринимаю? При этом он инвалид колясочник и сам он требует много внимания и ухода, а ещё и работаю, чтобы нам было легче в финансовом плане.