Муж не хочет оставлять родителей и сьезжать

Мы молодая семья, 2 детей, мой муж старший сын, дав обещание своим родителей перевез их из другого города и сказал будете жить со мной. Младшему братишке мой муж строит дом. Они будут жить сами. Меня переполняет несправедливость. Разговаривала и ругалась, без толку уже 3 года говорю. Мой муж берет слишком много ответственности за всех. И сепарироваться не собирается. Хотя свекрам по 60, 65 лет. Финансы позволяют раздельно жить. Он предлагает мне самой с детьми сьехать, а сам, говорит, буду жить на две семьи (то к родителям то к нам) У нас совсем разное понятие семьи, если для него это его родители брат с семьей и мы, то для меня это муж и дети. Но он идет на принцип, не брошу их. Хотя дом который строит братишке - на одной улице. Либо ему не доверяет родоков, либо просто хочет насолить мне, так как я его уже достала со своей просьбой. Говорит это мой дом, и я не пойду за тобой, не надейся. Я незнаю что делать, если я перееду то там и до развода недалеко, а я не хочу этого. Он говорит если будет жить раздельно, то он возможно охладеет.
Написала сумбурно, но все мои попытки тщетны, и я устала бороться то с ним, то со свекровью. Хочу спокойствия. Стоит ли мне уйти, или нет?