отношения с женатым

Так получилось, я начала отношения с женатым мужчиной, он не скрывал, что женат, да и я на тот момент очень боялась серъезных отношений (обычно мужчины хотят жениться на мне и меня это напрягает, была пара неудачных браков). Все было очень хорошо, мы идеально сочетаемся в интиме, очень похоже мыслим и вообще очень хорошо ладим. И со временем я поняла, что я хочу его, хочу жить с ним. Но он сразу категорично говорил, что разводиться не будет. Я предложила прекратить отношения, они стали мучительными для меня. Он стал меняться, больше уделять мне внимания, стал мне помогать в каких-то бытовых вопросах (до этого мы были просто любовниками), стал даже оставаться у меня ночевать. Меня это мотивировало продолжать отношения. И еще он утверждает, что с женой близости нет, она не любит даже прикосновений, и даже детей не обнимает. У них сын аутист, который очень их связывает. ОДнако есть моменты, которые вовсе не радуют. Он может обещать приехать и потом извещает задним числом, что не смог. Я считаю, что это неуважение ко мне, он каждый раз обещает измениться, на время меняется, но потом все возвращается. Меня в такие моменты сразу начинает колбасить и предлагаю прекратить отношения, он прибегает, успокаивает и я понимаю, что не могу без него. Мне очень плохо от одной мысли, что я буду без него. Но я ведь и так не с ним. Сказать никому не могу, что у меня есть мужчина, ибо его даже не предъявить... За мной пытаются ухаживать многие, но мне никто не нравится, я понимаю, что пока не разберусь с этим, то не другой меня не устроит. А этого я очень люблю. Тогда откуда столько сомнений и желаний порвать? Будущее, да, я ему сказала, что не чувствую себя хорошо от мысли, что у нас нет будущего вместе. Он стал иногда заговаривать, что когда-то там, с годами, когда умрут его родители, детям будет под 30... Он уже не мальчик, ему 60. Но ведь это значит, что он не планирует нас вместе. С возрастом все больше хочется быть в своей стабильной семье, зачем ему будут нужны перемены в 70 лет??? Получается, что будущего у нас нет. И в настоящем только постель и отличное взаимопонимаение. Но мне хочется большего, сейчас, но это невозможно. И меня колбасит от всей ситуации в целом. В общем я не понимаю, что мне надо. Я знаю, что так хорошо как с ним вряд ли будет. Хотя мы не живем вместе, у меня нет такого опыта, проводили вместе только часов 12, не больше. Я вижу, что он как-то меняется, идет на уступки в чем-то, но меня как-то внутренне мучает мысль, что я не могу ничего от него требовать. Я не собираюсь разрушать его семью, он сам должен принять решение. А вот примет ли? И я даже не знаю, что конкретно меня мучает, но у меня постоянные срывы и понимаю, что я на грани депрессии... В этих отношениях уже 4 года. И никак не пойму, продолжать или нет. Если есть сомнения, то значит не стоит продолжать?