Отношения с мужчиной

Добрый день!
Хотела бы получить практический совет. Немного расскажу о своем детстве.
Росла я в полной семье, есть младшая сестра. Родители между собой не ладили, отец бил мать у нас на глазах. Иногда бил нас с сестрой. Он бывший заключенный. Финансовых трудностей в семье практически не было.
Морально было очень тяжело.
Мать все время была в депрессии, нам уделяла мало внимания, резко реагировала на наши детские шалости и проступки. С отцом отношения были очень далекими. Мы его очень боялись.
В целом впечатление о детстве сложилось негативное и эта тема, как правило, для меня табу.
Постоянно была и есть неуверенность в себе.
Половая жизнь у меня началась в подростковом возрасте и мой партнер меня быстро бросил, что было тяжелейшим ударом для меня. После чего я начала метаться по парням, пытаясь как-то самоутвердиться. Но получалось, что я позволяла себя использовать.
Затем в 16 лет я познакомилась с парнем на 2 года старше меня. Мы встречались несколько лет, потом разошлись. Спустя 4 года мы встретились вновь и начали жить вместе, вскоре я забеременела и мы поженились. Но брак не был счастливым, мой муж говорил, что я никому не нужна и к нему вернулась от безнадеги. Так и было.
Мы развелись, он вскоре женился и у них родился ребенок.
Через 2 года после развода я познакомилась с мужчиной, который оказался женат. Жена в курсе наших отношений. Сначала была страсть, чувства и меня к нему страшно тянуло. Но потом он тоже мне начал говорить, что его жена успешная, а я никто и ничего из себя не представляю.
Для меня эти слова были как контрольный выстрел в голову.
Мы долго не общались после этого, но потом он объявился и сказал, что не может без меня. Просил прощения за те слова и говорил, что у меня очень тяжелый характер и ему со мной сложно, но хочет быть рядом.
Его жена мне говорила, что просила его уйти, а он не уходит.
Мне же он откровенно признался, что думал об уходе и хотел жить со мной, но мой характер ему не дает сделать этот шаг. Сказал, что боится меня. Если бы не мой характер, то все было бы не так! И жили бы вместе, и все было бы не так. Это дословно.
Я резкий и прямолинейный человек, это действительно так. Но всегда помогу в трудную минуту и никогда не брошу.
Я не могу разобраться, что не так? Вести себя мягче искусственно? или лицемерить, чтобы люди тянулись? Мне самой очень сложно жить на этом свете, но что-то же нужно делать? А я не могу понять, в какой момент жизни мне нужно вернуться и все исправить.
Помогите советом, что делать? Спасибо!