Почему в отношениях всегда так сложно? Или это со мной что-то не так?

Вроде бы набралась опыта, вступила в осознанные, серьезные отношения. И все хорошо, все прекрасно, оба развиваемся, положительно влияем друг на друга. Уважаем друг друга, поддерживаем. Мне хорошо в этих отношениях. Но есть такие мелочи, которые выбивают из колеи. Из-за этих мелочей, которые вроде бы настолько банальны, происходят непонимания.
Например, он старается не разговаривать при мне с одним своим другом. Они общаются больше 10 лет, этот друг то начинает спиваться, то обратно бросает. И когда мы только познакомились, меня этот друг откровенно напряг, я много узнала о его похождениях и сказала, что не хочу с ним пресекаться, но и не против того, что бы мой молодой человек с ним общался. Молодой человек сообщил мне, что не будет с ним общаться, удалил его номер из телефона. Ну, ок, я говорила ему, что не против что бы он общался, и что удалить его номер это только его выбор. Проходит неделя и я замечаю, что он начинает шифроваться. Т.е. пока я в доме он разговаривает по телефону, только я выхожу он сразу прекращает разговор, причем на полуслове. Уходит курить в другой конец двора, и разговаривает там, что бы не слышно было. Так же у него есть пару знакомых из прошлого, которые звонят раз в месяц.
Я начала напрягаться, у меня повышенная тревожность, с которой я активно боролась, вроде бы взяла на над ней контроль, но иногда проскакивает. Потому, что я не знала как начать разговор, молчала неделю. А потом, когда уже напряжение наросло, я решила поговорить. Начала издалека, мол я тебе о всех своих друзьях рассказала, мы общаемся. А вот, он мол, что-то шифруется и что-то от меня скрывает и начала высказывать свои наблюдения. Он сначала стал говорить о том, что не красиво разговаривать по телефону когда кто-то рядом. А потом признался, что не хотел меня расстраивать тем, что опять начал с ним общаться. На мой вопрос - а зачем обещал тогда, я же не настаивала он ответил - " а что тут такого? я не имею права передумать?". Это странно, я могу обьяснить такое поведение только тем, что он понимает, что это деструктивное общение (этот друг в основном старается из него деньги или продукты вытянуть) но привык сильно или привязался.
Этот так сложно. Вот в этой ситуации что вы видите? С одной стороны это просто привязаность, а с другой стороны это ли не сигнал о том, что он относится безответственно к обещаниям? Или его реакция с вопросом " а что такого?" это была как защита, оправдание.