Отношение мужа к сыну от первого брака

Когда мы с Андреем познакомились, моему сыну было 2 года, мы часто сходились, расставались, в наши отношения влазил бывший муж, и в конце-концов 2 года назад мы начали вместе жить(вернее мы живем и у него и у меня). Сыну 6 лет, меня настораживает отношение Андрея с сыном, он на него постоянно кричит, мне кажеться, что он его просто раздражает. Андрей мне постоянно жалуеться на моего сына - Посмотри какой он грязныый, или посмотри какая он свинья, или - посмотри, что он натворил. Я разрываюсь между ними. Своих детей он пока не хочет, да и куда! Если появиться общий ребенок, что будет с моим сыном! Что мне делать? Разговоры мои с Андреем раньше помогали ненадолго, а теперь вообще не слышит меня. У него один ответ - он балованный и ничего не понимает