Отношение с гражданским мужем

Здравствуйте. Отношения с мужчиной длятся третий год, из них второй год живём вместе. Есть моменты которые меня не устраивают, но он не идёт мне на встречу, стоит на своем и только. За это время разные моменты были и хорошие и плохие. Но я не могу смириться с тем, что меня не устраивает. И думаю, что если сейчас уйду от него, то останусь одна и больше не встречу мужчину и лучше не найду, что поступлю подло по отношению к нему. Его бывшая жена препятствует общение с ребенком, винит меня в первую очередь, что я у него есть и что плохо отношусь к их ребенку. Всё это меня тоже угнетает. Не знаю как правильно поступить, не знаю нужна ли мне такая жизнь с ним, где живу, практически, только его жизнью и его проблемами. Подскажите, как быть?