Здравствуйте, Андрей!
Ваш вопрос сложно трактовать однозначно. Вы живете с женщиной, у которой есть ребенок, а у этого ребенка есть родители. Ребенок появляется в Вашей жизни лишь на выходных, но Вы все равно не можете сдержаться от замечаний и упреков, чувствуете раздражение и дискомфорт.
Это может быть связано с тем, что Вы отчетливо примеряете на себя родительскую роль, списанную, скорее всего, с модели поведения Ваших родителей; возможно, у Вас есть свои представления о том, каким должен быть ребенок и ребенок Вашей жены Вашим представлениям не соответствует. Вы можете быть втянутым в конкурентные игры за любовь и внимание матери, которого явно не достает малышу, ребенок может вести себя враждебно из-за чувства ревности, или его мать может чувствовать себя виноватой из-за отсутствия внимания и того, что у вас не налаживается контакт с ребенком. Важно понять причины этого дискомфорта. Что происходит с Вами, когда в доме ребенок? Не завышены ли Ваши требования? Видите ли Вы его? Можете ли сказать что-нибудь хорошее о нем?
Вы, конечно же, не обязаны любить ребенка и не сможете заставить себя это сделать.
Но Вы можете учиться воздерживаться от критики, "переводить" упреки и приказы  в просьбы и предложения, не брать на себя ответственность в воспитании ребенка, и постараться подружиться, или построить отношения на уважении к друг другу.
Выработайте совместный маршрут выходного дня, договоритесь о времени, посвещаемом ребенку, и о правилах в семье, удобных для каждого. Если сделать это окажется непросто, позвоните на линию психологической помощи или обратитесь на очную консультацию.***