Здравствуйте Ольга. Ваш вопрос о том, что необходимо сделать крайний  выбор: либо мучиться, либо разорвать отношения. Однажды Вам удалось простить своего мужа, что мешает Вам сделать это повторно? Может быть довольное лицо соперницы? То есть, получается, что задето Ваше самолюбие.
А ведь семья это не только вы, но и ваш муж и ваши чувства к нему. Если есть любовь, то, за что можно бороться - то думаю, бороться нужно и посмотреть на мужа, который выражает Вам свои чувства. Если нет любви, то лучше не портить жизнь себе и партнёру. Честность, лишает нас последующих сожалений. Просто, важно понять, любите ли Вы своего мужа. Про это Вы в письме не указали.
Как вам самой было бы легче поступить? Решать только вам самой.
С уважением Савинков Станислав.