Wenn das so ist wie du es schreibst, gibt es nur eine Konsequenz: Trennung. Ein jeder normal denkende Mensch würde dir diesen Rat geben. Aber das weißt du sicher auch selbst. Deine Entscheidung. 

Wenn das Gefühl nicht mehr passt, und du es dir zutraust eineiige Zeit frei und ungebunden zu sein, dann gehe deines Weges. Selbst Kinder sind da kein Hindernis, die schaffen erstaunlich viel.

Aber sei dir nicht zu sicher, dass da eine andere Frau ist, wenn es keinen Beweis gibt. Evtl. ist es ein Mann oder viele Männer zum zocken oder sonst was.

Sprich ihn mal an, was er in der Zeit so mache oder ob er dich mal mitnimmt zu sowas, was immer er da tut.

Vielleicht sind es die anonymen Alkoholiker, oder ein Sprachkurs, oder .....