我该怎么办？请有心人耐心的看完

我和他都是已婚，他比我大十岁，可能是我的内心太脆弱，老公比我小一岁，在父母和姐姐的宠爱下长大的，长期给不了我安全感，当初也是经人介绍，到了该结婚的年龄就跟他结婚了。所以我爱上了这个成熟的男人，他也深深的爱上了我，很多人都说，已婚的男人很少会为了一个女人放弃家庭的，可是他做到了，在我没有任何的承诺下他选择坚持这段感情而离婚了。可是促使他离婚的最大原因是他的前妻，一个自私自利的女人，从来不懂得心疼他，甚至都没有尽一个做妻子的责任。当她刚刚知道他有我这个女性朋友存在时，马上就把房产证转到她的名下，把家里的经济权抓了，就算是这样还不放过他，压着他必须跟我断绝联系，对他实行暴力，打得他头破血流，并且狠心的看着他血流一身她都无动于衷，其实他在家里任劳任怨，家里做生意他风里来雨里去的送货，回到家了每次都是吃剩饭剩菜，冷天甚至是冷饭冷菜，他都一直为了那个家忍着，直到遇到了我，我对他的关心和疼爱才让他体会到作为一个男人的尊严和地位，才觉得自己是个真正的男人。所以最后他选择净身出户也坚决离开这个狠毒的女人。在他离婚的那段日子，我也受到了很大的压力和侮辱，我只能说是爱的力量伟大，让我坚持下来了，哪怕他一无所有，我也对他不离不弃，我从没有看中他的钱，我爱的是他这个人，我相信以他的能力，他以后的日子会好起来的。我作为一个有夫之妇，我知道我违背了道德观念，背叛了我的丈夫，（在这里我想告诉大家，我老公知道我的事，我把家里打理得井井有条，照顾公婆，照顾孩子，跟他家所有的亲戚朋友关系都处理得很好，只是他清楚，我在他这个大家庭里受了很多委屈，他给不了我安全感，他知道我需要一份真爱，只要不跟他离婚）所以在照顾家庭的同时对这个我所爱的男人尽着做妻子的责任，关心他的一切，虽然我很累，但是为了爱的人，我愿意，我对他的唯一要求是，别再跟那个狠心对他的女人再搅在一起生活了，别再过回以前那种没尊严没人格的日子了，他也答应了，还赌咒发誓了，可他是一个对家庭负责的男人，哪怕离婚了，把所有的家产都留给了那个女人和他儿子，可是他后来还帮她们找了一个好超市让她们经营，并且还帮他儿子在省城买了房子，这是她们要求他做的，他都做到了，然而那个没用的女人，跟她儿子媳妇一起开店，却总是相骂打架，到最后没办法还是把他搞到一起去了，现在他又跟那个女人一起生活了，居然当她们的面电话都不敢接，虽然不会睡在一起，但是我的心里真的好难受，现在我们都很少见面了，有时候我心里特难受了会找他吵几句，他说他也不愿意在那里，他也没办法，他说唯一的办法是我能够离婚了跟他结婚，让她们彻底断了念想就没问题了，他说他保证能给我和我的女儿幸福。可是我现在孩子还小，老公虽然不懂事给不了我安全感，可是他并没有很大的错，反而是我背叛了家庭，我怎么能昧着良心狠心离婚呢？可是我不离婚就不能跟所爱的人在一起，我现在每天过得好压抑，我该怎么办？请大家帮我出下主意，非喜勿喷