W不倫中で真剣に悩んでおります。

お互いに既婚（彼は40半ば小学生の子供2人、私は30代前半中学生の子供が1人） 私はその彼の居る会社でパートをやりながら、自分でも10年前から資産運用で収入を得て自分の貯蓄を増やしています。

彼は同じ会社で部署は違いますが、何拠点も取り仕切るエリアの本部長です。とても忙しい方なので社内で会うとしても週1ぐらいの挨拶程度。たまたま2人で話す時間がありまして、社内は男性ばかりで昼間は女私1人なので、フロアの隅っこでお昼を食べていたら『今度気晴らしに外にランチ行こう！美味しいものおごるから！たまには外に出るのも良いよ！』と言われてそこから色々と話すようになりました。
2回程ランチに行き、たまに会社の帰りに食事をしたりしていました。仕事の悩みを聞いてくれたり、ちょっと上手く行かない時は一緒に考えてくれたり後ろでそっとサポートしてくれてそのぐらいから仲良くなりました。
週に1.2回LINEをしつつ、今までに6回程2人きりてデートをしました。
普通に食事に行きイルミネーションを見たり、公園をお散歩したり、ドライブしたりとたくさん笑いながら会話して凄く楽しい時間でした。
正直ここまで素で話せて楽な方は珍しく、自分でも驚きでした。趣味も同じことが多くいつも盛り上がります。
夫とは普通でたまに喧嘩もしますが、今までに喧嘩中に3回程顔面を殴られてからはちょっと怖くなってしまったところもあり、それからは自分でも気を使うようになってしまいました。夫は元々軽いグレーゾーンです。
ですが、夫はいつも私に『大好き、いつもありがとう』と言ってたくさんキスしたり、くっついてきてくれます。私もそんな夫には感謝しています。私は娘を連れてその男性と6年前に再婚です。前夫はお金を全て使い援助交際が分かり私は鬱病になり泣く泣く離婚しました。

彼は3回目のデートで好きと言ってきて、手を繋いできて正直驚きました。
その後、ずっと気になっていた。綺麗でその笑顔が癒されるし、落ち着くし大好きなんだ。と…
6回目のデートで軽くハグされてキスをされました。ドキドキもしましたが、ちょっと焦った自分もいます。
元々LINEでは短文でそこまで言葉では気持ちを言ってくれませんが、会うと会社での硬い雰囲気から少年のような雰囲気になり、たくさん気持ちを伝えてきてくれます。

彼は帰りが毎日夜の24時または夜中です。
仕事のことを考えたり、1人で気晴らしやゆっくりして遅く帰っています。
奥様とお子さん達は20時に寝るそうで、寝室も別とのこと。夫婦の時間はほとんどなし。
下のお子さんが生まれてから6年間身体の関係もなしで手を繋ぐこともなくて…と聞きました。ただ喧嘩とかはなく普通みたいです。
まだホテルに誘われたことはないのですが、おそらくそろそろ言われそうな雰囲気です。
大好きだから旦那さんに嫉妬しちゃう。社内で他の男性と仕事の話をしていても気になるし、嫉妬しちゃうんだ！ごめん。と最近言われます。
正直、身体の関係を持つと変わってしまうような不安もあります。
ですが、会うと楽しくて夫より素でいられる自分。とても気遣いがあり、優しい彼。
夫には全く甘えられないのでつい彼に甘えてしまうこともあります。
自分がコントロールできません。

本当に自分勝手で最低ですが、
夫には愛、彼には恋をしている自分が凄く苦しくて罪悪感でいっぱいです。
彼のおかげで笑顔を取り戻し、夫にも優しくなれている自分がいたりもします。
夫への恐怖心も少し和らいでいたり。

彼には奥様とお子さんがいる。私にも夫と子供がいる。
彼に別れて欲しいとかは全く思っていません。
お互いに家族1番と話しています。
そして、仕事優先。
本当は最初の頃みたいに楽しく会話ができる仲でいたかったです。

何回も連絡を切ろうとしましたが、やっぱり気持ちがあり悩んでしまいます。
涙が出てしまう自分が情けないです。

まさか自分が不倫なんてするとは思ってもいなかったです。
男性と接する機会は多いですが、こんなに惹かれた方は初めてでした。
私と会う時は仕事を早く切り上げて時間を作ってくれます。大好きだし、元気出るし、会えるならいつでも作るから！と言っています。
もちろん仕事も凄い勢いでこなしており、どんどん出世しています。

この関係が会社にバレたら彼は恐らくコンプライアンスに引っ掛かり、懲戒免職だと思います。

凄く悩みます。
自分が情けないし、最低だと思っています。
でも彼の存在が大き過ぎて。

このまま関係を切った方が良いと思いますか？
最初の頃みたいな普通の食事だけの仲に戻るのは難しいですかね？
ご意見をいただけたら幸いです。
よろしくお願いします。