ダブル不倫、私は28歳女性、お相手の男性は高校の先輩で30歳、お互い既婚、子持ちです。お互いの子供は3歳、1歳同級生です。 私は育休中ですが職場復帰予定で、ワークライフバランスの観点から転職活動中です。
たまたま転職先候補に行ったところ彼が働いていて、そこから連絡を取るようになって今のような関係が始まりました。

高校では殆ど接点はありませんでしたが、SNSで繋がりがあり、たまに連絡をとりあっていました。
大学生の時にはお食事に連れて行ってもらい良い雰囲気ではありましたが、私に彼氏ができて付き合うまでには至らずでした。

今は関係が始まって半年ほど、会う頻度は月に1回程度で時間は長くて8時間ほど、短いと仕事終わりに1時間ちょっとです。
連絡はLINEのみ。頻度は多くて週に1度、2週間近く空くこともあります。1度に5~10往復くらいラリーが続きます。
最後は必ず私がおやすみなさいと言って終わらせます。おやすみなさいを言う前に彼が寝てしまうと次の日まで続きます。

短時間のデートの時はドライブやお散歩をしています。時間が取れる時はお店を予約してくれて、お食事した後バーをはしごしたりして最後はホテルに行きます。
会う時はいつも全てのお店でのお会計を私が知らない間に済ませてくれます。
何でもない日にお揃いのピアスを頂いたり、彼が付けてる香水と同じものを、たまに付けて思い出してねと頂いたりもしました。

次の約束はいつもLINEで、会った日に彼が次の予定を決めようと言ってくれます。
家庭の事はあまり話さないですが、お互いそれなりに上手くいっていると思います。
その上で不倫してしまった理由は、私は寂しさからとかではなく、他に好きな人ができてしまったという感じです。

そして今、転職先第1候補として考えていた彼の職場で求人があり、家族の後押しもありエントリーします。
家族との時間を大切にする為の転職で、職場もそれを基準に選んだのに、そこに不倫相手がいるなんて、と思うと自分のしている事が恐ろしいです。
このような事をしていることに凄く罪悪感は感じていますが、私の事を想って尽くしてくれる彼のことを会う度に好きになってしまって困っています。
不倫慣れしているタイプで大切にされているわけではないのかもとも思いましたが、育児に協力的で趣味のスポーツもあまりできていないほど時間的な余裕が無い人なので、そうではなさそうです。

こうなってしまった以上、彼と同じ会社に転職しない事も視野に入れていますが、部署が同じになる事は無さそうで部署が違えば殆ど接点はないので、できれば入りたいです。
転職する前に関係を終わらせるべきなのは頭では理解できているのですが、なかなか1歩踏み出す勇気が出ません。
私はどうしたらいいのでしょうか。

自分が反道徳的な事をしているのは分かっておりますが、不倫をした事に対するお叱りは控えていただけますと幸いです。

似たような経験をされた方がいらっしゃいましたら、どのようにして関係を終わりにしたのか、気持ちの切り替え方や私の今後の振る舞い方についてアドバイス頂きたいです。