彼との関係を続けるか悩んでいます。

長文になります。批判や頭ごなしに否定をしてくる方は恐れいりますがお控えください。 彼と私はW不倫中です。彼はとあるお店のオーナーで奥様は彼がもう他の店舗のオーナー兼彼の店のスタッフ、バツイチ再婚子どもはすでに成人。
私は彼のお店の客、幼いこどもあり、主人には色々あって愛情はありません。彼とはお互い一目惚れで、何度か通っているうちに彼からのアプローチで始まりました。

タイミングさえあれば結構会えるし、私のしたいことはリスクを回避しながら一生懸命叶えてくれるし、私から何回か別れ話を切り出しても毎回引き止めてくるし、お互い落ち着いたら数年後に結婚したいねと話しているので彼の愛情は良く感じられるのですが、、、
奥様の彼への執着といいますか、すごくて常に一緒に居ないとダメ、彼の少ない飲み会にも付いてくる、仕事がなければ自分のお店を放置して彼の店で待機する、みたいな感じです。バツイチで20歳も下の男性と再婚できてこどもを育て上げてくれて、溺愛するのもわからなくもないのですが、、、
奥様に対して嫉妬することもありますが、常に感謝の気持ちを持つように心掛け、彼との関係を大事にしてきました。

しかし先日、かなり前から約束していたのにキャンセルされ、それも奥様絡みでした。仕方ないこと、関係を大事にしたいからこその選択ということもよくわかってはいますが、どうしても今回は怒りがおさまりません、、、
仕事休むから直前まで調整もしてたし、なんで理由ひとつでも作って来られないのかと思うと、これからもずっとそうなのかなと思うと辛くなってきてしまい、、、

彼に少し変わってほしい、でも人様の生活については口出しはしたくないから自分がかわらなきゃと思いカウンセリングを受けたり、カウンセラーの記事を読み漁ってメンタルを保つようにしてきました。
でもやっぱり少しは奥さん巻いてきてよ、理由ぐらい作ってよという気持ちが拭えません。

不倫経験のある男性の方、なんて言って時間を作りましたか？彼は奥様と働いてるので、仕事という理由は使えない、友達がほぼいないので飲み会も無理だしお互い地元で身動きとりにくい、風俗やキャバなど全く行かない、でかけるときは常に奥様と一緒で単独行動をした事がないようです。。。

また不倫経験のある皆様、彼の愛情を感じられる以上は一緒に居た方が良いと思いますか？それとも今後も同じように苦しむならやめますか？自分からどうするかな、という意見をお伺いできますと幸いです。