正直にお昼は一人がいいと言えばいいと思います。
毎回断る人も感じ悪いです

私も1人で食べたい派です。複数で食事するとか周りと合わせないといけないのでストレス感じます。本を読みたいからとかネットショッピングしたいかとか丁寧お断りしましょう。

ダイエットしてるんでごめんなさい
とか。

会社という組織に属している以上、
誘われたらたまには応じるのも社会人なのかなと思う。

何回か断ったのち、ごめんなさい誘ってくれるのに・・・ご飯食べながら動画観るのが楽しみなんですって伝えてくれた人がいました。
そうだったのね～！了解！としか思わないです。