合わないと思っても、実際ご一緒してみたら違うかもよ😃

誘われたのに、いざランチをしてみたら、相手の方が自分に見切りをつけて行くんじゃないかという不安。私ならそういう不安を抱いてしまうから躊躇してしまうけど。
もしスレ主さんがそういうのではなく、ただ「合わないだろうな」と思ってるだけなら、一度は行ってみてはどうでしょうか。しばらくは誘われないでしょうし、意外に「また行きましょうね！」って気持ちになるかも知れない。

1回行ってみて、それから断るようにしたら、主が変人に思われにくいよ

合う合わないの前に､主さんは昼食は一人で食べたいって人ですか？
もしそうなら､『ごめんなさい､お昼休みに色々やりたい事あるんでご一緒できません。』と言って断れば良いかと思います。他の人に誘われても同じくお断りで通せば良い話です。

約束しちゃってるので1回は行ってみた方が良いかも。
そして、相手のことはサラッと流し早めにランチを切り上げて二度と約束しないようにしてはどうでしょう？
意外と気が合えばそれで続ければいいし、ダメなら1人で食べたいのでとか言って逃げるとかは？
女って怖いから気を付けて下さい。あと、社交辞令かも知れないのであまり気にしすぎずにいてもいいかも。
かもかも、すみません。