正直に話したら？と思いました。
その結果彼と別れることになるかもしれませんが、このまま付き合い続けてもつらいだけでしょ？

そもそも彼が元カノと喧嘩しなかったのは、単に元カノの流し方がうまかったか、けんかしていた事実を忘れてしまい(嫌って別れたわけではないだけに)想い出を美化しているだけの可能性もあります。

どう転ぶかはわかりませんが、今の疑問を抱えたまま付き合い続けるよりは、腹を割って話し合った方がいい結果に向かう可能性は有ると思いますが、いかがでしょうか？

まあ喧嘩中なんて売り言葉に買い言葉ですし
ましてあまりロジカルな考え方ではなく
正確な言葉遣いをしない人の発言は
真に受けるものではないですよ。

喧嘩もせず4年付き合ったからといって
元カノの人間性が優れている証左にはなりませんよね？

実際のところどんな関係だったのか、
元カノがどんな人だったのかは分かりませんけれど。
元カノは彼に無関心で喧嘩にもならなかったのかもしれません。
あるいは喧嘩することを避けた結果として心の距離が開き
セックスレスになり、それが引き金で
別れに至ったのかもしれません。

それに、そもそも、彼は言葉の使い方が不正確ですし
原因の掘り下げなども得意ではなさそうですから
セックスレスが原因で別れたのかどうかすら怪しいです。

性の悩み相談ではないので細かいことは割愛しますが
セックスレスは性欲の食い違いによるものだったとは限りません。
貴女が仰っているように、彼が問題発言をして
彼にトキメキを感じなくなってしまったですとか
結果として出てきた課題である可能性も高いですよね。
だとすればセックスレスになる以前にも既に
2人の雲行きは怪しくなっていたはずです。

いずれにせよ彼は元カノと別れ、貴女を選びました。
彼にとっては喧嘩をしない関係性というのは
恋人に求める第一条件ではなかった、ということです。

では彼が本当に恋人に求めているのは何か？
それ以上のことは、このご質問からはわかりませんし
彼自身も自覚していなかったり、誤解している可能性も高いです。
◯◯な男性（女性）が好きと公言していた人が
それと正反対のタイプとお付き合いしたり
結婚をするなんてことはよくあることですよね。

＞料理もしますし、セックスも人並みにします。 でもそこだけが評価されて付き合っているのか…
逆にお聞きしますが、彼とお付き合いする理由は
元彼より人間性が優れているからですか？
体の相性がいいとか、現実的なメリットがあるからですか？
おそらく、そうではないですよね。
元カレの方が彼より優れていた面もあるでしょう。

また、料理やセックスを人並みにする、という条件だけなら
他にいくらだって選択肢はありますよね。
貴女である必然はありません。

色々と書きましたけれど、誰とお付き合いするにも、
また恋愛以外の人間関係においても
あまり言葉にとらわれ、言葉を真に受けないことです。

それと、そもそも、
人間は合理的な選択をするという前提自体が間違いです。
女は子宮でモノを考えるなんて言われることもありますが
男性ならば常に理性的だなんてことはありません。
どんなに条件が揃っていてもトキめかないことがあるように
恋愛感情自体が、理を超えたものですからね。

既婚男性です。

彼みたいなことは普通にあり得ることです。

長所も短所もみんな好き、などというのは

頭がお花畑の状態での戯言で、やはり長所はは長所

短所は短所でしかありません。

その場合、全部を総覧しての総合力の高さと

ここだけは譲れない、というポイントが存在しない、ことが必要です。

どんなに素晴らしい人でも生理的に受け付けない面を

持っていてダメだった、というのがありますよね。

彼にとってはセックスの有無がそれに準ずることだったわけです。

私の妻は性嫌悪症で新婚の頃からセックスレスでしたが

私と彼との違いは

そのことが譲れないポイントではなかった、ということ。

個人的

＞元カノの方が人間性は優れていると思っている

というのは、思ってはいても口に出してはいけない内容だとは思いますけど。

何でも正直に話してしまうのが正解とは限らないですから。

まあそれで貴女の方が冷めてしまったのであれば、それはそれで致し方のないこと。

＞彼へのトキメキや触れたいと思う感情が少なくなってしまいました

今度は貴女が上記を正直に話してしまうか、ずっとモヤモヤを抱えたままで

お付き合いを続けるのか。

男の立場だったら、選んだ理由が年収が多いから、

と言われたようなもの。

あるいは、もっとドギツイ内容なら

彼のが大きくて上手だったとか（エッチ系）

私個人としては、もう無理かもしれません。