相談させてください

夫（54歳）は技術系の国家公務員年収1000万、私（48歳）は高校の教員年収600万
結婚23年で子供が3人います。
長男は21歳で知的障害者で療育手帳A持ちですが、
作業所に毎日ちゃんと通えており、手はあまりかかりません（在宅）
長女は大学に通っています（一人ぐらし）
次男は高校2年生です（在宅）

夫は朝7時に出勤して帰宅は23時位です
ただ、仕事は19時すぎには終わっているのに、寄り道して帰ってきます（スポーツクラブなど・・・フラリーマンですね）
一方私は、特別支援学校にいて、8時出勤して18時には帰宅できます

で相談なんですが、夫は全くと行っていいほど家族のために家事をやりません
朝が早いので自分の朝食は自分で作り、昼は食堂、夜は帰宅後自分で作ってなにか食べているので、
夫の食事の準備はしていません
また、洗濯のやり方も好みがあるらしく、自分の分だけ洗濯して自分の分だけ干しています
ちなみに、暴力はありませんが、家ではほとんど口を利きません
セックスも私から拒否して3年以上経ちます
給料は全額私に託しています（手取り45万くらい）
借金はありません。資産は戸建てが完済で、2000万くらいは預金があります。

共働きなのに、家族のために家事をやらないことがどうしても許せませんが、
この程度で離婚というのはよくことなのでしょうか？