離婚したら祖母に面会の権利はないよ
ただし子どもが会いたがってるなら止めるのもなぁという気はするけど
元旦那とは面会させてるなら、その時一緒に会わせれば良いのでは
まあトラブルになるなら弁護士に相談でいいと思うけどね

それとはたから見てその暮らしぶりがまともに見えないのは別の話ね
親同士仲よかろうが幼馴染だろうが、他人の男性と家族同然に暮らしてるのを世間は健全な関係とは見てくれないだろうね
そこはどんなに言い訳しても無理だし、だけど本人たちが良いならまあ好きにすればといった感じ
息子同士だから成り立つけど、子どもが異性だったらあり得ないでしょ？とは思う