実父との面会について相談させてください

母は10年ほど前に離婚しており、私は母について家を出ました。
その後いろいろあって母は再婚し、今は私も義父と暮らしています。

ですが離婚時の条件として実父の方は定期的に面会することと言っていました。
それで毎月１回あっているのですが、続けないといけないものなのでしょうか？

今年から高校に入学しますし、部活もやりたいので多分これまで以上に忙しくなると思います。
正直なところ実父と会うのが面倒ですし、育ててくれている義父に対して罪悪感があります。

生まれてから5年ほどで、しかもその間は母に育児を投げっぱなしでDVと浮気の実父。
かたや10年間血縁のない私をかわいがってくれている義父。
本当のお父さんと呼べるのは義父しかいません。

今月末にも会う予定なのですが、高校入学を機に辞めたいです。
これは通りますか？