MUFJの住宅ローンの金利がヤバイ?

銀行の住宅ローンって毎年かなりの額が変わってくるみたいなのですが、金利ってそんなに影響があるものなのでしょうか?ufjで住宅ローンを借りている我が家としてはこのまま払い続けていくのか、見直しをした方がいいのか悩んでいます。
だって、見直しして借り換えをするにも手数料が発生するんですよね。
それを見込んでも得をするなら借り換える必要があるのですが、あまり変化がないようでは意味がありません。
前に上司が借り換えをしたときの話を聞いたことがあるのですが、とてもローンが楽になったと言っていました。
毎月数万円の変化があるのならそれもアリですよね。
手数料で数百万円を支払わなければいけないのはちょっと損した気分になります。
損して得採れと言うことわざがありますが、こういう時に使うのですかね。
なんだか使い方が難しいな。
住信SBIネット銀行住宅ローン金利は安い!【フラット35よりお得?】