フォントを設定していたのに、なぜかずっと文字化けしていて、うまく表示できなかった。
いろいろ調べたら、
End-user stuff on linux: Make mplayer display Japanese utf-8 srt subtitles.
に解決策があった。
~/.mplayer/config に
subfont-encoding=unicode
unicode=yes
utf8=yes
subcp=utf-8
fontconfig=yes
font='さざなみ明朝'
を追加するだけで解決した。
（自分は明朝フォントがあまり好きでないため、ほかのフォントに変更）
