위 코드를 아래처럼 바꿔서 테스트 해보시겠어요?

$registration_url = sprintf( '<a href="%s">%s</a>', esc_url( wp_registration_url() ), '회원가입' );

혹은 아래처럼..

$registration_url = sprintf( '<a href="%s">%s</a>', esc_url( wp_registration_url() ), __( '회원가입' ) );

안된다면 이미지로라도 바꾸어 넣을수는 없을까요

html, css, js 파일등 브라우저 소스보기에서 나오는 정보만 확인 가능합니다.

어떻게 수정하시길 원하시는지요?

wp-login.php 파일에서

case 'login' 이쪽 아래쪽을 찾아보시길 바랍니다.

<?php if ( ! $interim_login ) { ?>
<p id="nav">
<?php if ( ! isset( $_GET['checkemail'] ) || ! in_array( $_GET['checkemail'], array( 'confirm', 'newpass' ) ) ) :
    if ( get_option( 'users_can_register' ) ) :
        $registration_url = sprintf( '<a href="%s">%s</a>', esc_url( wp_registration_url() ), __( 'Register' ) );

        /** This filter is documented in wp-includes/general-template.php */
        echo apply_filters( 'register', $registration_url ) . ' | ';
    endif;
    ?>
    <a href="<?php echo esc_url( wp_lostpassword_url() ); ?>"><?php _e( 'Lost your password?' ); ?></a>
<?php endif; ?>
</p>
<?php } ?>