우커머스 woocommerce_cart_shipping_method_full_label 필터를 사용하면 가능할 듯합니다.

테마 쪽 functions.php 파일 하단에

아래의 코드를 추가해보세요.

add_filter('woocommerce_cart_shipping_method_full_label', 'my_woocommerce_cart_shipping_method_full_label', 10, 2);
function my_woocommerce_cart_shipping_method_full_label($label, $method){
	$label = '';
	if($method->cost > 0){
		if(WC()->cart->tax_display_cart == 'excl'){
			$label .= wc_price($method->cost);
			if($method->get_shipping_tax() > 0 && WC()->cart->prices_include_tax){
				$label .= ' <small class="tax_label">' . WC()->countries->ex_tax_or_vat() . '</small>';
			}
		}
		else{
			$label .= wc_price($method->cost + $method->get_shipping_tax());
			if($method->get_shipping_tax() > 0 && !WC()->cart->prices_include_tax){
				$label .= ' <small class="tax_label">' . WC()->countries->inc_tax_or_vat() . '</small>';
			}
		}
	} 
	return $label;
}

워드프레스 관리자 -> 외모(테마 디자인) -> 테마 편집기 페이지에서 테마 쪽 functions.php 파일을 수정하실 수 있습니다.

고맙습니다.