올려주신 글 내용만으로는 원인 파악이 어렵군요 ㅎㅎ

우선 크롬 브라우저의 개발자 도구(F12키)의 Console 창에 에러 메시지가 나오는지 확인해보세요.

FTP로 접속해서

/wp-content/plugins/kboard/skin/사용중인스킨/script.js 파일을 에디터로 열어보시면 아래 코드가 있습니다.

아래 코드가 '나가기', '머무르기' 얼럿창이 뜨게하는 코드입니다.

jQuery(window).bind('beforeunload',function(e){
	e = e || window.event;
	if(jQuery('.kboard-form').data('submitted') != 'submitted'){
		var dialogText = kboard_localize_strings.changes_you_made_may_not_be_saved;
		e.returnValue = dialogText;
		return dialogText;
	}
});

지워보시겠어요?

아무튼 뭔가 스크립트 에러가 있어서 동작이 제대로 안되는 것 같으니 에러 메시지를 확인해보시길 바랍니다.

다른 플러그인을 비활성화해서 테스트 해보시고, 테마도 바꿔서 확인해서 원인을 찾아보세요.

고맙습니다.