그는 일본 말을 써야 할 때, 거기에 바꿔 쓸 수 있는 우리말을 애써 생각하는 것 같았다.

‘거기에’라는 말이 들어감으로써 더 어색해진 게 아닐까요?

그렇습니다. '거기에'를 삭제하는 것이 문맥을 더 자연스럽게 만듭니다.