그는 각별히 즐기는 취미나 오락은 없었다.

문맥상 ‘그는’을 ‘그에게는’으로 바꾸는 게 좋을까요?

그렇습니다. 문맥으로 볼 때 '그에게는'으로 쓰는 것이 더 호응에 맞는 표현입니다.