조모의 손에 이끌려 종가 행사에 여러 번 다녀온 적이 있었다.

여러 번이 있었다의 앞에 와야 하지 않을까요?

말씀하신 대로 '다녀온 적이 여러 번 있었다.'로 고치면 더 자연스러워집니다.