这句话的意思是说，有人来拜访，而我却把门关上不接待（闭门谢客），这种行为看上去似乎有些无理。但我觉得，我和来客之间以前并没有打过交道，也没有什么来往。并且，我今后也不打算与他有什么关联，因而，我觉得闭门谢客并非无理之举（无来无往非无理）。