耳目原本的意思为眼睛和耳朵，后来的引申义为：

犹视听，见闻，引申为审察和了解。

指视听所系的事物或标志。

比喻能起耳目作用者。

比喻辅佐或亲信之人。

指侦察或了解情况，亦指暗探。

所以耳目在修饰人的时候主要指的是权贵人物的亲近属下或者是安插在下层人群中负责收集信息的探子。