小鸟依人第一次用在人身上出自唐太宗李世民之口，且是形容男人。有一次太宗和长孙无忌品评当朝人物，评论到著名书法家褚遂良时，太宗说：“褚遂良鲠亮，有学术，竭诚亲于朕，若飞鸟依人，自加怜爱。”褚遂良是李世民的书法老师，他也像麻雀一样栖宿在皇帝身。