所托非人出自晉人殷羨的一段故事。

晉人殷羨，字洪喬，他曾被任命為豫章太守，在即將離開南京趕去赴任的時候，很多人都托他帶信，他把信一一收下。結果殷洪喬來到石頭渚（江西贛水西口）時，啟開這些書信，發現大多數都是拉關系，跑人情之類的內容，他不由非常反感，于是將信都拋進了水里，并說道：“沉者自沉，浮者自浮，殷洪喬不能做致書郵。”

所謂致書郵，就是古代對郵遞員的稱呼。這句話字面意是：你們這些信哪，能浮著就自己漂過去吧，浮不起來的就沉下去，反正我殷洪喬是不做郵遞員的。而深層的理解應該是：“沉者自沉，浮者自浮”不是指書信，而是指那些官員，庸碌無為的人自然會被淘汰，而那些確有才華的人自然會脫穎而出。“殷洪喬不能做致書郵”是指：我殷洪喬不做你們這些跑官之人的郵差。

因此后人就把托人捎信捎不到的情況，叫做“付諸洪喬”，又名“誤付洪喬”，“洪喬莫誤”等等，表達了一種“所托非人”的意思。