楊惲是當時著名的士大夫，他輕財好義，把上千萬財物分給別人。從小在朝中就有很大的名氣。為官之時也能大公無私，奉公守法，不徇私情。據《漢書·楊惲傳》載，楊惲母親司馬英去世后，其父楊敞為之娶一后母，后母無子，楊惲侍之如親娘，孝敬有加。其后，后母去世，留下財產數百萬，臨終前，他的后母叮囑由楊惲繼承，但是后母去世后，楊惲沒有將這筆財產據為己有，而是將后母留下的大筆財產分給她的幾位親戚。父親楊敞去世后，楊惲還從父親那里繼承500萬的財物，為官清廉，經濟狀況并不很好的楊惲卻將其全部用來救濟那些宗親。

步入仕途的楊惲，目睹朝廷之中貪贓枉法成風。對此朝中大大小小的官吏視而不見，獨有楊惲同他外祖父一樣，出污泥而不染，鐵骨錚錚，一身正氣，敢于冒死在皇帝面前直諫，大膽進行揭發。他還告發與父親楊敞有深交的朝廷元老重臣霍光的兒子謀反之事。因此，楊惲和另外幾個與他一同告發此事的人都獲取了封侯的賞賜，還加官進爵。封平通侯。他出身名門，全家擔任公卿、兩千石以上的十人（乘朱輪）。任職時候廉潔、公正，整頓吏治，杜絕行賄。

因與太仆“戴長樂”失和，被戴長樂檢舉：“以主上為戲（拿皇帝開玩笑），語近悖逆”，漢宣帝就把楊惲下獄，后予釋放，免為庶人。

其后，楊惲家居治產，以財自慰。“安定”郡太守孫會宗，是楊惲的老朋友，寫信給楊惲，勸他應當閉門思過，不應賓客滿堂，飲酒作樂，楊惲給孫會宗寫了回信，這就是《報孫會宗書》。

此信中，有對皇帝的怨恨，有對孫會宗的挖苦，為自己狂放不羈的行為辯解。整封信寫得鋒芒畢露，與其外祖司馬遷《報任安書》桀驁不馴的風格如出一轍。后逢日食，有人上書歸咎于楊惲驕奢不悔過所致。他再次被捕入獄。廷尉按驗時，在他家中搜出《報孫會宗書》，漢宣帝看后大怒，判以大逆不道罪，就把楊惲腰斬。這是中國歷史上以文字罪人之始！孫會宗也因此被罷官。

楊惲被害是漢宣帝時期統治階級內部矛盾的結果，是皇族、外戚集團打擊、迫害士大夫集團，也是漢朝開始衰敗的轉折。楊惲被害，與他同樣耿直的好友韓延壽、蓋寬饒等也被害。而張敞（張免職主要是因為誅殺絮舜）、韋玄成、楊譚、孫會宗等被免職。