抗战期间，蒋介石去成都，在杨森家里逗留半日，他发现杨森家里进进出出的妇女不少，深感惊讶，便问杨森：“这些都是你的妻子吗?”杨森朗声回答：“报告委员长，属下身体很好!”蒋介石大笑。

杨森主持四川政务时，连农民进城挑粪也要抽税。西南联大师刘师亮特作一联讽刺说：“自古未闻粪有税，而今只有屁无捐。”横批是：“民国万税(岁)”。四川军阀杨森敛财手段五花八门，通过投资地产、开办公司、贩卖烟土等赚钱。他在英、美和日本的银行都有巨额存款。重庆、汉口、上海等地有豪华的公馆，富得冒油。这些钱财正是他玩弄异性、满足淫乐的资本。

杨森，字子惠，原名淑泽，又名伯坚，他一生追求洋气和新潮，同时，还是民间秘密组织袍哥会的一名舵主。

杨森在国民党军阀中，以妻妾成群，儿女众多而出名，他公开的妻妾有12位，子女共有43人。

杨森的第一夫人是其发妻张氏，这是典型的父母之命，媒妁之言。成婚之初，俩人感情甚笃，张氏孝顺体贴公公婆婆，善待小叔小姑，又能勤俭持家，在杨家内外口碑甚好。后来，杨森考入成都陆军速成学堂后，张氏暴病身亡。

1908年，杨森从军校毕业后，遵从父母意愿，续弦广安老家的谭正德填房。谭氏为其育有长子、长女。杨森妻妾成群后，谭氏被冷落，独自守着广安老家偌大的宅院，孤影清灯，以92岁高龄谢世。

张灵凤，台湾新竹人。杨森年近90岁时，以招募秘书为幌子，将这位17岁的中学生弄进府中，完成了他人生的最后一次姻缘。

面对如云的妻妾，成群的子女，为了杜绝妻妾争宠，杨森采用平衡原则，与众多妻子睡觉的时间安排，杨森采取所谓的“轮宿制”，而且，为了不至于发生错乱引起纷争，他特派一名副官专门安排时间表，一切按表操作。

有一次，杨森在湖南督战，当天正轮到与留在成都的夫人同宿，这位副官跑来请示当天可不可“轮空”，等回成都后再补上。杨森考虑再三，为了不乱套，特别报告战区司令官薛岳，派出专机飞往成都把他的那位夫人接过来，睡一晚然后返回成都。一旦妻妾怀孕，即凭医生证明领取五千元生活费，倘使顺利产下子女，则可领取存于国外银行的补助费两万元。同时，还可以为子女领取一份丰厚的田产。

杨森自己随心所欲、放荡不羁，而对妻妾却管束甚严。为了维持家庭秩序，他治家如整军，采用军事化管理，分工明确，各有专司，无一赋闲，每人每月还领薪水若干。稍有触犯，便会遭到杨森无情的鞭笞。对于这些，杨森颇为自得，他多次向其他军阀介绍经验，大言不惭地说：“我实行的是军事化管理，不然那屋子人，咋个镇得住嘛。”

在众多的军阀中，杨森经历了辛亥革命、护国战争、军阀混战，抗日战争等历史时期，最后逃到了台湾，以九十六岁高龄寿终正寝。