杨志仁被调任湖北后，心知定然是严嵩的意思，此后行事便更加小心。但身在官场，稍不留意，便会将自己置于危难之中。经过光泽镇灭门命案、泉州府私贩甲胄案，杨志仁在朝中已是名声大震，同时亦得罪了当朝权臣严嵩。志仁本欲继续追问私贩甲胄案，但突然被调任湖广，匆忙赴任，不得已放弃了追问，最后此事亦不了了之。最终吕乐被刑部以谋反罪论处，累至九族，置于背后的严世冲，因其人已死，便不再有人追问，志仁听说，心痛不已！倒不是因未保得吕乐家小，而是明明此事背后有人指使，但没人过问。志仁不禁叹道：“朝堂之暗，不见天日！”

    志仁任湖广都司后，就不再参与政务，虽然官位品阶无变化，但已然由文官变成了军职，日后升迁将极为艰难，好在志仁并不在意，依旧满腔热血的去赴任了。刚来治所，便见都指挥使等一众官吏在后衙喝酒划拳，毫无半点军纪。志仁气愤不已，当即发火道：“都使之职，协防于驻军，协调郡县所治，乃一方安定之屏障，诸位竟弃军务于不顾，聚众喝酒撒欢，成何体统！”

    湖广都指挥使金传芳见来人开口即骂，亦是火冒三丈，当即骂道：“何来竖子？竟也敢管军爷之事？”

    志仁道：“在下新任湖广都司杨志仁，前来报道！敢问哪位是都使大人？”

    金传芳见状，骂道：“我便是湖广都指挥使金传芳，你个小小都司亦敢管都使之事，先治你个忤逆之罪，打上五十军棍再说！”

    还不等志仁开口，就来了两个军士，架着志仁便走了出去，痛打了五十军棍。那军棍比刑部制定的杖要细上许多，志仁刚开口骂道：“我定要去参你一本，治你个玩忽职守之罪！”话音未落，志仁便被钻心疼痛袭来，才十余下，志仁便已晕了过去。

    此时一位叫秦珂的官员酒醒了些，见来人来报：“犯人杨志仁已昏死过去，请问大人，是否继续施刑？”

    秦珂道：“你尽管打，凭你打死他也不会有人怪罪你！”

    来人领命，刚欲离去，只见这人道：“你说方才被打的人叫什么？”“回大人，犯人名叫杨志仁，是新调任的湖广都司！”

    秦珂吓得一屁股坐到了地上，随即连滚带爬的去找金传芳，只见那行刑的小吏不知如何是好，只得呆在原地待命。到金传芳身旁后，秦珂使劲摇着金传芳道：“金大人，快醒醒，快醒醒，我们捅了大篓子了！”

    金传芳闻言，亦酒醒大半，问道：“捅了什么大篓子？”

    秦珂道：“你方才将杨志仁给打了！”

    金传芳听罢，亦瘫坐在椅子上，不知所措。金传芳虽为都指挥使，是正二品禄，想比志仁来说高了四级，按理来说，打他要一顿也不要紧。但今天他打的人是杨志仁，当今朝廷谁不知杨志仁，他还是前内阁首辅张孚敬的女婿。三十一口命案，私贩甲胄案，个个都是惊天动地的大案子，连皇帝都惊动了。今日将杨志仁打了，按志仁的性格，他日定然会参他一本，他倒不怕被参玩忽职守，他甚至不怕别人去参，只是志仁不同，朝中许多官员都是他父亲、爷爷的旧识。只怕是被人查出他贪墨军饷，私贩兵甲的事情来，这可是千刀万剐的大罪！于是赶忙前去查看，只见敬廷已然昏死过去，金传芳赶忙令人松开志仁，又让人用一大口凉水将他喷醒。志仁醒来，只知屁股钻心的痛，愤然骂道：“好你个金大人，当值之时，竟带领手下在此聚众喝酒，倘若有匪患，你该如何应对？倘若大明军士都如你这般，那大明岂不早要亡了？”

    金传芳不敢发怒，只是小心赔罪道：“在下喝昏了头，竟将杨大人打了，实在该死!”随即唤道：“来人，赶紧带杨大人去治疗伤势！”两小吏前来，又驾住志仁前往军医处治疗伤势。

    志仁此时亦非常不解，他以为此都使金大人十分嚣张跋扈，但今日误打了自己，为什么好似还特别害怕了起来？按理说，鞭打下属，亦不违反法度，只要不是随意殴打，都不会有什么大问题，为何这金大人似乎对他特别客气呢？来不及多想，老军医先是一口烈酒喷到了志仁的屁股上，志仁顿时便觉得如同用刀在剌他身上肉一般疼痛，忍不住大喊了起来！

    此时金传芳亦前来了，前来小心给志仁赔罪道：“志仁兄弟，方才实在对不住，未看清来人是你，还请见谅！”

    见金传芳态度谦虚，志仁火气便也消了大半，只对金传芳说道：“金大人为何不在职上，怎么在此喝起酒来了呢？”

    金传芳道：“湖广历来都比较安定，也就湘西和靠近贵州的地方时常有匪患，一不御外敌，二不平内乱，此处也的确没有什么事情可做，这才与众兄弟喝起了酒来。”

    志仁道：“也罢！也罢！待我先调养一番，你这顿军棍可差点要了我的命。”

    金传芳道：“志仁兄弟，实在抱歉，改日我定上门赔罪！”

    志仁见金传芳谦逊，便也原谅了他，只是回到府中时，张琳见志仁一身伤回来，忙问怎么回事。志仁如实相告，张琳闻言大怒，当即便要写信告诉爹爹替他出头。志仁不许，对张琳说道：“这金大人喝昏了头，才误打了我一顿，我见这金大人，十分谦卑，私下定然也是一位爱民如子的好官，不必深究了！”

    张琳见丈夫一身伤痛，亦十分心疼，赶忙翻箱倒柜去找药，给志仁敷上，才放下心来。好在打志仁板子那小吏报得及时，也才让志仁保住了一条性命。张琳见志仁即便被屈打了一顿，也不曾怨恨别人，心中更加不是滋味。

    嘉靖二十三年四月，杨青给黄萍写了一封信，令整个杨家陷入悲痛。孟养土司受缅甸攻打，孟养土司向朝廷求援，杨青、杨同仁等戍边军队，都被派去支援，一场冲突中，杨同仁所在营四百一十七人被缅甸东吁五万军队围住，多次突围未果，杨青听闻，立刻带数百人前往支援，但还未到达，便与东吁先头部队遭遇，无奈不敌败走，待再得同仁消息时，得知同仁已然战死。杨青悲痛万分，不顾危险前去替同仁收敛，他不知该如何面对黄萍，不知如何面对已经死去的李文蔓。待消息传到新都时，黄萍当即晕倒在地，而敬斋亦吐血半升，宁仁、资仁、兴仁听闻兄长战死，无不悲痛。直到一个月后，消息才传到了志仁耳中，志仁听闻，当即跪倒，对着同仁逝去的方向嚎啕大哭，张琳见志仁如此，十分心疼，默默陪在志仁身侧。

    听闻同仁战死，志仁随即便告假奔丧，金传芳批许，志仁随即便往回赶。可在途经巴中时，志仁竟遇到杀手。这日志仁正心急如焚，发现张琳怀了身孕，不便快行，于是便雇了一辆马车送张琳回蜀，而自己乘快马先行，二人在巴中分别，不竟这一别便已是天人永隔。

    二人分别才半日，张琳便与杀手相遇，包括车夫一起，两尸三命，暴尸荒野。志仁回到新都后，忙于同仁的丧事，也未曾留意到张琳已然过了回蜀的日子，却依旧没有回来。待同仁下葬后，志仁才发现，张琳还未归蜀，也未曾写过一封书信回来，这令志仁暗道不妙，与黄萍简单交代后，便匆匆前往寻找。黄萍也暗道不好，责怪志仁将有身孕的妻子丢在半路，这么久未曾回来，想必定然遇到了什么事，她不敢往下想去了。

    志仁在寻到忠县时，果然听说了当地发生了命案，一位夫人与车夫都死在了官道旁，女人的脖子几乎已被斩断，十分凄惨。志仁听闻，赶忙去当地官府打听，才发觉遇害的正是张琳。志仁如五雷轰顶，才料理完同仁的丧事，新婚不久的妻子便遭遇不测，跪在地上久久不愿起来。忠县知县见死者是湖广都司的夫人，亦是十分慌张，忙遣人日夜调查，虽张琳死在了白天，但那时官道并无车马经过，竟一时找不到半点证据。志仁哪里知道，杀手是严嵩之子严世蕃所派，原先本是盯着他的，见二人分别，便临时改变主意，就杀了张琳。由于杀手当晚便退回京城，最终张琳死因也并未被查出，面对如此打击，志仁伤心不已，随后便辞官回乡，安心侍奉黄萍与敬斋。

    黄萍得知儿媳被害，不知如何是好，当夜便独自跑到祠堂偷偷哭泣，一众人找了大半夜，才在祠堂找到早已哭晕的黄萍。

    杨家接连经受打击，敬斋亦难以接受，生了一场大病。自志仁回到新都后，整日酗酒，不过问任何事情，黄萍见此，多次相劝，但都劝不动志仁。无奈黄萍便给杨青写信，杨青听闻，亦写了一封万言家书给志仁，志仁读罢，竟付之一炬。嘉靖二十三年十一月，杨志仁竟跑到峨眉山出家去了，黄萍见此，气得呕血三升，当场不省人事，整个杨家如同风雨中摇摇欲坠！