１９２６年起，任中共两广区委委员、区委监察委员会书记。１９２７年党的八七会议后，任中共广东省委常委兼省革命军事委员会主任、中共中央南方局委员。同年１２月参与领导广州起义，负责总指挥部参谋团的工作，并在一线指挥战斗，曾率领敢死队攻下了当时敌人重要据点广州市公安局。广州起义成立了广州苏维埃政府，张太雷任政府代主席，杨殷任政府肃反人民委员。张太雷牺牲后，杨殷被任命为广州苏维埃政府代主席。起义失败后，他积极组织退却，做了大量的善后工作。

　　１９２８年７月，杨殷在中共六大上当选为中共中央政治局候补委员、候补常委，任中共中央军事部部长。会后，他从苏联回国到上海。同年１１月起任中央政治局委员、常委。１９２９年１月起任中共中央军事部部长、中共中央军委委员、中共中央军委主任兼中共江苏省委军事部长。在上海工作期间，他与周恩来、蔡和森、苏兆征、李立三等领导人一起，经常研究部署各地的武装斗争和红军的领导工作。他曾亲自到山东、安徽、江苏等地，指导武装斗争，建立和发展革命武装，严惩出卖革命的叛徒和内奸，回击国民党特务的暗杀和破坏。

　１９２９年８月２４日，由于叛徒告密，杨殷与彭湃等一批共产党人在上海被捕。国民党军警察特务对他们软硬兼施，企图迫使他们屈服，从他们口中得到党的核心机密。他与彭湃等经受住了敌人的百般拷打与折磨，保持了共产党员宁死不屈的崇高气节。他们知道敌人不会放过他们，在给党中央的信中说：“我们已共同决定临死时的宣说词了。我们未死的那一秒以前，我们努力做党的工作，向士兵宣传，向警士宣传，向狱内群众宣传。”表现了共产党员至死不渝的理想信念。８月３０日，杨殷与彭湃等被反动当局秘密杀害于上海龙华。

　　１９３３年１０月，中华苏维埃共和国中央革命军事委员会决定，将中国工农红军第一步兵学校命名为中国工农红军彭（湃）杨（殷）步兵学校。