根据上级指示，1929年7月张云逸到了南宁，他首先面见俞作柏，并且很快就在俞作柏、李明瑞的军队中找到了立足点，迅速跟当时的党组织接上了关系。在这期间，先后到达广西的共产党员还有叶季壮、陈豪人、李谦等。
张云逸经党组织活动，担任了广西教导总队的负责人，不久又兼任了广西警备第4大队的大队长。教导总队建制共有3个营9个连，营长都是思想反动的旧军官。广西警备第4大队是李明瑞回广西后收容土匪、民团、散兵游勇编成的队伍，成分复杂，纪律涣散，思想基础很差。张云逸首先从掌握部队的领导权入手，安排共产党员在这两支队伍中担任连以上领导职务，排长也由思想比较进步的学员担任，与此同时，张云逸在各连建立了党的秘密支部，使党组织成为各连的秘密领导核心，从而牢牢掌握了这两支部队的领导权。