曾国藩在同乡儒生罗泽南的帮助下，先建立起了一支数千人的队伍，然后逐渐扩大。曾国藩十分了解清朝八旗兵、绿营兵的腐败，因此，他在组建队伍时，首先着重从平民当中招募士兵，决不引进官僚子弟，其次是他十分注意宗族关系，把军队组建成一个血缘家庭性质的组织，以增强战斗力。
曾国藩的军队与清军和其他团练武装相比，有如下明显的特点：
一、士兵均来自质朴壮健的湖南乡民，既易于训练，又勇悍善战，坚决拒收城镇油滑市民和老兵油子，以免带坏了队伍。军官则多来自他的亲友中的读书人，要求肯为“卫道”、“忠君”而献身，不能急功近利，坚决杜绝清廷八旗贵族军官的争权夺利倾向。
二、把父子、兄弟以及有其他血缘亲属关系的士兵编在同一组织内，利用宗族亲缘关系维系士兵，使士兵打仗时能互相救助，且只能胜利，不能失败。一旦失败，全宗族就会遭到灭族之祸。曾国藩的这一招的确十分有效，把一支国家的军队变成了宗族军队，所谓“打仗还是亲兄弟，上阵还是父子兵”，战斗力果然大大地提高了。曾国藩的这一创举，也开了中国近代军阀的先河。