此时南阳郡守已经知道了自己意欲举兵的消息，随时可能来捉拿自己。刘伯升当机立断，起义照常进行。不久，刘秀等人的回来让刘伯升悬着的心放下了一丝。然而，这是族中许多人却不同意起兵，因为他们害怕，起义不成等待他们的是诛灭三族之祸。
其中，刘秀等人最为敬重的刘良也极力反对。刘秀兄弟为了防止他泄密，派人严密看护住他，同时积极筹划，向族人鼓动。终于，经过一番计较，全族人上下一心，决定破釜沉舟，举行起义。在刘伯升的带领下，舂陵刘氏子弟，总共七八千人与绿林军首领王匡、陈牧等人汇合。
这年十月，刘伯升、刘秀兄弟与李通及其堂弟李轶等人在宛城正式起兵，这年刘秀二十八岁。