史明在1949年回到台灣後,由於二二八事件的影響以及蔣介石以軍事統治台灣,史明深覺國民黨與中共並無二致;史明認為台灣人必須武力對抗蔣介石,因此他收集了二十多把步槍並秘密組織「台灣獨立武裝隊」。1951年底,由於反抗行動曝光,史明因此攜帶組織名冊逃亡。
史明坦言,他自認無法承受嚴刑逼供,除了逃亡或自殺外,他無法保證在逼供下能夠不出賣同志。為此,他在1952年潛入運輸香蕉到日本的貨輪〈天山丸〉由基隆偷渡到神戶,但他一到日本就遭到逮捕。日本政府原本要將他遣返台灣,而他也暗藏刀片,一旦被遣返回台灣,就當場在台灣自殺。未料,國民黨要求引渡史明,反而促使日本政府認定史明為政治犯,因此給予政治庇護,史明也隨後展開長達41年的海外流亡生活。