1928年8月，蔡孝乾為了躲避日本當(dāng)局搜捕，離臺灣潛至福建漳州。從1929年2月起，他先后在漳州的石馬（龍海）中學(xué)和龍溪中學(xué)斷斷續(xù)續(xù)教了幾年書，還在詔安當(dāng)過短時(shí)期的公路工程處臨時(shí)職員。為了做臺灣學(xué)生的工作，蔡曾在廈門住過一個(gè)時(shí)期。那時(shí)他與中*共中央只有橫的聯(lián)系，在組織工作上直接受上海的臺共總部領(lǐng)導(dǎo)。
1932年4月25日，紅軍攻下漳州后的第五天，地下檔員李文堂邀請他去蘇區(qū)工作。李文堂是海南人，海員出身，中華全國總工會(huì)中央蘇區(qū)執(zhí)行委員，1930年，他曾以巡視員的身份與蔡孝乾接觸過。在紅一軍團(tuán)政治部主任羅榮桓安排下，1932年6月，蔡、李任紅一軍團(tuán)政治部《紅色戰(zhàn)士報(bào)》編輯，后在列寧師范學(xué)校（團(tuán)校）任教，教社會(huì)學(xué)和土地學(xué)，后參加“反帝同盟”，負(fù)責(zé)殖民地人民部工作。
在瑞金幾年，蔡孝乾為周恩來翻譯過日文本馬列著作，如佐野學(xué)著的《國家論》，以及另外一本日文書，列寧原著《馬克思主義的三個(gè)來源和三個(gè)組成部分》。1934年1月作為臺灣代表，蔡孝乾參加了在瑞金召開的中華蘇維埃“二大”，并被選為主席團(tuán)成員、中華蘇維埃共和國中央執(zhí)委。1934年10月，他參加中國工農(nóng)紅軍長征，是長征中唯一的臺籍共產(chǎn)檔人。
參加長征是蔡孝乾最大的資產(chǎn)，蔡才在后來得以脫穎而出，當(dāng)上臺灣地下檔最高領(lǐng)導(dǎo)。1935年10月到陜北后，蔡曉乾擔(dān)任了“反帝聯(lián)盟”（后改為“抗日聯(lián)盟”）主席。1937年抗戰(zhàn)爆發(fā)后，蔡孝乾隨八路軍總部赴山西抗日前線。1938年上半年至下半年任八路軍總部野戰(zhàn)政治部敵工部部長（至1939年），負(fù)責(zé)管理日俘和對敵宣傳。
1937年11月4日，美國友人史沫特萊來到山西陽泉火車站八路軍總部，發(fā)現(xiàn)蔡孝乾幾人正在研究日本人的文件，這些敵工部的工作人員都會(huì)講日語，有些還是日本留學(xué)生。蔡負(fù)責(zé)處理一切繳獲的日方文件、日記和資料，也負(fù)責(zé)管理敵軍俘虜和對敵宣傳工作。蔡給她一份八路軍政治部致日軍官兵的宣言。以后幾天，史沫特萊和蔡孝乾等人同住黃土崖的一個(gè)山洞里。
翌日，一個(gè)日軍的漢奸翻譯被抓來，該翻譯是日本人辦的沈陽警察專門學(xué)校的畢業(yè)生，史沫特萊發(fā)現(xiàn)蔡孝乾的義憤填膺，對這名漢奸頗為鄙視。1938年12月，蔡孝乾任八路軍民運(yùn)部部長兼敵工部部長。后因我檔“保護(hù)干部”的政策，考慮到前線危險(xiǎn)很大，而蔡這樣的人才太少，遂將他調(diào)回延安。
日本士兵田光繁于1938年8月29日夜，在河北邢臺附近被八路軍游擊隊(duì)俘虜，不久被送到八路軍政治部。1984年，他回憶道：“十分幸運(yùn)，平時(shí)接觸我們的八路軍干部都是精通日語的知識分子，他們十分平易近人。敵工部蔡部長是臺灣人。”
調(diào)回延安后，蔡孝乾曾在《群眾》、《八路軍軍政雜志》、《解放日報(bào)》上發(fā)表過《怎樣進(jìn)行敵軍工作》、《臺灣的今昔》等文章。1941年10月，他出席了在延安召開的東方各民族反法西斯代表大會(huì)，并被選為各民族反法西斯大聯(lián)盟執(zhí)委。12月在東方各民族反法西斯大聯(lián)盟第一次會(huì)議上被選為同盟常委。他還是有20多名成員的“臺灣獨(dú)立先鋒社”的負(fù)責(zé)人。
1946年夏秋之交，中*共中央上海局成立了，劉曉任書.記主持全面工作。1946年3月，蔡孝乾和張志忠（化名楊春霖、老吳，臺灣嘉義人，曾在抗大受訓(xùn)，新四軍軍官）等準(zhǔn)備回臺灣工作。5月，劉曉正式在上海成立了“中國共產(chǎn)檔臺灣省工作委員會(huì)”（簡稱“臺灣省工委”或“臺灣省工委會(huì)”），蔡孝乾任工委會(huì)書.記，陳澤民任副書.記兼組織部部長，洪幼樵任宣傳部部長、張志忠任武裝部部長。
1946年7月，蔡孝乾化名老鄭，從上海秘密返臺開展工作。陳澤民化名老陳、洪幼樵化名老劉，為他最重要的兩個(gè)助手。陳澤民在抗戰(zhàn)前在上海左翼作家聯(lián)盟時(shí)就加入了中*共，奉命隨蔡來臺時(shí)，已是有10多年檔齡的中*共老檔員了；洪幼樵1916年出生于廣東揭陽，1937年入檔，曾在抗大學(xué)習(xí)過，抗戰(zhàn)時(shí)在廣東、蘇北打游擊，具有武裝斗爭經(jīng)驗(yàn)。
從此，蔡孝乾、陳澤民、洪幼樵、張志忠和林英杰五人組成臺灣省工委，即成為共產(chǎn)檔在臺灣的“五巨頭”。
離開臺灣18年的蔡孝乾，發(fā)現(xiàn)家鄉(xiāng)物是人非，他對戰(zhàn)后臺灣情況十分陌生，只好側(cè)重于聯(lián)絡(luò)老臺共檔員，建立組織。到1947年“二二八”起義前夕，臺灣省工委只有70多名檔員，弱小的臺共在起義中沒有發(fā)揮什么作用。