1928年8月，蔡孝乾為了躲避日本當(dāng)局搜捕，離臺(tái)灣潛至福建漳州。從1929年2月起，他先后在漳州的石馬（龍海）中學(xué)和龍溪中學(xué)斷斷續(xù)續(xù)教了幾年書(shū)，還在詔安當(dāng)過(guò)短時(shí)期的公路工程處臨時(shí)職員。為了做臺(tái)灣學(xué)生的工作，蔡曾在廈門(mén)住過(guò)一個(gè)時(shí)期。那時(shí)他與中*共中央只有橫的聯(lián)系，在組織工作上直接受上海的臺(tái)共總部領(lǐng)導(dǎo)。
1932年4月25日，紅軍攻下漳州后的第五天，地下檔員李文堂邀請(qǐng)他去蘇區(qū)工作。李文堂是海南人，海員出身，中華全國(guó)總工會(huì)中央蘇區(qū)執(zhí)行委員，1930年，他曾以巡視員的身份與蔡孝乾接觸過(guò)。在紅一軍團(tuán)政治部主任羅榮桓安排下，1932年6月，蔡、李任紅一軍團(tuán)政治部《紅色戰(zhàn)士報(bào)》編輯，后在列寧師范學(xué)校（團(tuán)校）任教，教社會(huì)學(xué)和土地學(xué)，后參加“反帝同盟”，負(fù)責(zé)殖民地人民部工作。
在瑞金幾年，蔡孝乾為周恩來(lái)翻譯過(guò)日文本馬列著作，如佐野學(xué)著的《國(guó)家論》，以及另外一本日文書(shū)，列寧原著《馬克思主義的三個(gè)來(lái)源和三個(gè)組成部分》。1934年1月作為臺(tái)灣代表，蔡孝乾參加了在瑞金召開(kāi)的中華蘇維埃“二大”，并被選為主席團(tuán)成員、中華蘇維埃共和國(guó)中央執(zhí)委。1934年10月，他參加中國(guó)工農(nóng)紅軍長(zhǎng)征，是長(zhǎng)征中唯一的臺(tái)籍共產(chǎn)檔人。
參加長(zhǎng)征是蔡孝乾最大的資產(chǎn)，蔡才在后來(lái)得以脫穎而出，當(dāng)上臺(tái)灣地下檔最高領(lǐng)導(dǎo)。1935年10月到陜北后，蔡曉乾擔(dān)任了“反帝聯(lián)盟”（后改為“抗日聯(lián)盟”）主席。1937年抗戰(zhàn)爆發(fā)后，蔡孝乾隨八路軍總部赴山西抗日前線。1938年上半年至下半年任八路軍總部野戰(zhàn)政治部敵工部部長(zhǎng)（至1939年），負(fù)責(zé)管理日俘和對(duì)敵宣傳。
1937年11月4日，美國(guó)友人史沫特萊來(lái)到山西陽(yáng)泉火車(chē)站八路軍總部，發(fā)現(xiàn)蔡孝乾幾人正在研究日本人的文件，這些敵工部的工作人員都會(huì)講日語(yǔ)，有些還是日本留學(xué)生。蔡負(fù)責(zé)處理一切繳獲的日方文件、日記和資料，也負(fù)責(zé)管理敵軍俘虜和對(duì)敵宣傳工作。蔡給她一份八路軍政治部致日軍官兵的宣言。以后幾天，史沫特萊和蔡孝乾等人同住黃土崖的一個(gè)山洞里。
翌日，一個(gè)日軍的漢奸翻譯被抓來(lái)，該翻譯是日本人辦的沈陽(yáng)警察專門(mén)學(xué)校的畢業(yè)生，史沫特萊發(fā)現(xiàn)蔡孝乾的義憤填膺，對(duì)這名漢奸頗為鄙視。1938年12月，蔡孝乾任八路軍民運(yùn)部部長(zhǎng)兼敵工部部長(zhǎng)。后因我檔“保護(hù)干部”的政策，考慮到前線危險(xiǎn)很大，而蔡這樣的人才太少，遂將他調(diào)回延安。
日本士兵田光繁于1938年8月29日夜，在河北邢臺(tái)附近被八路軍游擊隊(duì)俘虜，不久被送到八路軍政治部。1984年，他回憶道：“十分幸運(yùn)，平時(shí)接觸我們的八路軍干部都是精通日語(yǔ)的知識(shí)分子，他們十分平易近人。敵工部蔡部長(zhǎng)是臺(tái)灣人。”
調(diào)回延安后，蔡孝乾曾在《群眾》、《八路軍軍政雜志》、《解放日?qǐng)?bào)》上發(fā)表過(guò)《怎樣進(jìn)行敵軍工作》、《臺(tái)灣的今昔》等文章。1941年10月，他出席了在延安召開(kāi)的東方各民族反法西斯代表大會(huì)，并被選為各民族反法西斯大聯(lián)盟執(zhí)委。12月在東方各民族反法西斯大聯(lián)盟第一次會(huì)議上被選為同盟常委。他還是有20多名成員的“臺(tái)灣獨(dú)立先鋒社”的負(fù)責(zé)人。
1946年夏秋之交，中*共中央上海局成立了，劉曉任書(shū).記主持全面工作。1946年3月，蔡孝乾和張志忠（化名楊春霖、老吳，臺(tái)灣嘉義人，曾在抗大受訓(xùn)，新四軍軍官）等準(zhǔn)備回臺(tái)灣工作。5月，劉曉正式在上海成立了“中國(guó)共產(chǎn)檔臺(tái)灣省工作委員會(huì)”（簡(jiǎn)稱“臺(tái)灣省工委”或“臺(tái)灣省工委會(huì)”），蔡孝乾任工委會(huì)書(shū).記，陳澤民任副書(shū).記兼組織部部長(zhǎng)，洪幼樵任宣傳部部長(zhǎng)、張志忠任武裝部部長(zhǎng)。
1946年7月，蔡孝乾化名老鄭，從上海秘密返臺(tái)開(kāi)展工作。陳澤民化名老陳、洪幼樵化名老劉，為他最重要的兩個(gè)助手。陳澤民在抗戰(zhàn)前在上海左翼作家聯(lián)盟時(shí)就加入了中*共，奉命隨蔡來(lái)臺(tái)時(shí)，已是有10多年檔齡的中*共老檔員了；洪幼樵1916年出生于廣東揭陽(yáng)，1937年入檔，曾在抗大學(xué)習(xí)過(guò)，抗戰(zhàn)時(shí)在廣東、蘇北打游擊，具有武裝斗爭(zhēng)經(jīng)驗(yàn)。
從此，蔡孝乾、陳澤民、洪幼樵、張志忠和林英杰五人組成臺(tái)灣省工委，即成為共產(chǎn)檔在臺(tái)灣的“五巨頭”。
離開(kāi)臺(tái)灣18年的蔡孝乾，發(fā)現(xiàn)家鄉(xiāng)物是人非，他對(duì)戰(zhàn)后臺(tái)灣情況十分陌生，只好側(cè)重于聯(lián)絡(luò)老臺(tái)共檔員，建立組織。到1947年“二二八”起義前夕，臺(tái)灣省工委只有70多名檔員，弱小的臺(tái)共在起義中沒(méi)有發(fā)揮什么作用。