二人先后回到鹿兒島，不料卻被勒令離開(kāi)薩摩藩。他們感到勤王大勢(shì)已去，絕望之下，當(dāng)船行至錦江灣，相抱投海自盡。被救起時(shí)，月照已溘然長(zhǎng)逝，西鄉(xiāng)亦奄奄一息。島津久光把他流放到奄美大島。

1862年（文久2年）西鄉(xiāng)隆盛在已握藩中大權(quán)的大久保利通幫助下返回薩摩藩。解除處分后作為尊攘派開(kāi)始活動(dòng)。久光本想借助西鄉(xiāng)的聲望，以便實(shí)現(xiàn)自己入京勤王，繼續(xù)搞“公武合體”的計(jì)劃。

不料，西鄉(xiāng)反對(duì)，表面上是認(rèn)為久光威望和身分不夠。實(shí)際上其新的政治主張“尊王攘夷”與藩主的“公武合體”有矛盾，而且西鄉(xiāng)又與激進(jìn)的藩士們聯(lián)絡(luò)。久光一怒之下，將他流放到德之島，兩個(gè)月后再轉(zhuǎn)送到流放死刑犯人的沖永良部島的牢獄中。

然而再次被流放到小島。在獄中兩年，西鄉(xiāng)受盡磨難，卻閱讀了大量儒家著作，不時(shí)吟詩(shī)抒懷。

他的一首詩(shī)寫(xiě)道:“朝蒙恩遇夕焚坑，人生浮沉似晦明。縱不回光葵向日，若無(wú)開(kāi)運(yùn)意推誠(chéng)。洛陽(yáng)知己皆為鬼，南嶼俘囚獨(dú)竊生。生死何疑天賦與，愿留魂魄護(hù)皇城?！边@表達(dá)了他對(duì)死于安政大獄的志士們的追念之情，也闡明了他的生死觀和忠君勤王的志向。

三、參與維新

1864年，因倒幕派勢(shì)力增大和藩士們的要求，久光下令召回西鄉(xiāng)，并委以掌握薩摩藩陸海軍實(shí)權(quán)的重任。 此后五、六年間，是西鄉(xiāng)思想趨于成熟的時(shí)期。