傳說中漢人移民進入台灣的第一人就是顏思齊。顏思齊出身福建海澄的人，他精通武藝是豪俠之士，少年時愛抱不平，有一次，有一個大官的奴才狐假虎威仗勢欺負善良的百姓，顏思齊看了不順眼，而錯手誤殺那名狗奴才，事後他畏罪逃到日本並且在平戶經營裁縫店，後來發了財變成有錢人。
那個時候來日本從事貿易的中國商船，如果與日本人發生糾紛。顏思齊常常做「無秋仔老大」出面來排解，並且他做人出手大方仗義疏財，所以很受人尊重。因為他對中國貿易事務以及深諳人情世故，而且對日本生活習慣也非常瞭解，所以由他排解商事糾紛，自然是得心應手，所以顏思齊的名聲非常大。
天啟四年（一六二四年），也就顏思齊三十六歲那一年，顏思齊中國友人楊天生、顏依泉、陳德等三十八個人推選顏思齊為首領，開始以海盜為生。 中國人從事航海事業的少，明朝的鄭和三次下南洋，表面講是為了宣揚大明帝國的威權，暗中都是一種政治追殺，當時明朝的皇帝極力要追討對他十分不滿的侄兒（惠帝）聽說他逃到南洋一帶，所以他派太監鄭和統領大批的船隊三次下南洋顏思齊的海盜事業是在日本與中國的海岸線進行，他的海盜武器齊備，來往在對馬海峽，東海、台灣海峽、琉球群島的船隻、無論是荷蘭、葡萄牙、西班牙的商船、甚至日本、中國的商船。
顏思齊全部照搶不誤， 這麼好賺的事業，自然會引起另外一批海盜的覬覦，於是日本海盜（倭寇）時常與顏思齊有衝突，戰鬥。這日本的歷史也有記載，可見顏思齊當時的氣勢何等的大。 鄭芝龍也是顏思齊海盜集團中的一份子，那個時候鄭芝龍只有二十一歲，他娶一個日本老婆，是田川家的查某子、生一個男嬰、取名叫做福松，他就是後來明朝亡前後最後一個英雄───鄭成功。