AI,ML,NLP工程師面試經驗分享-台達,鴻海,廣達,瑞昱,華邦電,宇泰華
1.台達研究院 NLP Engineer
3月中旬PTT科技業版找人內推。內推完隔兩天收到HR電話邀約面試，一周後線上一面。 一面為工程師面試。先叫我自我介紹，簡單介紹一下背景、做過的專案、碩士修課和碩論內容約20分鐘。會先針對你自我介紹的內容作題問。主要表明這個工作就是做聊天機器人，會大量應用到RAG的技術。接著對方就詢問RAG的技術細節，包含如何對文字做embedding、如何建立向量資料庫，如何結合LLM，還有一些prompt engineering技巧。 結果: 一周後收到感謝函
2.華邦電子 竹北-Machine Learning Engineer
3月中LinkedIn HR主動私訊詢問電訪時間。一面應該算HR打電話來，電訪約30分鐘，也是問背景、工作經歷、學歷等。有問幾個behavior question比方說如果遇到和主管同仁意見不合的時候，會怎麼處理；遇到主管交派不合理的要求，要怎麼處理等等。電訪完HR覺得我還行，邀約我至竹北辦公室用人單位面試。
二面:竹北華邦，用人單位 面試官是AI team的主管和和另一位工程師，一開始先叫你做簡單的自我介紹，照著投影片介紹完一輪之後，開始從學經歷問問題。不過我覺得他們問的問題有點奇怪，給我的感覺很不專業，根本不像是AI工程師會問的問題。 第一題從我碩論問，因為我碩論的骨幹模型是transformer架構，他就問我transformer跟CNN主要的差異在哪，為什麼transformer在視覺任務可以表現得比CNN好。
第二題說你把我當成是一個AI小白，對我解釋你的碩士論文。 第三題說如果有個模型只有100個參數要怎麼訓練。 這三題聽完我覺得有點莫名其妙，除了第一題之外完全不知道怎麼答。我覺得問題本身就有問題了。尤其是三，我真的還沒聽過100個參數的模型。隨便瞎掰一通之後草草結束。
最後說明工作內容，說他們team除了主要負責開發AI產品之外，還要對非資訊單位的USER進行AI賦能。意思是要教育User如何使用AI提升生產力和效率。有點像教育訓練教官的意思。我面的是Engineer，這感覺是PM要做的事吧。聽完我整個就沒什麼興趣。 結果:一周後收到感謝函。二面從問的問題到職務內容我整個就覺得很荒謬。
3.瑞昱半導體 電腦周邊事業群-音訊演算法開發工程師
3月中瑞昱官網履歷主動投遞，但是我投的是AI Machine Learning的缺，不知道為什麼找我來面試這個。螃蟹是不是都亂槍打鳥做KPI阿。 一面是線上，由工程師面試。一樣叫你先自我介紹，介紹完問兩題白板題。一題是倒水的，水倒來倒去要配出4公升。還有一題演算法DP，給兩個字串找最長子字串，寫pseudo code就好。
之後針對你的自介發問。 結束後說明工作內容，做軟體工程，算是寫演算法的，主要使用C++。針對音訊的數位訊號如何跑在公司的產品上做優化，也有深度學習的應用，但是偏inference方面的，就是如何讓神經網路模型能跑在瑞昱的IC上功耗降低，記憶體使用效率增加等等。也有一部分是做自動化，也就是開發一些自動化軟體能讓工程師日常作業量降低。說明工時時我有點被嚇到，他說他們9:30上班，大概21:00左右下班。沒有加班費，加班費的部分會包含在分紅裡面。
然後說最近歸功於自動化軟體，有好一點大概20:30就可以下班。 一面結束之後不到一週，hr email來約二面。二面好像是個小主管，再叫你做一次自我介紹，之後也是從自介發問。這次就沒有問程式或技術，都是針對人格特質發問。比方說遇到問題怎麼處理等。印象比較深刻的問題是【如何用幾個形容詞描述你這個人?】【對你來說你覺得最重要的核心價值是什麼】。我自認我這些問題並沒有答的很好，有些語塞最後擠出幾個字而已。
4.鴻海精密工業 中央資訊-Machine Learning Engineer
4月中從104上投遞履歷，隔天主管寄信邀約面試。 一面是一個model team的leader跟一個infra工程師兩人面試。先叫我自我介紹然後從自介發問，問的問題像是【如何讓你碩論的大模型能跑在邊緣裝置上】【如果模型在testing set上表現不好要怎麼改善】【有沒有使用過多模態模型的經驗】等等。之後說明工作內容，提到目前這個AI團隊有大概30人，分成PM、Infra跟模型工程師，主要開發項目是用AI工具及軟體幫助工廠及產線提升效率及降低成本，也會有研發的需求，需要定期跟上級主管報告。一面完之後約二面。
二面是兩週前會丟一個小專案給你，內容是使用OpenAI的開源多模態模型(圖片與文字)，並且使用Kaggle上的一個公開資料集去微調它。專案要求做整個finetune流程及跟其他方法的比較，要做簡報約15頁。簡報內容我是寫了整個實作的流程包含探索性資料分析、資料前處理、資料增強、模型選擇、實驗結果、跟其他模型的比較、未來改善方向、說明與結論。
二面報完以後兩位工程師針對我做的內容提了一些問題，比方我我如何確定目前的模型是overfitting的，overfitting有幾種解法，你是如何下這些結論的。二面完安排線上人資制式評測，考英文、邏輯測驗、人格測驗等。 之後又約了三面，由比較高階一點的主管面試和其他兩位工程師一起，我覺得這次面試很特別。
三面先要求你把二面的東西再報一次。報完之後由主管先把我洗臉一頓，說覺得我的方法很不嚴謹，結論下的很草率。沒有足夠的實驗證據，直接做出這個結論很危險。我的觀念不是很正確。還問我花多久時間做這個實驗。然後接著補充我的能力跟他們團隊的工程師還有很大一段差距，可能我在原工作9年的年資，只跟他們團隊裡2年的工程師能力差不多。我還需要很大的進步。 第二位工程師繼續說，雖然剛剛主管這樣說你，但是從你的實驗和簡報中，我看得出你很有潛力，學習的也很快，腦袋也很聰明，如果你願意努力一點，我們這裡絕對有好的環境可以讓你一年內迎頭趕上。
最後第三位工程師說我知道你為什麼會現在不上不下，我覺得一定是環境的關係。因為你待在傳產，公司不看重AI也不願意投資。所以第一你沒有好的同事可以互相求問進步，第二你沒有足夠的運算資源可以讓你好好做模型。你就這樣被困在困境中。我們鴻海有三十幾人的AI團隊，今年還預計擴編一倍，其中的同仁都是這領域的箇中翹楚，許多博士也在我們團隊裡面。另外我們鴻海有好幾台DGX Server，還是不夠的話Azure上的A100隨便你開，你在我們團隊絕對不需要擔心算力的問題。現在只看你願不願意跳脫舒適圈，到更寬闊的地方接受更大的挑戰。我自己先給予正面回應之後。主管說會再請人資我跟聯繫。最後昨天人資主管打來跟我確認offer。
104投遞履歷，隔天人資打來約線上面試。 一面是由一位工程師面試，一樣先叫你做自介，然後也是針對自介問題發問。比較特別的是我覺得這位面試官人蠻好的，他提醒我我的自介裡列的專案很多是現職的公司專案，他不建議我把一些含有公司的系統架構與開發方法，內部細節等直接跟別的公司的人提，因為可能會有智財權的問題。但是他還有針對我的自介中專案內容發問。
問題不外乎也是【為什麼在這個專案中要使用這個模型，有沒有做過其他模型效能的實驗】【如果這個模型太大，算力成本無法支持時有什麼替代方案】【你覺得模型在處理語音信號跟文字資料時，最大的不同在哪裡】等。然後他說明工作內容，他表示這是廣達的研發單位，主要是做一些協助公司生產單位導入AI的事，目前也在擴編中，所以才有這次招募。算力的問題不用擔心，好幾百張GPU可以提供使用。團隊組成分成PM、Data Scientist跟Software Engineer，各司其職做不同的事，目前團隊約30人。 最後算是相談甚歡，聊了蠻久大概一個半小時。他還問我家住哪裡，回答之後他說他家跟我家住很近，以後可以一起通勤上班。
再請自己認識的朋友內推一次，不過朋友是在中壢廠上班的偏法務單位。他說工程類職缺他也不熟，但是可以幫我把我的履歷轉給他們HR。內推後等了兩三週吧，HR主動打來說我兩個月前有面試過另一個職缺了。問我要不要再試試看這個職缺，我答應後就安排一面。 一面是兩位工程師，一樣先自介後從我的自介發問。問的問題和大語言模型相關，如【之前你說你有微調過開源大模型，可以說的更細一點嗎】【詢問LoRA的原理，我之前做專案的時候是怎麼選擇Rank要設多少的】【問量化的技術，混精度訓練時要怎麼做】【詢問不同語言模型的特性，如GPT、Llama、Gemini各有什麼特點與不同】等等。
之後說明工做時表明主要是使用大模型做程式碼工程的部門，開發的應用為使用大語言模型做程式碼生成，程式碼改寫，程式碼優化等。因為台達有許多程式碼屬於內部機密，不適合也不放心使用雲端的平台如CHATGPT或AOAI，所以有自己微調開源模型的需求。一面完之後大概過兩天就約二面。 二面是一位技術主管。
一樣叫我先自介一次，之後針對自介問題發問。他提到這個單位算是台達的研發單位，需要隨時趕上最新最前緣的技術，所以要常常看論文、發表會。然後問我有沒有注意最近兩場比較大的AI產品發表會(當時一場是gpt4o、一場是Google I/O大會推出Gemma 2)，其中的內容是什麼。還好我平常喜歡看科技新聞所以都答得出來。然後請我分享一下有沒有用過gpt4o，覺得跟gpt4最大的不同與特點是什麼。
然後問我覺得未來大模型發展的趨勢是什麼。我直接回答多模態模型，所有模型最終都會朝多模態發展，然後我簡單地說明了一下多模態模型。最後問我覺得語言模型在程式碼工程上除了做程式碼生成跟改寫優化，還能夠做什麼應用。最後也算是相談甚歡。結束時跟我說靜候通知。 過一週HR打來跟我談核薪核職。
104上hr主動私訊邀面試。 一面是發一張考卷來，18:00讓你寫到19:00。內容為前半段機器學習、深度學習相關。後半段是SQL語法跟類似leetcode easy的題目。寫完考卷後HR約線上面談，請我自我介紹跟針對自介發問，然後說明公司地點跟工作環境。當場約了現場面試。 後來到南港他們的辦公室現場面試，跟兩位AI team的工程師面試。一樣先自介後對自介發問。問的主要是模型訓練與微調相關的問題。
最後說明現在AI team較多是在研究多模態模型，因為該公司的產品需要用同時處理語音、影像、文字資料。至於產品是什麼因為還在研發階段所以不能透漏。不是playsee現在那個app，是一個全新的AI app產品。最後跟CEO面試，我感覺不太像是面試，反倒像是經驗分享。
CEO說明為什麼想創立這家公司，說明這家公司的未來願景跟藍圖，然後說他們的產品優勢在哪邊，商機有多大。然後勉勵我們年輕人多看多學，讚許我願意從傳產跳出來。 隔天人資經理說明工作環境(免費三餐)與薪資福利，並詢問我期望薪資。開價之後對方說要再討論看看。 結果: 對方表示開價太高無法達到，祝福我找到合適的工作。