【學長姊帶路】卓騰語言科技 暑期實習心得分享

原標《【2023】卓騰語言科技 實習心得|Summer Internship @Droidtown Linguistic Tech.》

文/Chris Loading

用時間軸簡單介紹一下自己:

【2020.7–2021.7】明基電通BenQ|整合行銷中心|實習生

【2021.6】東吳大學英文學系|畢業

【2021.9–2022.6】中興大學資工系 & 智創學程(均大一)|隨班附讀

【2022.11–2023.2】陸軍|義務役

【2023.7–2023.9】卓騰語言科技|實習

2022歲末,入伍前因學長介紹得知卓騰語言科技(Droidtown Linguistic Tech. Co, Ltd.),經由卓騰經營的YouTube頻道(極力推薦!),以及Facebook粉絲專頁,漸漸了解這家目前台灣唯一堅持做linguistics-based NLP的公司。

【學長姊帶路】卓騰語言科技 暑期實習心得分享
卓騰語言科技暑期實習心得分享

當時我正處於畢業後極度焦慮迷惘的狀態,不斷嘗試尋求各個機會。雖說曾在語言學概論課堂中得知有一門相似概念的領域Computational Linguistics,卻很快地消逝在記憶的洪流。而在語言學與資訊科學交叉口的卓騰,對我來說正是有如新天地般的衝擊。

每年暑期,卓騰定期舉辦短期實習,並公告於其Facebook粉絲專頁

歡迎任何具有Python3使用經驗,對語言學、資訊科學、語言處理等有興趣的投遞者,通過第一階段審核後,由卓騰發出一個簡易Python程式題目,以確保做進一步的討論時,大家的程式能力足以跟上實習的基本要求。

活動為期約十周不等,分為兩階段,每周五下午在台北市信義區的卓騰辦公室,均由卓騰的負責人PeterWolf親自主持。

第一個月是學理的說明,涵蓋語言學、基礎程式設計、科技時事分享(業界秘辛?)等,並會直接呼應到此階段結束後的考核內容。

一開始Peter就用簡潔的問題替實習拉開序幕:「語言是什麼?」,以發言、討論的方式,替來自不同背景的大家建立語言學重要概念,並循序漸進地帶到卓騰的兩大核心技術:Articut 斷詞系統, Loki 自然語言理解(NLU)引擎。

Articut是根據「語法規則」設計的斷詞系統,涵蓋詞性標記 (POS) 與命名實體識別 (NER)。(是的,語言的規則是有限的,寫得完的!)因此,在設計任何語言的斷詞系統時,都可以依據同一套語法規則建立,所差者在於「參數」規則的不同。

也呼應至Peter開場的問題,什麼是語言?語言是人類所獨有,演化出的一套思考、組織想法的機制,「內建」在人類大腦中。今日各種不同的語言,即「填入不同參數」的結果。

那,LLM有語言理解的能力嗎?我想,連內建了人類語言機制的小六學童,都能在稍加思索後,對一般的語言轉品、斷詞、歧義等問題做出正確的理解/判讀,還遠不需、也不可能有動輒數十億、百億以上 token 的 input 刺激,這個問題的答案便呼之欲出了。

Loki則是在Articut的基礎上,進一步使用Structural Pattern Matching進行比對以「理解」語意的NLU引擎。以三層結構:project, intent, utterance分別呼應人類在使用語言、理解語意時關鍵的三要素:在什麼語境下、想表達什麼意圖、以及說出的話語。

Key Takeaways:

LLM有沒有語言理解的能力?

什麼是一個字(word)?一個詞 ( phrase)?一個 token?一個字符 ( character)?

Articut斷詞系統

Loki NLU engine 及其三層架構:project(context), intent, utterance

而在通過考核後,第一階段的尾聲,經過一個月的腦力激盪,大家彼此也有一定的認識之後,會開始分組,準備實習第二階段,開始工作坊形式的專案衝刺開發!

在第二個月第一周,各組須輪流提交專案proposal與Peter討論架構/可行性等。若在第一階段時就有專案/分組的想法,那麼在通過考核後就能更快的提案以及修改,並及早動工。也可以先參考之前學長姐們的專案來發想自己想要做什麼!(DT GitHub/LokiHub)

當時我與語言所的Emily與資工系的Brian一組,剛好都是我在兩個領域知識的大前輩XD,與不同背景的人交流、實作,真的非常過癮!

我們這組決定開發相對沒有標準答案式的「感情小助理 RelationshipBot」。先蒐集常見的感情問題,使用Loki的三層架構,在有限的時間內,定出6大context/project後,往下劃分出各intent,有了明確的語境+意圖,便能盡可能使用有限的utterance「框住」這個想表達的意圖。再配合LLM「生成」的特性,替我們天馬行空的「接龍」、「換句話說」出各式各樣(若是依靠我們手動輸入建立,不合時間/腦力成本)的答案,頗有「將Broca’s area接上Wernicke’s area」的味道,互相補上了對方沒有的部分。而我們最重要的工作便剩下快速的最終篩選(決策!),以防LLM的幻想等差錯。

Key Takeaways:

Git/GitHub 版本控制/協作

Let NLU(Loki) work with LLM(ChatGPT)!

看到這裡,還留下來且對卓騰/實習有興趣的各位,強烈推薦搭配以下妙方服用:

  1. 卓騰Youtube的影片,按排列清楚的播放清單看過一次,其中兩個更是等於在大學上了完整的一堂課,獲益無窮XD
  2. 卓騰Document
  3. 卓騰GitHub
  4. 動手試一試、玩一玩吧!

綜觀卓騰實習,非傳統「授課」、「上下有別」的方式,Peter透過大螢幕 & 白板即時分享與書寫,極力促進所有人多向的即時討論溝通、激盪發想,更體現在期中考核的方式:所有人在當周,均須在Discord頻道中一同交流討論想法,為列入評斷的依據。

「標準答案」、「不求甚解」式的單向輸入,並不會在卓騰發生。相信大多數人(或至少對我自己來說),一路走來,極少有機會參與這麼棒的即時「思考討論」、「提出問題」式的學習。
Peter最常說的其中一句話就是:歡迎大家提出問題討論呀!不論是現場或是Discord!隨時!

這十周對我來說,真的是非常珍貴的衝擊。

感謝Peter, 卓騰的前輩們,還有一同實習的大家。何幸之有能讓我在2023暑期,有這麼一個難忘精彩的夏天!

願大家一切順利,都能堅定地在自己的道路上,勇敢前行。

本文由 Chris Loading 授權轉載, 原文: 《【2023】卓騰語言科技 實習心得|Summer Internship @Droidtown Linguistic Tech.》

___________

你也有經驗想分享嗎?快來投稿賺稿費吧!

瀏覽 685 次

覺得不錯的話就分享出去吧!

發佈留言

Back to top button