

工作職責:
(一)工作任務 航運物流大模型的預訓練(128K上下文能力) 航運物流大模型的微調(SFT) 航運物流大模型的小型化 多模態大模型的預訓練微調 時序大模型預訓練微調、與大語言模型的融合 吸收融合通用大模型中的先進技術 價值觀對齊訓練 人類經驗回饋訓練 內容生成的效果評估方法與系統 多模態大模型的訓練、推理服務 業界開源大模型與商業大模型的體驗系統 對外穩定服務
(二)解決問題 航運物流大模型在訓練、推理技術上的持續不斷精進,融合業界的先進技術確保輪船的技術能跟得上 航運物流大模型內容生成的安全性 內容生成的效果評估方法 業界開源大模型和商業大模型的創新體驗中心
(三)核心職責 大模型的技術體系 多模態大模型的訓練 大模型的內部體驗產品體系 大模型的效果評估 大模型在資料上的生態對接能力 大模型的生態服務能力
任職資格:
(四)崗位要求 985研究生以上,數學、統計學、電腦、機器學習等專業畢業,擁有英文文獻閱讀能力,優秀的邏輯思維能力和學習能力,5年以上NLP演算法和產品開發經驗,至少1年LLM的實踐經驗,有大模型相關論文的優先 熟悉transformer原理,分詞技術,詞表構建/擴充技術;熟悉hugging face,pytorch 熟悉並行化訓練策略,混合精度,Flash attention,零冗餘優化(deep speed)等技術 預訓練模型高效訓練技術:混合精度加速、模型縮放、初始化技術、初始化策略 熟悉參數高效微調 peft(P-Tuning,Adapter-Tuning,LoRA微調等)技術 模型量化與壓縮技術:量化演算法(QAT、PTEQ、PTQ)、參數剪枝、低秩近似、知識蒸餾 高效部署:熟悉Rolling Batch框架,vllm技術,GPTQ 和 AWQ技術 大語言模型、多模態大模型、時序大模型等在航運物流行業中的落地
- 大模型預訓練
- 多模態微調
- 效果評估方法
- 推理服務部署