国产亚洲综合欧美视频天,久久香蕉视频网站,chinese国产av巨作videos,亚洲无码毛片免费在线,毛片完整的免费观看,人人超碰人人爱超碰国产av,夭天日天天爽天天操。天天尻

職位描述：參與內(nèi)部異構(gòu)大模型推理引擎優(yōu)化，支持大模型推理各種優(yōu)化技術(shù)在異構(gòu)硬件上的落地。包括但不限于： 1、參與日常推理引擎的優(yōu)化開發(fā)，不斷優(yōu)化大模型業(yè)務(wù)在對(duì)應(yīng)硬件上的TTFT、TPOT等指標(biāo)；關(guān)注業(yè)界最佳實(shí)踐，能將業(yè)界最佳實(shí)踐落地到內(nèi)部的引擎優(yōu)化中； 2、完成各種大模型推理所需的功能性開發(fā)任務(wù)； 3、參與支持日常的大模型推理服務(wù)部署，參與內(nèi)部日常提效工具的研發(fā)。 任職要求：1、有扎實(shí)的C 工程基礎(chǔ)； 2、有大模型相關(guān)訓(xùn)練或推理優(yōu)化經(jīng)驗(yàn)；有vLLM、TensorRT-LLM、MLC-LLM 等框架之一的實(shí)踐經(jīng)驗(yàn)；熟悉LLM infer 相關(guān)技術(shù)棧，熟悉TP/PP/DP等分布式通信原理等； 3、熟悉CUDA 或 ROCM，熟悉Nsight System/ Nsight Compute 工具的使用，有 GPU 或 ASIC 高性能算子開發(fā)經(jīng)驗(yàn)； 4、了解AI infra 整體技術(shù)棧需求，有訓(xùn)練框架或推理框架實(shí)戰(zhàn)經(jīng)驗(yàn)、熟悉TensorRT、TVM 等框架的使用、有二次開發(fā)能力或開源社區(qū)貢獻(xiàn)經(jīng)歷更佳。