报告题目：Demystifying MLOps from Data, Model and System Perspectives in LLM Era

报告时间：2023年4月25日14:30

报告地点：计算机学院B404

报告人：张怀政

报告人国籍：中国

报告人单位：BreezeML, USA

报告人简介：张怀政，博士，现担任BreezeML,USA的创始工程师，该公司是一家专注于AI和LLM基础设施的创业公司，由加州大学洛杉矶分校（UCLA）和普林斯顿大学（Princeton）孵化。他在新加坡南洋理工大学（Nanyang Technological University）获得了博士学位。2018年，他荣获了MMTC最佳会议论文奖。2020年，新加坡数据科学联盟（Singapore Data Science Consortium，简称SDSC）评选他为新加坡数据科学领域十大最具创新和影响力的博士生之一。他在顶级期刊和会议上发表了15篇以上的论文。他在GitHub上维护了许多开源项目，吸引了2600多个星标。他的主要研究兴趣包括大规模机器学习系统，云计算，深度多模态学习,视频分析等。

报告摘要：在大型语言模型（LLM）时代，机器学习应用已经取得了显著的进步。然而，随着数据规模的不断扩大，有效地管理和部署这些模型变得越来越具有挑战性。为了应对这些挑战，MLOps（机器学习运维）在实践中变得越来越重要。本次演讲旨在从数据、模型和系统三个方面揭秘LLM时代的MLOps实践。首先，从数据角度，我们将讨论如何在LLM时代高效地收集、清洗和标注数据，以及如何确保数据的安全、合规和可追溯性。此外，我们还将探讨数据版本控制的重要性以及如何有效地跟踪和管理不同版本的数据集。其次，从模型角度，我们将讨论LLM时代模型训练的挑战和解决方案，以及如何评估大型语言模型的性能和偏差。我们还将分享在LLM时代进行模型部署的最佳实践和技巧。最后，从系统角度，我们将介绍在LLM时代支持高效MLOps的关键系统组件，如何监控模型性能、资源使用情况以及系统健康状况。我们还将讨论在LLM时代保障系统安全的方法和策略。

邀请人：罗勇