2024年NVIDIA AI Summit的主要议题和亮点包括以下几个方面：
- 主题演讲：NVIDIA创始人兼CEO黄仁勋将分享AI时代如何助推全球新工业革命。
- 圆桌讨论：黄仁勋主持的AI的变革时刻圆桌讨论，聚集了开创性论文《Attention is All You Need》的所有8位作者，分享关于Transformer的独特见解。
- 行业应用探讨：
- 制造业：讨论AI、机器人和数字孪生在制造业中如何实现更高水平的创新、自动化和效率。
- 医疗健康和生命科学：探索数字手术、数字健康和数字生物学的未来，以及支持这些生态系统的新AI应用。
- 生成式AI和大语言模型 (LLM)：探讨构建、自定义和部署大型语言模型的最佳实践，以及行业领导者对生成式AI的专家见解。
- AI工厂和可持续发展：讨论生成式AI如何通过自主制作内容、提高生产力和重塑行业来改变工作方式，以及如何使用加速计算来推动可持续发展。
- 行业专家见解：多位行业专家将介绍他们在AI领域的最新突破成果。
- AI策略高峰会议程：会议将着重于跨领域经理人熟悉全球AI趋势，以及产业开发者实际动手实践AI训练与推理。
- NVIDIA Research 精选会议：提供与创新者、研究人员、创作者、思想领袖和决策者交流的机会。
- AI在工业数字化中的应用：探讨AI如何加速工业端技术创新，如辅助设计、机器人智能提升、供应链管理、需求预测和设备维护等。
- 合作伙伴生态系统：了解NVIDIA合作伙伴如何利用NVIDIA AI、Omniverse和Isaac平台开发新一代机器人自主工厂。
相关会议
会议主题：仿真/建模/设计 – 元宇宙/数字孪生
AI引领下一波工业数位化
工业人工智慧时代已经来临。参加本场次演讲，了解NVIDIA 的合作伙伴生态系如何利用NVIDIA AI、Omniverse 和Isaac 平台开发新一代机器人自主工厂，以及开发人员如何立即开始建立工业数位化解决方案。
迪普·塔拉 机器人和边缘运算副总裁, NVIDIA
创建数位孪生优化生产线
分享台达运用NVIDIA Omniverse 建置生产线的应用场景，透过Omniverse 的功能优化产线，并透过可视化的虚拟产线与客户讨论互动。透过连结实体设备，收集即时的设备数据与产品生产资讯，即时更新到Omniverse 中，利用IoT 技术实现远程监测控的场景，即时进行异常的排除，台达也利用Omniverse 的画面渲染效果进行产品组装的作业评估，让操作人员更容易理解组装流程，而建置的资料亦能作为影像稽核系统的训练模型。结合台达既有的技术实现digital twin，透过digital twin 的产线进行优化。
彭志诚 DSM 先进运营技术处长, Delta
如何为工业数位孪生(Digital Twins) 建立OpenUSD 应用
各产业和不同领域的公司，都期望大规模的即时数位孪生(Digital Twins) 能将营运效率提升至全新境界。然而，开发这样的系统面临许多挑战，包括技术复杂性及数据整合的难题，这些因素都可能延缓项目进度和效益的实现。在本课程中，将介绍Omniverse 开发平台与OpenUSD 的基本概念，并提供您建立先进数位孪生以提高各种工业环境操作效率所需的技能。您会了解如何使用Omniverse Kit 构建3D 应用程式，这些应用程式专为支持工业场景而设计。您获得的经验将能协助您开发出整合和审查工厂和仓库等大型设施的工具。
叶冠廷 解决方案架构师, NVIDIA
会议主题：生成式人工智能 – 图像生成
了解生成式AI 如何推动医疗产业的进化与发展
生成式AI 和加速运算正在使医疗与生命科学应用跃进成为进来发展最快速的技术产业之一。从数位生物学和药物研发，到机器人手术和数位健康管理，人工智慧正在快速的推进生物医学研究、开发新药流程， 并着重于完善以患者为中心的护理服务。 诚挚的邀请您与NVIDIA 医疗与生命科学副总裁Kimberly Powell 一起探讨NVIDIA 如何推进该领域并结合人工智慧，让这项技术无所不在。
金伯利·鲍威尔 医疗与生命科学副总裁, NVIDIA
会议主题：计算机视觉/视频分析 – 图像/视频检测与识别
使用Vision Transformer 提升您的电脑视觉AI 应用
Vision transformers (ViTs) 近几年席卷了电脑视觉领域，为无数行业提供惊人的准确性和可靠的解决方案。然而，在部署ViTs 时存在许多实际挑战，包括预训练、微调、部署，以及管理如此庞大复杂的模型。本课程将协助你了解如何基于Cityscape 和Hypersim 等资料集，应用基于Transformer 的视觉模型进行场景理解。首先，您将学习如何训练一个电脑视觉模型，然后如何通过迁移学习(transfer learning) 进行微调，最后如何在实际环境中有效地部署优化的ViTs 模型。您还将学习如何利用ViTs 以及如何分析各种模型。
吴宏彬 DLI 首席讲师及培训服务资深经理, NVIDIA
会议主题：仿真/建模/设计 – 3D 设计协作
利用数位孪生建造未来工厂[STWB2]
纬创利用NVIDIA Omniverse 与Modulus 打造了独有的应用平台「Wistron Foundation APP」，并导入了OpenUSD、CloudXR 及物理深度学习等技术来开发数位孪生应用。不仅加速了产业的数位转型，也强化了预测未来生产场景的能力。 在优化当前生产流程和建造新工厂的过程中，纬创资通广泛利用Omniverse，深入挖掘其潜在应用。展望未来，也将会藉由Wistron foundation APP 快速开发相关应用、用CloudXR 进行远端协作与支援、并在Omniverse 内尝试开发与模拟新的产品制造流程，持续释放Omniverse 的潜在能力并推进行业的数位化。
吕佳翰 厂长,纬创资通
会议主题：生成式人工智能 – 文本生成
自主训练之生成式AI 在医疗场域应用：长庚医院为例
现在生成式AI 面对医疗场域能提供更好、更快、更直接的辅助效果。目前在硬体使用NVIDIA DGX V100 与H100 共10 台设备进行生成式AI 的训练与推论，软体上使用NeMo、TensorRT Triton 推论伺服器、AIIS 与RAG 技术进行开发与部署。长庚医院内部训练与部署完成之生成式应用程式，已于长庚医院上线使用辅助临床工作的进行，可大幅降低资料重复输入及登载的时间，从原本的需要十分钟完成的工作，目前仅需一分钟就可将临床记录完成并产生报告传入HIS 中，可提升10 倍工作效率，满意度高。
Chi-Hung Lin 副研究员/ 副主任,林口长庚医院
理解专利请求项附属关系的自动生成模型
专利请求项撰写是一项高度专业的任务，通常由人类完成。 在本研究中，证明，如果进行充分的微调，7-13B 大型语言模型(LLM) 在这方面可以优于GPT-4。正确产生请求项的百分比从微调前的4.0 – 35.0% 增加到微调后的88.5 – 100.0%。 特别是，Llama-2-13B 经过微调后，请求项附属性的正确率达到100.0%，超过了GPT-4 98.5% 的正确率。结果支持在有限的GPU 资源上本地部署大语言模型来执行此种专业任务的可能性。
陈丰奇 副所长,国家卫生研究院
会议主题：AI 模型与部署 – 训练 AI 模型
工业数位化如何推动人工智慧工厂
深入探讨推动工业卓越的尖端技术。 了解生成式AI、数位孪生和电脑视觉如何透过自动化增强生产流程。了解和硕如何使用NVIDIA Metropolis for Factory、Omniverse、Isaac 和其他NVIDIA 工具来实现工厂数位化，从而超加速工厂启动速度、最大限度地减少变更订单、持续优化运营并最大限度地提高生产线吞吐量，同时降低成本。 将探索现实世界的部署，展示利用模拟环境和在整个工厂实施自动光学检测(AOI) 的影响。
萧安助 人工智慧发展处处长,和硕联合科技
朱仕任 经理,和硕联合科技
人工智慧耳膜辨识应用程式(Ear Drum APP) : 协助鉴别诊断，排除传音性听损
北荣听能团队开发了一款人工智慧耳膜辨识应用程式，可快速识别和分析常见耳膜疾病，助力一般诊所和家庭医生在临床上的应用。这款应用程式利用深度学习技术分析耳内镜影像，有效排除传音性听损，辅助诊断感音神经性突发性耳聋。在过去，缺乏能直接应用于临床且具诊断价值的AI 技术。然而，模组通过监督式学习进行训练和判读，已在国际Lancet 子期刊eClinicalMedicine (IF 17.033) 发表，并获得多项专利。此技术不仅提高诊断的准确性，也为医疗专业人员提供了一个强大的工具，使得耳科疾病的诊断更为迅速和精确。
朱原嘉 资讯室资讯高级工程师,台北荣总
会议主题：对话式 AI/NLP – 大型语言模型 (LLM)
大型语言模型(LLM) 在理解和生成文本方面展现出有前景的结果。 LLM 被应用于不同的应用场景，如对话型聊天机器人、内容生成等。 LLM 的一个限制是它们容易产生幻觉– 生成错误的知识。其中一个原因是它们对最新和特定领域的数据不敏感。检索增强生成(RAG) 是解决这一问题的一个提议方案，帮助实作者使用当前特定领域的资料来增强LLM 的能力。 学习如何在GPU 上创建一个RAG 流程用于Q&A 任务包括以下步骤：
- 理解LLM 和RAG 的主要概念；
- 预处理给定文件存储中的文件；
- 建立一个向量资料库，从嵌入模型中检索相关上下文；
- 将检索到的上下文与查询+ 提示结合起来，并输入到LLM 中生成回应。
杜承翰 资深解决方案架构师, NVIDIA
探讨繁中大型语言模型建构之挑战与克服
联发创新基地打造突破性Breeze-7B 和BreeXe-8x7B，为繁体中文界提供专有的语言模型。 Breeze-7B 是一个具有70 亿参数的开源模型，而BreeXe-8x7B 则更是一个具有420 亿参数的模型。在它们各自的参数数量上，这两个模型，目前被公认为最优秀的繁体中文开源模型。借此可供企业打造任何繁体中文及英文的应用，如客户服务、文件分析、管理助理等。本演讲议程，将分享训练这些模型的过程中所遇到的挑战和所获得的经验，例如长上下文预训练和指令微调。可以此模型为基础开发适用于各产业的应用。
宜昌陈 联发创新基地
许大山 创新基地负责人,联发科技
会议主题：边缘计算 – 医疗设备
提升异常心电图演算法效能的人工智慧最佳化方法
本团队开发基于心电图侦测心脏异位搏动、以及REM 与NREM 中阻塞性睡眠呼吸中止症的演算法。首先以连续小波转换提取心电讯号频率特征，再应用客制化卷积神经网路架构辨识。在心脏异位搏动的识别上，使用Physionet 资料库验证，达到99.1% 高辨识率。用于REM 及NREM 的睡眠呼吸中止侦测演算法使用国立成功大学附设医院睡眠中心的临床资料验证，达到92.5% 高辨识率。透过NVIDIA Triton 和TensorRT 推论伺服器加速运算，实现了5 至40 倍的处理速度提升，显著增强了临床应用的可行性。
林哲伟 副教授,国立成功大学
会议主题：计算机视觉/视频分析 – 图像/视频检测与识别
翻转和优化工厂的人工智慧检查
NVIDIA Metropolis for Factories 是一套快速、友善的开发平台，使企业能透过AI 大幅提升产线检测效能，优化传统AOI 检测流程。台湾印刷电路板组装(printed circuit board assembly，PCBA) 工厂非常多，近年来一直面临产线生产少量多样的趋势、人工复检人才培训时间长，及缺工和人员流动问题所困扰，因此采用自动化光学检测(automated optical inspection，AOI) 技术过滤产线不良品，再由人工做第二次的复检把关。然而传统的AOI 为了有效地过滤出不良品，往往会做非常严格的把关，些微的明亮度、光泽、深浅变化差异即会被判为NG 品，造成AOI 检测过杀率飙高，进而导致需要人工复检的数量暴增。安提国际携手宜鼎国际合作，透过NVIDIA Metropolis for Factories 技术，以及其软硬体的协助，在既有的AOI 检测环节后，外加第二站AI 智慧化程序，针对未通过AOI 检测的物件进行再次辨识，达到双重验证效果。演讲将由两位讲师以问答形式进行介绍导入经验与过程分享。
苏威全 软体处处长,安提国际
王文翰 软体研发部副理,宜鼎国际
透过即时3D 模拟彻底改变仓储物流
所罗门、宇见智能及广运将联合展示NVIDIA 的Omniverse 和Isaac 平台如何带动智慧仓储和物流领域革新。透过宇见智能及所罗门的合作，Omniverse 平台在广运物流中心实现即时3D 模拟创建，将2D 设计转化为精细3D 仓储解决方案，进一步优化建模工作流程。此外，将深入介绍Isaac Manipulator 平台，了解如何透过生成式AI 增强机器人路径规划。此技术显著提升如3D 机器人取放等复杂任务的准确性和速度，有效简化物件处理流程。与会者将见证NVIDIA 平台的实际应用，体验自动化仓储、智慧机器人分拣的完整物流流程。
钟毓修 资深协理,所罗门
于丹尼尔 共同创办人暨执行长,宇见智能科技
会议主题：模拟/建模/设计 – 药物发现
AI 开发药物新境界：如何加快PROTAC 的设计
传统药物发现耗时费资，透过AI 驱动的药物设计，可以大幅减少时程及成本。演讲中将展示如何利用NVIDIA BioNeMo 和AI 工具加速设计蛋白质降解剂。将比较BioNeMo 中蛋白质结构预测模型的性能与应用。接着探讨生成式模型所产生的药物分子，并透过MolMIM 中的CMA-ES 演算法，使分子能朝想要的特性迭代生成。在分子生成过程中，将使用对接工具对PROTAC 分子的效力进行验证
高建廷 人工智慧副研究员,安宏生医
会议主题：机器人技术 – 机器人感知
协作机器人再强化：结合数位孪生与AI 视觉
具视觉功能的协作型机器手臂更具有能力去适应现有少量多样的生产线，而透过人工智慧视觉辨识技术更能扩展机器人在定位和检测方面的应用范围。此外，应用数位孪生技术可更有效地生成各种影像数据，借以用来训练人工智慧模型，从而加速机器手臂导入现场的时间。 在本演讲中，将解释内建人工智能视觉系统的协作机器人与传统机器人相比在定位和检测方面创造价值的方式。通过在数位孪生环境中进行模拟，将说明机器人如何学习优化运动轨迹、物体识别、缺陷识别等方面，从本质上改变了当今的机器人编程方法。
黄钟贤 处长,达明机器人
会议主题：边缘计算 – 自主机器
利用自主移动机器人创新物流
中光电将讨论在自主移动机器人(AMR) 上应用NVIDIA Nova Orin 平台的创新物流方案。该平台与NVIDIA Omniverse 和DGX 系统整合，形成一个强大的闭环解决方案，增强了AMR 的全自主导航能力。此设置利用NVIDIA Omniverse 进行真实模拟，NVIDIA DGX 提供强大的AI 运算能力，实现高效数据处理和模型训练。 Nova Orin 则提供必要的机上AI 动力，以支持实时决策和导航。强调了结合这些技术的变革潜力，显著提升操作效率，降低部署成本，并使虚拟到现实世界应用的过渡更加流畅，推动全球自主物流解决方案的发展。
陈奎廷 技术长,中光电智能机器人
会议主题：生成式人工智能 – 生成式人工智能平台
利用以Transformer 为基础的语言模型动态分配金融服务中的专家组成
金融服务业涵盖广泛、错综复杂的场景，而同业同样的问题也可以反应于其他产业。如果只使用70B 的语言模型，推论成本太高；如果使用30B 以下的模型，则无法满足场景要求。因此，能够在适当的情况下同时使用70B 和30B 模型进行推论非常重要。开发了一种动态分配的专家组合(CoE)，具有基于NVIDIA TensorRT-LLM 的基于Transformer 的语言模型。透过CoE，可以根据不同的任务动态调整合适的LLM 模型进行推论。结果表明，计算成本降低了30% 以上。
吴杰瑞 创办人兼执行长,亚太智能机器
会议主题：视频流/会议 – 媒体流/数据流
利用视觉AI 与大型语言模型建构智慧工厂
本研究展示了一个创新的视觉监控系统于Ingrasys 桃园工厂，该系统融合了先进的硬体与软体技术，以提供全面的厂区监控解决方案。硬体架构包括自研的360 度全景相机、专属白牌伺服器以及NVIDIA 的L4 和T4 GPU 卡，这些设备共同作业，确保了高效能的数据处理与图像分析能力。在软体方面，采用了NVIDIA Metropolis 平台上的DeepStream 技术作为基础，进而开发出一套能够支援厂区导览、实时监控以及串流视频数据分析的AI 应用。此外，系统还整合了大型语言模型(large language models)，进一步扩展到视觉语言模型的应用，从而实现了更高层次的互动与分析功能。这一系统的开发，不仅提升了监控效率，也为未来智慧工厂的安全与管理开启了新的可能性。
林尚毅 协理,鸿佰科技
会议主题：加速计算工具与技术 – 开发工具与库
从模型训练到部署：如何利用生成式AI 大规模优化视觉AI
在快速扩展的视觉人工智慧领域中，SAM (Segment Anything Model) 和VLM (视觉语言模型) 已经成为促进标注效率和跨数据集训练的核心工具。随着企业扩大其人工智慧部署，它们经常在处理速度、资源优化和部署管理方面面临重大挑战。 NVIDIA 的DeepStream、TensorRT 和Triton 推论伺服器提供了强大的解决方案，能够实现强大、可扩展且高效的人工智慧基础设施。 在本次议程中，我们将讨论：
- SAM 如何加速标注过程，从而更快速地完成资料标注。
- VLM 在更广泛的数据集中进行预训练，然后在特定领域进行微调(fine-tune)，以实现更高的灵活性和准确性。
- 透过TensorRT 中的融合和量化等功能优化模型性能。
- 透过Triton 推论伺服器进行模型服务，确保在各种环境中能无缝部署。
- 使用DeepStream 构建端到端的视频分析流程，实现即时数据处理和管理。
郭宣威 技术长,蕴林科
会议主题：对话式人工智能/NLP – 自然语言处理 (NLP)
连结视觉、语言与位置资讯提升人车互动体验
介绍一项突破性的研究成果：位置感知的视觉问题生成技术(LocaVQG)，并探讨其在智慧车载系统中的应用潜力。 LocaVQG 创新地结合了视觉感知、自然语言处理与地理位置资讯，让车载AI 助理能根据行车环境动态生成引人入胜的问题，激发驾驶人参与对话。这有助于提升长途驾驶或夜间行车时的警觉性，对行车安全有重要意义。
演讲将分享LocaVQG 的关键技术细节，包括如何表征位置感知资讯、如何筛选有吸引力的问题等。我们也将讨论如何开发轻量化的LocaVQG 模型，使其能够部署于边缘装置。
栗英二 所长,鸿海研究院
会议主题：数据中心/云 – 绿色计算
建造未来可持续的人工智慧工厂
生成式人工智慧的快速爆发正在透过自主产生内容、提高生产力和重塑产业来彻底改变我们的工作方式。人工智慧的快速采用增加了对运算能力的需求，且需要节能解决方案。在电力有限的资料中心，使用加速运算来最大化提高每单位能源消耗的工作量，对于推动永续发展至关重要。
彭志诚 DSM 先进运营技术处长, Delta
