6. 注意力机制
- 在本模块中,您将了解注意力的工作原理,以及它如何用于提高各种机器学习任务的性能,包括机器翻译、文本摘要和问答。https://www.cloudskillsboost.google/course_templates/537
- 视频学习地址:https://youtu.be/iYC8eZL2kKw
课程字幕
介绍
你好,我是 Sanjana Reddy,一名 Google 高级解决方案实验室的机器学习工程师。目前围绕生成 AI 和新进展有很多令人兴奋的事情,包括新的 AI 功能,例如 Gen AI、Gen AI API。在这个简短的分享中,我们的目标是让您对一些使所有 Gen AI 的基本概念有一个坚实的基础。
注意力机制
今天,我将讨论所有 transformer 模型背后的注意力机制,它是 LEM 模型的核心。
示例:翻译句子
假设您想将英语句子 "the cat ate the mouse" 翻译成法语。您可以使用编码器-解码器,这是用于翻译句子的流行模型。编码器-解码器一次取一个词,并在每个时间步对其进行翻译。
处理不对齐的单词
但是,有时源语言中的单词与目标语言中的单词不一致。例如,如何训练一个模型,以使其更多地关注“猫”这个词而不是“黑”这个词呢?
引入注意力机制
为了改进翻译,您可以将所谓的“注意力机制”添加到编码器-解码器中。注意力机制是一种允许神经网络关注输入序列的特定部分的技术。这是通过为输入序列的不同部分分配权重来完成的,其中最重要的部分获得最高权重。
传统的基于 RNN 的编码器-解码器
传统的基于 RNN 的编码器-解码器模型一次接受一个单词,并在每个时间步更新隐藏状态。最后,只有最终的隐藏状态被传递给解码器。解码器使用这个最终隐藏状态进行处理,并将其翻译成目标语言。
注意力模型的改进
注意力模型与传统的序列到序列模型不同于两个方面:
- 更多的上下文信息:编码器将每个时间步的所有隐藏状态传递给解码器,而不仅仅是最终隐藏状态。这为解码器提供了更多上下文。
- 额外的注意力步骤:在产生输出之前,向解码器添加了一个额外的注意力步骤。
注意力步骤详解
解码器执行以下操作:
- 查看它收到的编码器状态集。
- 给每个隐藏状态一个分数。
- 将每个隐藏状态乘以其 soft-max 分数,放大得分最高的隐藏状态,缩小得分低的隐藏状态。
注意力机制的示例
以 “The black cat ate the mouse” 的翻译为例,注意力机制允许模型更有针对性地处理输入词汇,以生成更准确的翻译。
结束语
这就是如何使用注意力机制来提高传统编码器-解码器架构的性能。非常感谢您的收听。