香港城市大学EE5438应用深度学习考试复习重点是什么？

香港城市大学EE5438应用深度学习课程旨在让学生熟悉当前先进的深度学习技术，如MPL、CNN、LSTM、Transformer、BERT、GPT-3、VAE、GAN、CLIP、DALL-E 2等。若想在考试中获得高分，你需要理解深度神经网络的理论和实践概念，并且能够开发和训练深度神经网络、重现研究成果并开展原创研究。此外，你还应该掌握Python编程语言，通过TensorFlow Keras或PyTorch软件实现深度学习应用。下面是你应该在EE5438考试之前重点复习的内容。

1、深度学习的机器学习背景

人工智能、机器学习和深度学习之间的关系；回归和分类问题；传统神经网络；进行深度学习的原因。

2、神经网络基础

• 感知和多层感知器（MLP）；

• 激活函数：Sigmoid、Rectified Linear Unit (ReLU)、Softmax；

• 正则化：L1 (Lasso) 和 L2 (Ridge) 以及 Dropout；

• 损失函数：均方误差、均方根误差和交叉熵损失。

3、神经网络的训练

• 反向传播：经典反向传播、动量反向传播、批量和在线反向传播随机梯度下降及其他技术；

• 交叉验证、早期停止、最佳权重和超参数管理；

• 混淆矩阵、ROC 曲线和提升曲线；

• TensFlow Keras 或 Pytorch。

4、卷积神经网络（CNN）

卷积神经网络基础知识、提高测试准确性的技巧、特征缩放和批量规范化、流行的卷积神经网络架构（AlexNet、VGG、GoogleNet、ResNet、DenseNet、MobileNet 和 EfficientNet）。

5、递归神经网络 (RNN)

• 简单 RNN、长短期记忆（LSTM）、门递归单元（GRN）、堆叠 RNN、双向 RNN；

• RNN 应用：情感分析、文本生成、机器翻译、图像标题生成。

6、变压器模型

注意、自注意、变换器、预训练语言模型、BERT、GPT-3、视觉变换器 (ViT)。

7、生成模型

自动编码器 (AE)、变异自动编码器 (VAE)、生成对抗网络 (GAN)、DCGAN、条件 GAN、CycleGAN、StyleGAN、Fréchet Inception Distance (FID)。

8、自我监督学习（SSL）

• 自我预测算法：图像旋转、相对补丁位置、拼图、着色和超分辨率前置任务；

• 对比学习算法：MoCo、MoCo v2、MoCo v3、SimCLR、SimCLR v2、BYOL、SimSiam、DINO。

9、文本到图像生成模型

扩散模型、DALL-E、CLIP、GLIDE、DALL-E 2 和 Google Imagen。

总的来说，如果你能够解释推动深度学习的主要技术趋势，确定深度神经网络何时适合特定应用，了解当前先进的深度学习技术，并能为不同类型的应用构建、训练和应用深度学习模型，同时将深度学习应用于实际问题，那么你一定能够在考试中获得高分。如果你需要有针对性的香港城市大学考试辅导，可以直接与我们联系哟。