课程主页:CS224n: Natural Language Processing with Deep Learning(winter 2019)
自然语言处理(NLP)是信息时代最重要的技术之一,也是人工智能的重要组成部分。NLP的应用无处不在,因为人们几乎用语言交流一切:网络信息浏览、搜索引擎、电子邮件、智能语音助手、智能客服、语言翻译、医疗报告等。近年来,深度学习方法在许多不同的NLP任务中获得了极佳的效果。
斯坦福大学的课程CS224n——自然语言处理与深度学习,正是围绕使用深度学习解决NLP问题为主题构建的高质量课程,主讲人是斯坦福大学Chris Manning,他是斯坦福大学机器学习教授,语言学和计算机科学教授,斯坦福人工智能实验室(SAIL)主任,以人为本的人工智能研究所副所长。
课程内容覆盖:字词句等文本编码方法、循环神经网络(RNN、LSTM及变种)、卷积神经网络(textCNN及变种)、transformer自注意力与BERT、自然语言处理预训练模型等知识。课程也讲解了文本分类、命名实体识别、句法解析、指代消解、问答系统、神经网络文本生成、摘要生成等NLP应用领域相关方法和案例。
学生应具有以下背景:
课时编号 | PPT注解链接 |
---|---|
第01讲 | 课程介绍与词向量初步 |
第02讲 | 词向量进阶 |
第03讲 | 神经网络知识回顾 |
第04讲 | 反向传播与计算图 |
第05讲 | 句法分析与依存解析 |
第06讲 | 循环神经网络与语言模型 |
第07讲 | 梯度消失问题与RNN变种 |
第08讲 | 机器翻译、seq2seq与注意力机制 |
第09讲 | 课程大项目实用技巧与经验 |
第10讲 | 问答系统 |
第11讲 | NLP中的卷积神经网络 |
第12讲 | 子词模型 |
第13讲 | 基于上下文的表征与NLP预训练模型(ELMo, transformer) |
第14讲 | Transformers自注意力与生成模型 |
第15讲 | NLP文本生成任务 |
第16讲 | 指代消解问题与神经网络方法 |
第09讲 | 多任务学习 |
第18讲 | 句法分析与树形递归神经网络 |
第19讲 | AI安全偏见与公平 |
第20讲 | NLP与深度学习的未来 |
笔记编号 | 在线笔记链接 |
---|---|
笔记1 | 词向量、SVD分解与word2vec |
笔记2 | GloVe及词向量的训练与评估 |
笔记3 | 神经网络与反向传播 |
笔记4 | 句法分析与依存解析 |
笔记5 | 语言模型、RNN、GRU与LSTM |
笔记6 | 神经机器翻译、seq2seq与注意力机制 |
笔记7 | 问答系统 |
笔记8 | NLP中的卷积神经网络 |
笔记9 | 句法分析与树形递归神经网络 |
作业编号 | solution地址 |
---|---|
大作业1 | 词向量、SVD分解与word2vec |
大作业2 | GloVe及词向量的训练与评估 |
大作业3 | 神经网络与反向传播 |
大作业4 | 句法分析与依存解析 |
大作业5 | 语言模型、RNN、GRU与LSTM |