集智
导语

集智科学家社群成员、集智学园优秀讲师、香港理工大学博士候选人李嫣然,将在集智开展12节系列课程,结合工业界应用案例,讲授NLP前沿技术。

第一节课12月22日(本周日)20:00-21:30公开免费直播。围观首节公开课、参与直播交流群、付费参加系列课,请下滑至文末,添加集智小助手微信~

课程介绍

深受学员欢迎的集智学园讲师李嫣然又一次带着新的学术积累高调回归,并携手小米、彩云科技的相关业界实战专家为我们精心打造了自然语言处理的升级版课程,并且有集智学园的金牌讲师,来自台湾的数据科学家尹相志的友情加持。

课程共12节,内容涵盖语言模型、机器翻译、情感分析、文本理解与知识图谱。

如果你未来也想成为一名拥有不错薪水和发展前途的自然语言处理工程师,或者你已经是了,但想了解学术上的最新成课,这个课程,你必须不能错过!

难度:中级

学习周期:45天

上课方式:线上直播

上课时间:12月22日-02月12日 详情请查看课程表

课程背景

自然语言处理,是指用计算机对自然语言的形、音、义等信息进行处理,即对字、词、句、篇章的输入、输出、识别、 分析、理解、生成等的操作和加工。实现人机间的信息交流,是人工智能、计算机科学和语言学所共同关注的重要问题。自然语言处理的具体表现形式包括机器翻译、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识别等。
从 2008 年到现在,在图像识别和语音识别领域的成果激励下,人们也逐渐开始引入深度学习来做自然语言处理研究,由最初的词向量到 2013 年的 Word2vec,将深度学习与自然语言处理的结合推向了高潮,并在机器翻译、问答系统、阅读理解等领域取得了一定成功。RNN 已经是自然语言处理最常用的方法之一,GRU、LSTM 等模型相继引发了 一轮又一轮的热潮。2016年集智举办的自然语言处理与深度学习读书会,全面介绍当时最新的自然语言处理与深度学习的前沿知识,作为自然语言处理的入门级课程
近年自然语言处理在词向量(Word Embedding)表示、文本的 Encoder 和 Decoder 技术以及大规模预训练模型(pre-trained)上的方法极大地促进了自然语言处理的研究。
联合学术界和工业界,追踪最新进展与落地实践,由李嫣然、尹相志、小米科技相关技术负责人崔建伟和魏晨、彩云科技NLP算法工程师侯月源,合力打造了 12 节课程,涉及语言模型、机器翻译、情感分析、文本理解、文本生成五大主题。

适合人群

  • NLP从业者或相关专业在校学生
  • 对NLP和神经网络有一定的了解
  • 有Python基础,最好是上过张江老师的PyTorch课程

学员福利

如果你表现足够优秀,你可以有如下福利:

  • 有内推国内知名人工智能公司的机会
  • 可深度参与由张江直接指导的集智学园与北师大的有偿科研项目
  • 课堂笔记入选集智学园公众号发表可直接获得返现

课程大纲

1.语言模型(一)
主讲人:李嫣然
  • 语言模型基础:马尔科夫链
  • 神经网络语言模型:RNN
  • 编码与预训练:ELMO
  • 里程碑:BERT

2.语言模型(二)
主讲人:李嫣然
  • 双向与随机:XLNet
  • 下一句预测:RoBERTa
  • 小而精:ALBert、DistilBERT、TinyBERT
  • 代码实战
3.机器翻译(一)
主讲人:李嫣然
  • 神经网络机器翻译基础:端对端模型
  • 一一映射:注意力机制
  • 罕见词:拷贝机制
  • 小数据:多任务训练、预训练、迁移学习与元学习

4.机器翻译(二)
主讲人:李嫣然
  • 提速:非自回归模型
  • 代码实战一:基于注意力机制的端对端模型
  • 代码实战二:拷贝机制

5.机器翻译(三)
主讲人:侯月源
  • 基石与评测:端对端模型的重要性
  • 大力出奇迹:数据!数据!数据!
  • 三代 NMT 框架的恩怨情仇:RNN、CNN、Transformer
  • 经验:引入上下文、迁移学习、非自回归模型
6.语言模型(三)
主讲人:崔建伟
  • 预训练应用场景:人机对话中的意图分类、相关性计算、对话生成
  • 预训练模型效率:低精度、知识蒸馏、算子优化等
  • 预训练服务化:小米CloudPretrain平台/UER平台
  • 预训练展望:融入知识、文本生成应用等

7.情感分析(一)
主讲人:李嫣然
  • 多分类:情感分析的基础
  • 细粒度:基于属性的细粒度情感分析
  • 多媒介:社交网络等用户生成文本的情感分析

8.情感分析(二)
主讲人:尹相志
  • 文字情绪分类的主要思路
  • 文字情绪分类以及如何标注数据
  • 通篇文章情绪与逐字情绪
  • 基于RNN与CNN的 Seq2Seq 情绪建模

9.文本理解(一)
主讲人:李嫣然
  • 简单:机器问答
  • 中等:阅读理解
  • 困难:知识推理
  • 地狱:对话回复

10.文本理解(二)
主讲人:李嫣然
  • 指定文本阅读理解:SQuAD 的优胜者们
  • 开放域文本理解:HotpotQA
  • 代码实战一:BiDAF for SQuAD
  • 代码实战二:DFGN for HotpotQA
11.知识图谱
主讲人:魏晨
  • 知识图谱相关概念
  • 知识图谱相关技术
  • 知识图谱在问答和聊天中的相关应用
12.文本生成
主讲人:李嫣然
  • 意象与映射:诗词撰写的特殊性
  • 相关与切题:对话回复生成的难点
  • 上下文信息:对话回复生成的方向

讲师介绍

李嫣然

集智
李嫣然

香港理工大学在读博士生,集智科学家社群成员,著名公众号:“程序媛的日常”的运营者之一,人称小S。研究方向为自然语言处理中的语义表达和语言生成,致力于利用深度学习、认知科学等相关领域的方法和成果探究人类语言习得和语言表达的奥秘。

尹相志
集智

尹相志

中国首届人工智能大赛发起人与题目设计,前华院数据(上海)首席数据科学家,数据决策(台湾)技术长。台湾微软特约讲师与2006~2017年最有价值专家(MVP)。微软Tech ED 2002, 2004~2015讲师。

专长:自然语言理解、人工智能算法开发、数据挖掘、商业智慧、分析型CRM、风险管理、数据仓库。

崔建伟
集智
崔建伟

小米人工智能部AI实验室NLP应用组负责人,负责开放域对话、机器翻译、预训练平台等NLP应用技术的研发,以及落地到小爱同学、小爱老师等公司业务。
魏晨
集智
魏晨

2019年4月加入小米小爱同学,曾任图灵机器人认知计算负责人,曾工作在新加坡国防部项目。研究兴趣是NLP, KG和SDS。

侯月源
集智

侯月源

彩云AI算法工程师、集智核心志愿者。目前在开发机器翻译系统。对AI技术在教育方面的应用有浓厚兴趣。

前学员转型NLP工程师成功案例

学员一
集智
侯月源
彩云科技工程师

五年前,看完《浪潮之巅》的那天,我跟所有读者一样心潮澎湃,明白自己只是沙滩上的一只小虾米,坚信机器学习就是这个时代的浪潮,更加壮阔的波澜还在远方酝酿,于是毅然的投往追逐的潮流中。但转眼到了2016,alphago已经证明了自己,谷歌的seq2seq模型也即将替代老翻译模型开启新时代,我却依然迷失在知识的暗夜中。李嫣然老师在集智的课程也在这时推出,我也作为助教加入了这门课程。
课程结束后,我收获到了更多朋友,更好的工作,亲身见证了自然语言的发展seq2seq模型的日渐强大,预训练模型的横空出世,也如我所愿,更接近这个时代的浪潮。
感谢那个时候的自己,和恰好出现的集智俱乐部。自然语言处理的进步依然没有停止,而现在又有了一门优秀的课程,如果你也渴望前往浪潮之巅,这应该是个不错的台阶。

学员二

集智

王晓宇

深度好奇NLP工程师

我是集智俱乐部十年粉丝,之前一直从事游戏的开发工作,后来想转型成自然语言处理工程师。

先参加了集智学园李嫣然老师的深度学习与自然语言处理读书会,和李嫣然老师系统的学习了自然语言处理相关的知识,深入理解了词向量,分布式假设等核心概念,随后又在李嫣然的《聊天机器人》课程上担任了助教,后来在集智学园的推荐下,我终于进入一家人工智能公司,开始了自然语言处理工程师的工作。特别感觉集智学园提供的这个学习的平台,也特别感谢李嫣然老师的引路。

课程详情

具体上课时段:20:00-21:30。2019年12月22日开始。提示:具体课程安排见下方课程时间表。

说明:由于个别授课时间和节日冲突会有相应的提前或者顺延,详情请查看具体授课时间表或者注意相关通知。

集智

添加课程小助手,

加入直播交流群

同学们有关于课程的任何问题,都可以扫描下方二维码,咨询小助手哦!

扫码添加小助手集智

集智

课程费用

课程费用:999

课程目前正在预售中

12月22日正式上课!

课程费用返现计划:
为鼓励学员积极参与学习,按时完成作业或认真记笔记。特制订返现计划,详情如下:
  • 返现标准:每按要求完成一次作业/一次笔记,满分 2 分。具体以助教评价为准。
  • 返现比例:同时满足以下两个条件的同学,退实际购课金额的 60 %。条件一:个人总积分不低于5分;条件二:总积分排序在前10% 。

报名方式

集智

(ps:ios用户最好在网页端进行购买~)

学习地址:https://campus.swarma.org/play/coursedetail?id=11076

或点击阅读原文

资源推荐

https://campus.swarma.org/play/coursedetail?id=10346

本系列课程是火炬上的深度学习(上)的姊妹篇,以PyTorch为基础,主要围绕自然语言处理相关的技术与模型展开讲解,除此之外,更有关于强化学习的独家内容。

https://campus.swarma.org/play/coursedetail?id=121

本系列课程是使用中文自然语言理解的强大技术来解决金融问题的实用课程。每节课由有着十几年中文自然语言处理经验的尹相志老师亲自教授,是一套非常难得的NLU中级应用课程。
作者:张倩
编辑:张爽

推荐阅读

自然语言理解在金融领域的应用 | 尹相志

刘知远:知识指导的自然语言理解

深度学习在自然语言处理中的应用 | 原创精选

加入集智,一起复杂!


集智

集智俱乐部QQ群|877391004

商务合作及投稿转载|swarma@swarma.org

搜索公众号:集智俱乐部

加入“没有围墙的研究所”

集智

让苹果砸得更猛烈些吧!

原文始发于微信公众号(集智俱乐部):集智