Collections

---

• NLP预训练模型
• 大神分享
• 专栏：
• 微信公众号：
• 书籍
• 网站
• Github项目
• 软件
• Comments

NLP预训练模型

• NNLM论文《A Neural Probabilistic Language Model》
• Word2Vec论文《Distributed Representations of Words and Phrases and their Compositionality》
• Glove论文《GloVe: Global Vectors for Word Representation》
• Attention论文《Attention is all you need》
• 张俊林《深度学习中的注意力模型（2017版）》
• 哈佛大学 NLP 研究组介绍 Transformer《The Annotated Transformer》
• EMLO论文《Deep contextualized word representations》
• GPT论文《GPT: Improving Language Understanding by Generative Pre-Training》
• BERT论文《BERT:Pre-training of Deep Bidirectional Transformers for Language Understanding》
• 微软MT-DNN论文《Multi-Task Deep Neural Networks for Natural Language Understanding》
• GPT2论文《Language Models are Unsupervised Multitask Learners》
• 微信《由 Attention 看 OpenAI 的网红 GPT》
• 张俊林知乎专栏《效果惊人的GPT 2.0模型：它告诉了我们什么》
• 张俊林知乎专栏《从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史》
• 张俊林知乎专栏《放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较？
• 张俊林知乎专栏《深度学习中的注意力模型（2017版）》
• Blog《The Illustrated BERT, ELMo, and co. (How NLP Cracked Transfer Learning)》
• 机器学习研究会订阅号《图解2018年领先的两大NLP模型：BERT和ELMo》
• 大数据文摘《BERT大火却不懂Transformer？读这一篇就够了》

大神分享

• 微信《二十一世纪计算丨Yoshua Bengio：深度学习通往人类水平AI的挑战》
• 沈向洋《seven things I learned way achieving my career goal》https://www.linkedin.com/pulse/seven-things-i-learned-way-achieving-my-career-goal-harry-shum-1c/?from=timeline&isappinstalled=0
• 张俊林《推荐系统召回四模型之：全能的FM模型》https://zhuanlan.zhihu.com/p/58160982

专栏：

• gitchat：中文自然语言处理入门

微信公众号：

• 量子位、大数据文摘、机器之心、paperweekly、新智元、人工智能头条、微软研究院AI头条、AINLP

书籍

• 《Neural Network Methods for Natural Language Processing (Synthesis Lectures on Human Language Technologies)》by Goldberg, Yoav
• 《Neural Networks and Deep Learning》 by Michael Nielsen
• 《Epilogue: Frontiers of NLP in the Deep Learning Era》by Deng Li, Liu Yang
• 《Pattern Recognition and Machine Learning》by Christopher M. Bishop
• 《Deep Learning》by Ian Goodfellow
• 《Pytorch handbook》Pytorch中文入门书籍，在github上开源

网站

• VReadTech:在网页上关注和浏览微信公众号
• 百度教育云

Github项目

软件

Ubuntu：

• apt: transmission, git, gnome-shell-pomodoro
• deb: wps, chrome, typora, nutstore, vscode, xmind, anaconda, jdk,idea(6L8XTRW3KA)

Macos:

• dmg：chrome、微信、网易云、vscode、mendeley、office2019、transmission、IINA、typora、cheatsheet、anaconda、坚果云、ccleaner、百度云
• ruby：homebrew
• brew：git

Comments