Andrew 和 Richard Sutton 的 RL 圣经第二版，暂时没有太多时间研究 RL，需要的时候翻翻好了。去年（前年？）好像有 draft 版本，不过我也没读过…
link: https://drive.google.com/file/d/1opPSz5AZ_kVa1uWOdOiveNiBFiEOHjkG/view

一本模型黑盒解释的小书，质量蛮不错的，早上读了一下 Feature Interaction 和 Importance 部分，写得非常系统，有一些统计角度的未曾想过的解释，挺到位。值得精读。
link: https://christophm.github.io/interpretable-ml-book/

芝加哥艺术学院 release 了一些非常高质量的画作，without restriction，Creative Commons Zero License.
质量确实超级高，没找到打包下载的，点进每张画之后，点右下角的下载按钮就可以了。做neural transfer，GAN 或者其他什么好玩的实验应该还是不错的。数量也很大，按照 kottle 的说法应该是有50k张。
link: https://kottke.org/18/11/the-art-institute-of-chicago-has-put-50000-high-res-images-from-their-collection-online
link: https://www.artic.edu/collection?is_public_domain=1

HuggingFace 实现的 PyTorch BERT 项目里增加了 FP16，还有更多 feature，multi-GPU，distributed training 之类的。
link: https://github.com/huggingface/pytorch-pretrained-BERT

TF Hub 上的一个 BigGAN 的 demo，BigGAN 上个月觉得特别好玩的东西，只是感觉风头好像最近被 BERT 盖过去了…
https://colab.research.google.com/github/tensorflow/hub/blob/master/examples/colab/biggan_generation_with_tf_hub.ipynb

一个用 ULMFiT 做 fine-tune 的 slides 分享，尚不清楚作者背景，发的时候 at 了 Jeremy Howard…
https://docs.google.com/presentation/d/1eqFVk0OaYTcXOfcBtcBRyuPDPmX9_GsMxRzo-HxsvC0/edit#slide=id.p1

一个 loss monitor：https://www.wandb.com/blog/monitor-your-pytorch-models-with-five-extra-lines-of-code
可能比自己用 Visdom/TensorBoard 什么的简单一点。

massive GPU cluster 上训练技巧，看起来是对 mini-batch size 有一个比较好的 control，以及 2D-Torus all-reduce 来做各个 GPU 梯度更新同步问题。刚刚提交到 arxiv，来自 SONY 团队。paper 题目也很有意思：ImageNet/ResNet-50 Training in 224 Seconds.

This work Tesla V100 x1088, Infiniband EDR x2, 91.62% GPU scaling efficiency

https://arxiv.org/abs/1811.05233

NIPS 2018 creativity workshop 上一篇关于歌词生成的 paper。对于生成模型来说，特别是需要一些创造力的问题，传统的 NLU 的 metrics （比如翻译常用的 BLEU）不是很好用，得到分数很高的未必会让人感觉好。
先前自己做对联机的时候也有这样的感觉，有的模型虽然 BLEU，Perplexity 都很低，但反倒直观上看起来并不怎么样。
文章中对生成歌词这个问题同时分别在歌词和书籍语料上生成了两个language model，同时让歌词拥有歌词的特点（看起来是捕捉韵脚，对仗，重复加重情感），也具有书籍的特点（词汇量丰富，表达多样性）。
参考意义应该还是挺大，尤其是对于需要创造力的生成问题，利用多个不同的 multi language model 来进行 ensemble 的思想尤为值得借鉴。
这个 workshop 也是NIPS 中一直比较关注的，经常有很多很有意思的 paper。
作者来自Google Brain。
workshop homepage: https://nips2018creativity.github.io/
paper: https://arxiv.org/abs/1811.04651

Gael Varoquaux 在euroSciPy 上做的关于interprete model 的 tutorial，他的博客里面干货一向很多，周末好好研究一下，就是有时候文章里面法语单词会混在里面，不太影响理解，习惯就好……
link: http://gael-varoquaux.info/interpreting_ml_tuto/#

一个EMNLP 2018的 recap，看着挺好，配合 paper 食用更佳。博客也不错。
link: https://supernlp.github.io/2018/11/10/emnlp-2018/

一个在 spaCy 上做ULMiT/BERT/Elmo 做 pre-training 的实验记录。
https://github.com/explosion/spaCy/pull/2931

一个对 GCN 训练和评估各种 trick 和 pitfalls 的 recap，简单看了一下有很多训练细节的描述和提及，还有 GCN 网络构建的很多关键部分。
先前试过朴素的 GCN 做文本分类：https://arxiv.org/abs/1809.05679
自己也造了一个轮子，GCN 做文本分类确实可行，而且相对 TextCNN 这些方法速度快很多。
link：https://arxiv.org/abs/1811.05868

huggingface 这些人把包打进pypi了，懒人模式可以开启了……
link: https://github.com/huggingface/pytorch-pretrained-BERT

一份在PyData Warsaw2018上的 slides，分享NLP Summarization.
https://ghostweather.slides.com/lynncherny/tl-dr-summarization#/6
进到页面后作者还有一些不错的 slides，包括 Google 那篇the stories we tell，写得都挺不错，适合快速 recap。

提交到 ICLR 2019的一篇不错的小文，比较pre-trained sentence-level language model，下面作者的 response 也挺不错。
https://openreview.net/forum?id=Bkl87h09FX

对推荐系统中 MF的一些概览，初次接触 RecSys 可以看看。https://towardsdatascience.com/paper-summary-matrix-factorization-techniques-for-recommender-systems-82d1a7ace74

基于 PyTorch 的high-level lib，很早以前看过，没注意已经是 PyTorch 官方 team 的 repo，可以关注一下。
https://github.com/pytorch/ignite

《Do Better ImageNet Models Transfer Better?》的第二版。
In v1, we used public checkpoints where the ResNet models were trained without regularizers, which is why they performed best in the fixed feature setting. In v2, we retrained everything. Surprisingly, for ImageNet training, the same hyperparameters work well for all models.
In v2, we show that regularization settings for ImageNet training matter a lot for transfer learning on fixed features. ImageNet accuracy now correlates with transfer acc in all settings.
https://arxiv.org/abs/1805.08974

MedicalTorch 升级到了v0.2，这是一个在 PyTorch 上专门用作医学图像的框架，没有仔细研究过，可能是医学图像和其他领域的图像处理有所不同。粗略看了一下代码里的 Model，提到了 segmentation using deep dilated convolutions
link: https://www.nature.com/articles/s41598-018-24304-3
transforms 里的函数有好多特殊的，像是一个高质量的项目，有待研究。
link：https://medicaltorch.readthedocs.io/en/stable/