一時期有名になったQuickDrawを自分でも使いたかったので簡単に調べてまとめました.

そもそもQuickDrawって

https://quickdraw.withgoogle.com/

これはGoogleが公開しているお題の落書きをするwebサービス.

以下みたいな感じで20秒でかけるだけ書く.

QucikDrawのデータを使った論文とかデータセットとか

QuickDrawによって集められたデータセットを使ってGoogle Brain発表の論文が出ている.

以下のURLに論文「A Neural Representation of Sketch Drawings」がある. Sketch-RNNと呼ばれるネットワークを使って画像を生成する手法を提案している.

https://arxiv.org/abs/1704.03477

またデータセットも公開されている.

https://github.com/googlecreativelab/quickdraw-dataset

QuickDrawと同じようなタスクをするネットワーク

落書き画像を使って分類するネットワーク等を行っているものがいくらかある.

TensorFlowのサンプルモデル

学習済みモデルはないがRNNとConvoltuionをベースにした、quickdrawのような識別用ネットワークを学習して使用することができる.データセットのダウンロードスクリプトもあるので本格的にやりたい場合はこっち.

https://github.com/tensorflow/models/blob/master/tutorials/rnn/quickdraw/train_model.py

またTensorFlowの解説もあります.

https://www.tensorflow.org/tutorials/sequences/recurrent_quickdraw

やっぱりquickdrawって時系列データのヒントもつかっているんですね.

Sketcher

クラスは100個しかないが、訓練済みのパラメータを含めて学習済みモデル公開している.画像を書くとそれが何かを得ることができる.

https://zaidalyafeai.github.io/sketcher/

ここでは以下のようにデモも公開している.

https://zaidalyafeai.github.io/sketcher/

 

QuickDrawのデータを使って学習しているネットワーク

こっちは論文のSketch-RNNを再現しているサンプル.

tensorflow/magenta

https://github.com/tensorflow/magenta/tree/master/magenta/models/sketch_rnn

こちらはすでに訓練済みの学習モデルもあるみたいなので、画像生成をしたい場合は上記においてあるモデルを利用するとよいはず