JupyterからSpark clusterを操作できるlivy + sparkmagicを試してみた
Spark Summit 2016でもトークがあったSparkのREST serverであるlivyですが、MicrosoftがHDInsight上のSpark clusterとJupyterをlivyを使って繋げられるようにしたと聞いて、早速試してみました。
Aki Ariga
Principal Software Engineer
Interested in Machine Learning, ML Ops, and Data driven business. If you like my blog post, I’m glad if you can buy me a tea 😉
そのモデル、過学習してるの？未学習なの？と困ったら
Q: うわっ…ワタシのモデル過学習してる…？ 機械学習をしていると、「やったほぼ100％の性能でました！」みたいな話がちょこちょこでて、その度に「あー、はいはい過学習乙」とか「leakageじゃね？」とかいう話になると思います。
機械学習の分類の話を損失関数と決定境界を中心に整理してみた
機械学習の分類の話を、主に決定境界と損失関数の観点から整理してみました。 とはいっても、k-NNとか損失関数関係ないのもいます。
データを一箇所に集めることでデータ活用の民主化が進んだ話
先日、この記事を読んで分析のハードルを下げること大事だよね、というのを思い出したのでつらつらと書いてみようと思います。
#CookpadTechConf 2016でクックパッドの研究まわりの取り組みを発表しました
1/23に開催されたCookpad TechConf 2016で、クックパッドの研究開発に関する取り組みを紹介させていただきました。
Julia Tokyo #5を開催しました #JuliaTokyo
さる12/19にJuliaTokyoの第五回を開催しました。1 togetterのまとめはこちら。 togetter.com 資料はまだいくつかしかアップロードされていませんが、今回は機械学習の話やDeep Learningの話が多かったように思います。
Juliaで得られたマイナー言語を盛り上げる方法 #JuliaAC
この記事はJulia Advent Calender 2015の最終日です。 Juliaは大分マイナーな言語で、日本語による情報が殆ど無かったのですが、以下の要因で大分盛り上がってきていると思います。