たけのこブログ

凡人が頑張って背伸びするブログ

2020-01-01から1年間の記事一覧

とある博士後期課程の大学院生が開業して半年経ったそうです

一年修行して開業してから半年が経ちました 修行期間で取り組んだことについては以下の記事に書かれているので参考にしてください。 yukr.hatenablog.com 四月の頭に開業届を出して半年以上が経過しました。 長期のインターンから始まり、スキルを身につけて…

失敗しないために、AutoMLを使うときに試している三つのこと

簡単な深層学習タスクはAutoMLで実装できるけど... (まだ研究してる博士後期課程の院生だけど、)業務委託で複数の企業の案件に携わっていると、いろんな要望があります。例えば、 ・HTTPレスポンスで良いからSageMakerやcloud functionsとかでUI意識せずに気…

Dockerで作ったDS環境にmecab+fasttextを安全に入れるための備忘録

前回、以下の記事でDockerを使って簡単にBiqqueryのデータをjupyterで可視化する方法を備忘録として掲載しました。datascience-notebookのDocker-imageを使用しております。 yukr.hatenablog.com 今回は、前回の記事で構築した環境にmecabとfasttextをインス…

Dockerで簡単にBigqueryのデータをjupyterから可視化する方法

「誰でも簡単にDS環境作って、データベースからデータを持ってきて、結果を可視化できるようにしたい」 Dockerで簡単にDS環境を構築して、Bigqueryの結果を可視化する 1.Dockerをインストール 2. docker-compose.ymlを作成 3. コンテナを起動 4. コンテナの…

SAR画像の見た目を基本的な画像処理で一瞬に改善する方法

背景 はい、久しぶりの投稿です。 最近、様々なところからお声が掛かっており、ブログを書く暇がありませんでした(汗) 自分は、趣味の延長で衛星画像の一つであるSAR画像と呼ばれるレーダ画像について解析を行なっていて、解析記事の執筆なども行なっており…

地理データ解析でよく使うGDALを安全にインストールして環境を整備する

はじめに GDALはGeoTiff画像の読み込みなどで使用されるライブラリですが、pythonで使用しようとすると、たまにanacondaと競合したりしてインストールできないことがあります(実際、僕もSAR画像の解析などでGeoTiffを使用する際に環境が衝突してインストール…

pytorchで複数の異なるデータセットを簡単に統合して解析する方法

背景 GANの手法でもconditional GANの一つであるpix2pixのような画像を解析する際に、例えば「細身体系の男性Aさん」を「マッチョな男性Aさん」へ生成したいときにはそれぞれ全く別の画像セットを用意させお互いに人物などで紐づいていれば揃えて入力させて…

word2vecやfasttextを使って類似単語を抽出できる仕組みを数学を一切使わずに頑張って説明してみる

背景 機械学習で過去に実装したものの原理を教えて欲しいと言われて社内勉強会でword2vecを説明した時、数学にあまり詳しくない人にword2vecの仕組みを伝えるのに苦労した。実際に他の現場でも、「単語を学習してるのは分かるんだけど、そもそもなんで似てい…

学振を捨てた結果、完全リモートワークの業務委託で学振以上の月収を稼ぐようになった博士学生(兼個別事業主)が、約一年間で実践した四つのこと

まず始めに 大学院に入ってからの収入の変化 多くの院生が博士課程を断念する理由 僕の修士課程での体験談 一年近く取り組んだ研究をやめて別の研究をすることになる&学振に落ちる 「予算の関係で数ヶ月研究ができない」と言われ、学振不採択がほぼ確定。途…

PyTorchでよくあるエラーの対処方法(次元やチャンネル数)

チャンネル数や次元数、ちゃんと一致してる...? PyTorchとは、pythonのディープラーニング用の機械学習ライブラリで、Facebookの人工知能研究グループAI Research labによって開発されました。Define by runの特徴を有しており動的にモデルを組むことができ…

Chromeのメモリ消費量を抑えてくれる拡張機能、The Great Suspenderが便利すぎた

オレノPC、トマル。サイキドウ、ダルイ。 開発などの用途上、Google Chromeを日々使用しています。いろんなネタ解析や開発のTipsなどを探す日々なので、Chromeのタブの数は3ウィンドウで各ウィンドウに20くらいのタブがあるなんてことはいつものことです。 …

pytorchで簡単にGrad-CAMができる方法

pytorchで簡単にGrad-CAMを行えるライブラリがあったので、qiitaに使用方法などを紹介させていただきました。 qiita.com 簡単にpytorchでGrad-CAMが使用できるようになっているので、ぜひ使ってみてください。いつもははてなブログとqiitaを分離して使ってい…

ウェーブレット多重解像度解析(MRA)をSAR画像に適応してみた(python使用)

前回までのあらすじ 前回は、mueller行列に平均化処理をかけてノイズを除去することによって、zoomの背景画面にも使えるような合成開口レーダ(以下、SAR)画像の可視化に成功しました。 yukr.hatenablog.com きちんと前処理したSAR画像はとても綺麗ですが、い…

PALSAR2を使った多偏波SARの解析手法(ミュラー行列+マルチルック処理)

はじめに お久しぶりです、新星 竹です。久しぶりにSAR解析をしました。 取り組んでいる研究の解析やらジャーナルの執筆やらで佳境に入っていて、尚且つ新しい委託のお仕事を探していたり決まった後にフルコミットしたりしていた関係で、SAR画像解析をする時…

TexのTableに番号なしの脚注を書くためのTips

LAPRASのスコアを上げたくてQiitaにネットワーク解析を投稿した結果、暫くネタがなかった...。 現在は研究結果をジャーナルとして纏めているんですが、テーブルの下に番号のない脚注の書き方にちょっと苦戦したので、Tipsとして掲載することにしました。 実…

PALSAR2の全偏波成分を使ってRGB形式で散乱特性を可視化する

今年は、本当に暖冬ですね。普段は関西の田舎に住んでるので、寒暖差が激しすぎて耐えられません...が、今年は大丈夫そうです笑。 前回は、Tellusと呼ばれる衛星画像のプラットフォームからAPIを使ってPALSAR2のSARデータを取り出し、取得したイメージファイ…

TellusのAPIからPALSAR2の生データを取得する

まず始めに 前回は、SAR(Synthetic Aperture Radar: 合成開口レーダ)に関する基礎的な知識だったり特徴などをお話しさせて頂きました。 yukr.hatenablog.com 今回は、Tellusという衛星データプラットフォームで公開されているPALSAR2というSARの画像の生デー…

(SAR画像解析をする前に)SARってなんぞ?

まず始めに 久しぶりの更新になってしまいました。今回の風邪は長引くのが特徴らしく、珍しく12月中旬に二週間近く風邪を引いて、また年始に五日間くらい風邪を引くハプニングにあいました。皆さん風邪には気をつけてください。 現在、趣味の範囲ですがTellu…