概要 なんだかんだで二年ぶりの投稿です。 二年間で私の人生も大きく変化してきましたが、直近の経歴はこんな感じです。 2023年に某国立大学の博士課程を修了して、博士(工学)を持っています。 博士課程在学中に開業してフリーランスとして研究と両立して活…
概要 AWSのEC2環境にssh接続した後に、企業のリポジトリをcloneしようとしたら、うまくいかなかったので解決策を備忘録として書いておきたいと思います。 まず始めに まずは、環境でsshキーを生成してなければ以下の手順を行いましょう。 $ cd .ssh $ ssh-ke…
概要 神経モデルとして有名なHodgkins-Huxleyモデルを四次のルンゲクッタ法(Runge-Kutta法)で実装します。 以下のサイトでjuliaを使った神経モデルの実装が幅広く網羅されていますが、Hogkins-Huxleyモデルのコードではオイラー法で更新されていた例しかなか…
概要 今まで使っていたdockerfileがあったんだけど、ppa(deadsnake)の問題なのか分からないけど上手くfetchできなくなってきた汗(でもたまに再起動すると上手くいくのは謎でした。原因がDNS問題やno cache, --fix-missingとかでもないので不明...次回に調べ…
概要 最近、ジャーナルもアクセプトされたり新規の業務委託の内定を頂いたりと、不安だった出来事が解消されていきました。 二ヶ月以上もブログを更新しなかったのは久しぶりなのですが、今後は少しずつ更新頻度を増やしていきたいと思います。以降しばらく…
スパイク関連のニューラルネットを作っていたりすると特定の条件下でtrue/flaseを1 or 0に変換された配列を使いたくなる時がありますが、例えばiszero.やisone.で要素ごとに生成された乱数を1 or 0で纏めようとすると、BitArrayで出てきてしまいます。 spike…
概要 めっちゃ長いタイトルですが、タイトルの通りです。業務でjupyterでコードが欲しいと頼まれたので、従来のcolabで渡すのがダルくてvenv+requirements.txtで配布してしまいました。そして、地獄はスタートしました。 なぜか、ローカルのjupyter環境が全…
はじめに 今回の一言：かなり久しぶりの投稿になってしまった気がする笑 概要 最近は、こんな書籍などを勉強していたりします。 booth.pm こちらpythonで書かれていたのですが、著者の方はjuliaでも実装を進めているみたいです。私も最近はpythonに飽きてき…
概要 いろんなテキスト前処理をやってると正規表現が必須になる場面に遭遇しますが、複雑なのになってくると面倒臭いし、かといって定番な正規表現を一々書けるかと言われると複雑になってくると怪しい...。 そんな自分と似た境遇のための備忘録として、今回…
概要 僕が業務でデータ分析をするときは主にbigqueryをjupyterからアクセスしてクエリを叩いて分析することが多いですが、企業によっては、 Sequel ProでDBにSSH接続してからSQL投げてcsvでエクスポート エクスポートしたcsvを読み込んでPoC検証 という手順…
一年修行して開業してから半年が経ちました 修行期間で取り組んだことについては以下の記事に書かれているので参考にしてください。 yukr.hatenablog.com 四月の頭に開業届を出して半年以上が経過しました。 長期のインターンから始まり、スキルを身につけて…
簡単な深層学習タスクはAutoMLで実装できるけど... (まだ研究してる博士後期課程の院生だけど、)業務委託で複数の企業の案件に携わっていると、いろんな要望があります。例えば、 ・HTTPレスポンスで良いからSageMakerやcloud functionsとかでUI意識せずに気…
前回、以下の記事でDockerを使って簡単にBiqqueryのデータをjupyterで可視化する方法を備忘録として掲載しました。datascience-notebookのDocker-imageを使用しております。 yukr.hatenablog.com 今回は、前回の記事で構築した環境にmecabとfasttextをインス…
「誰でも簡単にDS環境作って、データベースからデータを持ってきて、結果を可視化できるようにしたい」 Dockerで簡単にDS環境を構築して、Bigqueryの結果を可視化する 1.Dockerをインストール 2. docker-compose.ymlを作成 3. コンテナを起動 4. コンテナの…
背景 はい、久しぶりの投稿です。 最近、様々なところからお声が掛かっており、ブログを書く暇がありませんでした(汗) 自分は、趣味の延長で衛星画像の一つであるSAR画像と呼ばれるレーダ画像について解析を行なっていて、解析記事の執筆なども行なっており…
はじめに GDALはGeoTiff画像の読み込みなどで使用されるライブラリですが、pythonで使用しようとすると、たまにanacondaと競合したりしてインストールできないことがあります(実際、僕もSAR画像の解析などでGeoTiffを使用する際に環境が衝突してインストール…
背景 GANの手法でもconditional GANの一つであるpix2pixのような画像を解析する際に、例えば「細身体系の男性Aさん」を「マッチョな男性Aさん」へ生成したいときにはそれぞれ全く別の画像セットを用意させお互いに人物などで紐づいていれば揃えて入力させて…
背景 機械学習で過去に実装したものの原理を教えて欲しいと言われて社内勉強会でword2vecを説明した時、数学にあまり詳しくない人にword2vecの仕組みを伝えるのに苦労した。実際に他の現場でも、「単語を学習してるのは分かるんだけど、そもそもなんで似てい…
まず始めに 大学院に入ってからの収入の変化 多くの院生が博士課程を断念する理由 僕の修士課程での体験談 一年近く取り組んだ研究をやめて別の研究をすることになる＆学振に落ちる 「予算の関係で数ヶ月研究ができない」と言われ、学振不採択がほぼ確定。途…
チャンネル数や次元数、ちゃんと一致してる...？ PyTorchとは、pythonのディープラーニング用の機械学習ライブラリで、Facebookの人工知能研究グループAI Research labによって開発されました。Define by runの特徴を有しており動的にモデルを組むことができ…
オレノPC、トマル。サイキドウ、ダルイ。 開発などの用途上、Google Chromeを日々使用しています。いろんなネタ解析や開発のTipsなどを探す日々なので、Chromeのタブの数は3ウィンドウで各ウィンドウに20くらいのタブがあるなんてことはいつものことです。 …
pytorchで簡単にGrad-CAMを行えるライブラリがあったので、qiitaに使用方法などを紹介させていただきました。 qiita.com 簡単にpytorchでGrad-CAMが使用できるようになっているので、ぜひ使ってみてください。いつもははてなブログとqiitaを分離して使ってい…
前回までのあらすじ 前回は、mueller行列に平均化処理をかけてノイズを除去することによって、zoomの背景画面にも使えるような合成開口レーダ(以下、SAR)画像の可視化に成功しました。 yukr.hatenablog.com きちんと前処理したSAR画像はとても綺麗ですが、い…
はじめに お久しぶりです、新星 竹です。久しぶりにSAR解析をしました。 取り組んでいる研究の解析やらジャーナルの執筆やらで佳境に入っていて、尚且つ新しい委託のお仕事を探していたり決まった後にフルコミットしたりしていた関係で、SAR画像解析をする時…
LAPRASのスコアを上げたくてQiitaにネットワーク解析を投稿した結果、暫くネタがなかった...。 現在は研究結果をジャーナルとして纏めているんですが、テーブルの下に番号のない脚注の書き方にちょっと苦戦したので、Tipsとして掲載することにしました。 実…
今年は、本当に暖冬ですね。普段は関西の田舎に住んでるので、寒暖差が激しすぎて耐えられません...が、今年は大丈夫そうです笑。 前回は、Tellusと呼ばれる衛星画像のプラットフォームからAPIを使ってPALSAR2のSARデータを取り出し、取得したイメージファイ…
まず始めに 前回は、SAR(Synthetic Aperture Radar: 合成開口レーダ)に関する基礎的な知識だったり特徴などをお話しさせて頂きました。 yukr.hatenablog.com 今回は、Tellusという衛星データプラットフォームで公開されているPALSAR2というSARの画像の生デー…
まず始めに 久しぶりの更新になってしまいました。今回の風邪は長引くのが特徴らしく、珍しく12月中旬に二週間近く風邪を引いて、また年始に五日間くらい風邪を引くハプニングにあいました。皆さん風邪には気をつけてください。 現在、趣味の範囲ですがTellu…
前回の記事に続いて、Tellusで申請したGPUサーバーの環境にjupyterを入れて遠隔で操作できるようにし、かつpytorchも無事に使える状態にします。環境のセットアップの際にごちゃごちゃしてしまったので、もしかしたら手順が間違っている可能性がありますが、…
Tellusとは 宇宙産業を促進するための衛星データプラットフォームとして、Tellusが昨年から始まっています。 Tellus（テルース）は、政府衛星データを利用した新たなビジネスマーケットプレイスを創出することを目的とした、日本初のオープン＆フリーな衛星…
