そこからですか？のバイオインフォ：FTPとやらで、

どうも、るまんどです。
あれ？桜っていつのまに散ったんでしょうか。
咲いてたのは、ついこないだ見たんですけど・・・・。

さて、そこからですか？バイオインフォ道場ですが、UPするのに時間がかかりすぎて、まいっちんぐ状態だった問題ですが、秘密の小部屋からアクセスすると、3GMのデータが5分くらいでUPできることがわかりました。いったいなんなの？

 というわけで、解析はできるだけGalaxyですませることにしました。

で、まずは、galaxyのアカウントを作成して、200Gもらったら、そこにデータをUPします。します・・・、できません。

たしか先月までは3G程度のファイルなら、ドラッグ＆ドロップでUPできたと思うんですけど・・・2018年4月現在では、「２G以上のファイルはFTPしてたもれ」というエラーが出ます。はぁ。

というわけで、FTPってなんやねん、というところは、以下の HPでお勉強して、
https://www.sejuku.net/blog/9985

一言で言うと、「ファイル転送する時のプロトコル」だそうです。

るまんどはFFTP というフソトを使うことにしました。

galaxyにつなげるときのFFTPの設定は、
ホストの設定名：Galaxy
ホストの名：usegalaxy.org
ユーザー名 ：galaxyにログインするときのログイン名
PW:galaxyにログインするときの.

です。 


これはわりと何とかなりました。

あとは念のため、Galaxy本家のヘルプを見れば、大丈夫と思います。

https://galaxyproject.org/ftp-upload/

そこからですか？のバイオインフォ：QCレポート

あ、どうも。

GalaxyとかDDBJとか、いろいろザッピングしたんですけど、どう考えてもデータをアップするだけなのに時間がかかりすぎる、というのがネックです。

そう、入り口で躓いている。入れないでいる。

この状況はあれですね、ネコがかりかり、部屋に入りたくてドアをかりかりしているのに似ている。あきらめなければ、いつかは入れちゃうわけで。

ということで、Wedツールを使うのと同時並行して、Rでできることはやってみる、ことにしました。

で、なにすればいいの？っていう・・・。そこからです。

これはあれですね、「これ、絶対おいしいから！食べてみて！」って、アーティチョークをもらったけど、アスパラガスの先っぽの大きいのみたいで・・・、煮るのか焼くのか、もしかしたら生でもいけるのか、決めかねて途方にくれる、という状況に似ている。

たとえが長いですね、すみません。

ま、まずは、データがどんななのか、見てみることにしました。

・付属のレポートを確認
・Rでもレポートを作ってみる

で、Rのコマンドについては、いつもの門田先生チームのHPにお世話になって、ファイルを立て続けに処理できるようにしてみました。

そこからですか？バイオインフォ：データーが大きすぎて。

さて、無事、ファイルの解凍ができたので、やぁ、もう、あとは、あれですよ、君ーにも、見え~る～、ウルトラの星～♪

Galaxyを使うんです。うふ💗💗💗💗

https://usegalaxy.org/

インストールしなくても、Wedで使える素敵なツール。「そこからですか？？バイオインフォ」の強い味方。使い方もあちこちで紹介されているし。
ちゃーんと、ユーザー登録もすませたし、データをあげるだけなんです。

あ・・・。

データをあげる？？

Σ(ﾟдﾟlll)ｶﾞｰﾝ


だめじゃん！

10GのデータをDLするのにとっても時間かかったのに、それ、またwebにあげるの無理じゃん！！！分解したって、1ファイル800Mｂあるよ？ペアエンドで倍だよ。

あたしのバカ！！！

・・・うううう。Linax構築とか、自分でできる気がしません。

R?Rなの？Rが助けてくれるの？ほんとに？

というわけで、いつもの（？）こちらのHPにお世話になることになりました。

http://www.iu.a.u-tokyo.ac.jp/~kadota/r_seq.html#preprocessing_filter_subset

この門田先生チームのコマンドを、ディレクトリとか変えるだけで、ほぼまんま使わせてもらいました。

とりあえず、10万リードをランダム抽出して、35Mくらいにして、Galaxyにあげられるくらいにリサイズしますです。


ふぅ。

そこからですか？のバイオインフォ：ファイルのDLと解凍

どうも～。いつのまにか2018年、試薬のラベルの2018も書き慣れてきた今日この頃、みなさまいかがお過ごしでしょうか？

さて、ひょんなことから、「非モデル生物の発現量解析」のバイオインフォをやることになりました。

前から興味はあったので、チャンスがあればいつでも！と、思っていました。

しかし、自分の無知さをこんなにも思い知らされることになるとは思ってもいませんでした。

今日さらす恥は、「データのダウンロードに一晩と半日、解凍には1日かかった編」です。

データは最終的にはHDで納品なのですが、上司の希望もあり、シーケンスが終わったデータから、生（なま！ここ、あとからキます。生データから出発よ）データをダウンロードすることになりました。

データのDLなんて、ポチるだけなんですけど、朝からやって就業時間になってもダウンロード終わんなくて。圧縮で10Gくらいなんですけど・・・。

しょうがないのでほったらかして帰りました。ほろよいで。
んで、翌日みたら、ダウンロードが「キャンセル」になってて。

え？( ﾟдﾟ )なんで？

理由はよくわからないんで、「再読み込み」して・・・。なんとか終わりました。

ふぅ。(´Д｀)

10Gのファイル形式はtarでした。…って、この形式初めてみました。そうです。「そこから？！」なんです。あは。

で、いつも使ってる、Lhaplasで解凍しようと・・・・、できない。

え？( ﾟдﾟ )

というか、いつまでたっても何もしてくれない。エラーすら出ません。スルー。完璧なまでの。スルー。

ヒドイ。(>_<)。エラーくらい出しなさいよ。

後から知ったんですが、Lhaplasはファイルサイズ大きいのは解凍できないんですって。

じゃぁってことで、上司お勧めの　+Lhaca　つかったんですけど…。

「ファイルが壊れている可能性があります」とか言われてしまいました。

う～ん、再読み込みのファイルだから？でも、もうDLには時間かけたくない。

そういえば、委託先の営業さんは、7-zip使うとか言ってたなーと思いだしてダメもとでやってみたら・・・、できました。とりあえず、.fq.gz　までは解凍。まだ、gzの圧縮だけど（たぶん）、この形式なら、読み込んでくれるはず。

あ～。よかったな。(´∀｀)。

今日の教訓：大きいファイルの解凍は7-zipでね。

これくらいではめげません。ふふふ。旅（恥？）はまだ始まったばかりです。

きてません。

あ、どうも。

科研の内定ですか？

きてません。

不採択の通知もないですが、内定がない、ということはそういうことですよね？

ふふん。

雨でもちらない桜を見ながら。

カルテット見てました。

あ、どうも。一回書いとかないと、ずっと考えてしまうので。

TBSのドラマ「カルテット」見てました。
リアルタイムの時間にはほとんど間に合わなかったので、録画で。

身につまされました。いろいろ。

夢追い人の三流が、4人集まって・・・という話ですが（←公式にはたぶん違う）、


業界の”煙”が、続けることに何の意味があるのか。

食べられないパセリは、結局ゴミ箱行きではないのか。


サンキューパセリ。

家森君の言葉は、きっと多くの人には励ましに聞こえるのだろうけれど、

今のるまんどには冷たい水が体の中に入り込んで、胃の中にたまるようでした。

重くて、冷たい。体は温いのに、胃の中だけ、冷たくて重い。


ドラマの4人は、アレコレ乗り越えた仲間なので、きっとそれで、続けていけるのだと思います。

研究する人生は孤独。
学会発表は、ひとりでのろしをあげてるようなもの。

この先、私はどうしたいのだろう。


ドラマでは、20代の女の子が「人生ちょろかったアハハハハハ」と言って指輪を見せるのですが、

ああ。１０年後も、彼女はこうして笑っているのだろう。でも、彼女の中の黒いものは、笑顔で隠しきれなくなっているだろう。


煙に続ける価値はあるのか？

そんなの分かりません。

だけど、

どうしてやめないんですか？

という問いには、答えられる。

あの瞬間を知っているから。

SSRのデータ解析

お久しぶりです。

ご挨拶は、そこそこに、SSRのデータ解析の覚書をば（だって、ごちゃごちゃ言っている間に、忘れそうで）。

解析の流れとしては、

個体ベースでのクラスタリング（きれいな図でout put）→適切なK（集団数）の判定→集団の遺伝的距離→集団の系統樹　を示したい。



まいどのごとく、お世話になったHPは、以下の通りです。

★主にSTRUCTURE用のデータセット作成に関して。その他のソフトへの入力データ作成の方法も親切に教えてくれます。
http://noah.ees.hokudai.ac.jp/envmi/lab_higashi/manual/index.html


★遺伝子解析に関するソフト全般を広範囲に紹介。1周してからも一遍見ると、なるほど、と、思う。
https://sites.google.com/site/takayaiwasakieuotaka/software


★特にSSRの解析について。Structure→Structure Harvester→CLUMPP→distructというフローで解析するながれの紹介。CLUMPPはLinaxなのか・・・。Rで、なんとかしたい。
http://blog.goo.ne.jp/kosa_in_goo/e/75619a6a395121e44a80246cf2215eba

★その名の通り、
How to run Structure, Structure Harvester, CLUMPP, and Distruct　の流れを簡単に解説
http://populationgeneticsnotes.blogspot.jp/2013/07/how-to-run-structure-structure.html

★Tutorial of the STRUCTURE　softwareとなっていて、確かにSTRUCTUREの使い方が一番詳しいです。Kをどうやって判断するのかについても解説が分かりやすい（Evanno et al. 2005. を簡潔に解説）。from Dr. Sung-Chur Sim。
http://pbgworks.org/sites/pbgworks.org/files/Tutorial%20of%20STRUCTURE%20software.pdf



です。


特にSunさんのAn example of steps to identify the best K（スライド27枚目）では、Kのあたりをつける計算（1回目のRun)で、/10K for burnin and 50K for MCMC reps　としているところなんかは、計算時間に対するもっともらしい結果を出す計算回数のコストベネフィットが、なんかリアル。Kのあたりをつけてから、もいっかい計算（2回目。RunはRun STRUCTURE w/500K for burnin and 750K for MCMC reps 20 timesを推奨してる）とか、周りにはこんな丁寧な計算してるの見たことないんですけど・・・。最初から多めに計算して、1回で済ましてる感じが。


でも、多少の時間をかけるだけ（パラメーターセットして、あとはお茶を飲むとか追加実験するとか）なんだから、明日、提出・・・とかでなければ（オイ(´Д｀)）、確認のためにもやったほうがいいなぁ。

ちなみにうちのデータでは、Structure Harvesterで計算したΔKのグラフはこんな感じ

えっと・・。K=2ってこと？？？希望（オイ(´Д｀)）はK=4なんですけど・・・。（ちなみにK=1-10,100K for burnin and 100K for MCMC reps、1回だけ）

ふぅん。

K=2の個体ベースのグラフをWEB上の　structure plot（Structure Plot v2.0 BETA）でちょっと直してみる。　http://omicsspeaks.com/strplot2/

データセットは、

１）structure harvesterの結果ファイルの中から、K2.indfile　を探して、エクセルで開く
２）この時、データがずれないように注意（なんか（１２）とかって入ってて、ずれてた）
３）列名を”group","gene",P1,P2・・・とかにする。
４）保存形式はcsvで（古いバージョンではtxtだった）。

で、データ作成。アップロード。グラフ作成。

こんな感じ。色は好みで直せます。

下のバー（グループの表示？）の意味がいまいち分からないんだけど・・・。まぁ、いいか。