カタカタブログ

SIerで働くITエンジニアがカタカタした記録を残す技術ブログ。Java, Oracle Database, Linuxが中心です。たまに数学やデータ分析なども。

MacでR+MeCabによる形態素解析をやってみた

R

自然言語処理でおなじみの形態素解析ツールMeCabをMac上のRから使えるようにしてみた。今回は環境構築の手順をメモ。 環境情報は以下。 Mac OS X El Capitan (10.11.3) MeCab 0.996 R 3.2.3 (2015-12-10) MeCabインストール MeCabは、macではbrewで簡単にイ…

R言語とImageMagickでgifアニメを作成

R

R言語で分布などをグラフィック生成される場合に、パラメータを少しずつ変えて微妙に変化するグラフィックをアニメーションさせて見てみたくなるときがよくある。 例えば、カイ二乗分布のような自由度ごとにグラフの形が大きく変わるようなものは、自由度を…

【統計】二項分布をR言語で描画してみた

今回は二項分布のヒストグラムをR言語で可視化してみた。二項分布は「コイン投げで表が出る」や、「サイコロを振って1の目が出る」のような事象が一定確率で「成功するか、しないか」の2者択一の試行をそれぞれ独立に繰り返したときに現れる分布(ちなみにこ…

【機械学習】Rで手書き数字データMNISTをニューラルネットで学習してみた

今日はR言語を使って機械学習の入門ということで、ニューラルネットを使ってみた。 今回の目標は、Rを使って機械学習の一連のプロセスである、トレーニングデータの学習によるモデル構築と、それを使ったテストデータの評価までを一通りやってみる。なので、…

【統計】F分布をR言語で実験してみた

前回、カイ二乗分布をR言語で実際に描いてみた。 totech.hateblo.jp 今回はカイ二乗分布とも関連のあるF分布を同じ要領で、Rを使って実際にヒストグラムを描いてみる。 F分布の定義 まずは教科書的なF分布の定義の確認から。 確率変数U, Vがそれぞれ自由度k_…

【統計】カイ二乗分布をR言語で実験してみた

再び、統計の勉強。今回はカイ二乗分布について勉強してみたので、分布をR言語で実際にデータを生成してヒストグラムを描いてみる。カイ二乗分布の標準正規分布の二乗和として定義され、自由度dfごとに分布がある。数式での定義は他の文献に譲るとして、要す…

【統計】中心極限定理をR言語で実験してみた

最近、統計の勉強をしている。ちょっと前に流行ったこの本(の続編?)を読んでいるのだが、その中の「中心極限定理」の説明が分かりやすかったので、R言語で実験してみた。統計学が最強の学問である[実践編]---データ分析のための思想と方法作者: 西内啓出…

Mac上でheroku createでエラーが出たのでheroku updateしたら直った

久しぶりにMacからHerokuにRailsアプリを作ろうといつものようにheroku createするとエラーになってしまった。 結論としてはただプラグインが古かっただけのようだが、そのときの様子をメモ。まず、herokuへのログインは正常にできる。 $ heroku loginその後…

Raspberry Pi 2の有線LANでのIPアドレス固定化手順が変わったのでメモ

Raspberry Pi 2を再構築したときに、有線LANのIPアドレス固定化の手順を前回のメモ通りにやってみると、うまく行かなかったので、その時の対応手順をメモ。なお、RaspbianはNOOBSの現在の最新版であるNOOBS_v1_5_0.zipを使ったところが前回と違っている。 ht…

Raspberry Pi 2 にKernel Panicが起きたのでSDカードを初期化してOS再インストールした

Raspberry Pi 2 の起動時に以下のメッセージが出て起動しなくなってしまった。 メッセージをよく見ると、Kernel Panicと出ている。 Kernel panic - not syncing : VFS: Unable to mount root fs on unknown-block(0, 0) どうやらファイルシステムが壊れたっ…

Fluentd + Elasticsearch + Kibanaで遊んでみた(その3) 〜家計簿データのKibana 4での可視化まで〜

前回、前々回とOS 7にFluentd (td-agent 2.3.0) + Elasticsearch 2.1.1 + Kibana 4.3.1 を構築して、Zaimの家計簿データをFluentd経由でElasticsearchに登録するところまでを見た。 今回は続きとして、Elasticsearchに登録した家計簿データをKibana 4で可視…

Fluentd + Elasticsearch + Kibanaで遊んでみた(その2) 〜家計簿データのFluentdによるElasticsearchデータ登録まで〜

前回の記事で、仮想マシンのCent OS 7にFluentd (td-agent 2.3.0) + Elasticsearch 2.1.1 + Kibana 4.3.1 を構築して、それぞれ単体で動作するところまでを見た。 今回はその続きとしてより実践的に、Fluentdでログを検知し、Elasticsearchに自動転送した後…

Fluentd + Elasticsearch + Kibanaで遊んでみた(その1) 〜環境構築から簡単な動作確認まで〜

※2017/4/11追記: 新しいバージョンのFluentd 2.3 + Elasticsearch 5.3 + Kibana 5.3での環境構築記事を書きました。 totech.hateblo.jp今年の冬休みは前々から気になっていた、ログ可視化ツールとして名高い3点セット、Fluentd + Elasticsearch + Kibana で…

Rails 4.2 URLにid以外のカラム値を使う

Railsはroutes.rbでresourcesメソッドを使うことで、複数リソースに対するRESTfulインタフェースを定義できる。このとき、一つのリソースを特定するためには通常:idパラメータがデフォルトで使われるが、このidはRailsが自動採番しているため、場合によって…

Rails 4.2  ActiveRecord enumsを使って列挙型を扱ってみる

Rails 4.1からActiveRecordでenumが扱えるようになったので、今さらながら試してみた。 enum型あるいは列挙型は、あるカラムが取りうる固定値がいくつかに決まっている場合にDB上は数値型で保持することで効率よくデータを格納したり検索できるようにする一…

ZaimのAPIをRuby on RailsからOAuthを使って叩いてみる

普段は会計簿をつけているZaimというお気に入りのWebサービスがあるのだが、標準で用意されている分析がいまいち細かいところまで見れないので、自分でデータを取得してみることにした。 https://zaim.netZaimは開発者向けのAPIが提供されているようだが、OA…

IntelliJ IDEAでgroovyプロジェクトをgradleでビルドする

IntelliJ IDEAで開発したgroovyプロジェクトをgradleを使ってjarにビルドする方法をまとめてみる。 groovyだと簡単なライブラリや実行可能なスクリプトとして作ることが多い。そのため、IDE上でしか実行できないのはいろいろと不便なので、IntelliJ上でビビ…

dateコマンドで前月を計算する時の注意(前月に基準日の日付がない場合)

dateコマンドで日付計算するときに、「1ヶ月前」「1日後」といった構文は便利なのでよく使うのだが、今回この「1ヶ月前」指定をなんとなく使っていて、まずい動きをすることがあったのでメモ。どういうときにまずいかというと、「日付を比較する基準日が前月…

Java初心者がエンタープライズJava業務をこなすために読んだ本たち

私はJava言語は前々からある程度触っており、基本的な文法やデザインパターンなどは理解していましたが、今回業務で初めてサーバサイドJavaを扱うことになり、そのときに読んだ本についてまとめました。Javaでの簡単なプログラミングはできるレベル、つまり…

dnsmasqでRaspberry Pi 2をプライベートDNSサーバにしてみた

自宅LAN内にサーバが増えてくると、いちいちIPアドレスでアクセスするのが面倒なので名前解決したいが、/etc/hostsをサーバごとに個別に用意するのも面倒、ということで、Raspberry Pi 2を今回は自宅LAN内のプライベートDNSサーバにしてみた。インターネット…

BUFFALO WHR-300HP2ルータで自宅VPNを構築してみた

自宅で無線LANルータとして使っていた、BUFFALO WHR-300HP2 ルータがVPN(PPTP)サーバとして使えることを知り、自宅VPNを構築してみた。BUFFALO QRsetup 11n/g/b 300Mbps 無線LAN親機 WHR-300HP2/N (ワンルームマンションの一人暮らし向け)出版社/メーカー: …

Cent OSのVirtualBox仮想マシンでホスト名が解決できない

昔作ったCent OS 6.4のVirtualBox仮想マシンを久しぶりに起動したところ、外部ホストが解決できなかった。当時どうやって作ったかは全く覚えていないが、ネットワーク設定はホストオンリーアダプタとNATだけだったので、DNSにGoogleのPublic DNSを設定してや…

Raspberry Pi 2 にRuby on Rails 4 環境を構築してみた

Raspberry Pi 2にRuby on Rails 4の環境を作ってみたので、構築手順をメモ。まあ例によってRaspberry Pi 特有の事情はほとんどなく、Rubyのインストール(ビルド)には結構時間がかかった以外は、普通のサーバにRails環境を構築するのとほとんど変わらなかった…

Raspberry Pi 2 をプリントサーバ化しようとしたが失敗したときのメモ

Raspberry Piをホームネットワーク上のプリントサーバとして使うやり方がいろいろなところで解説されているので、試してみた。自宅のプリンタはUSBプリンタなので、いつもプリンタのある部屋に移動してUSBを接続して印刷しないといけないところが面倒だった…

Raspberry Pi 2 IPアドレスを固定(有線LAN)にする

(2016/1/27追記 本記事の手順でうまく行かなかったので、新しい手順を記事にしました) Raspberry PiのIPアドレスはDHCPで自動で振られるので、固定化させておくと別マシンからssh等で接続する上で便利。 そのため、今回はIPアドレスを固定化したときの設定手…

Raspberry Pi 2を買ってきたので遊んでみる 〜購入からOSインストールまで〜

前から遊んでみたいと思っていた、Raspberry Pi 2を買ってきた!とりあえずOSインストールまで辿り着いたので、入門記事として、やったことをまとめてみる。 まずは買ってくる Raspberry Pi 2はネットで買うのが普通のようで、ググるとAmazonでも買えるみた…

groovyで文字列の先頭大文字/小文字変換

groovyでテキスト処理していて文字列の先頭1文字を大文字/小文字に変換する方法をメモ。 先頭大文字は標準のcapitalizeメソッドで 先頭大文字化は標準でcapitalize()というメソッドがStringクラスに用意されているので、簡単に実現できる。 println "upperCa…

WebLogic 12c(12.1.3)にantでアプリケーションをデプロイしてみる

WebLogicサーバにアプリケーションをantでデプロイしてみた。 wldeployというantタスクが標準で用意されているのでそれを使う。以下を参考に。 http://docs.oracle.com/cd/E24329_01/web.1211/e24368/wldeploy.htm#WLPRG437 環境準備 まず、WebLogicの環境変…

WebLogic 12c(12.1.3)でJMSキューを試す

WebLogic 12c上にJMSキューを作成し、キューとのメッセージ送受信を試してみたのでメモ。キューのエンキュー・デキューのプログラムはJNDIでキューにアクセスしているので、WebLogicのキューであることは特に意識していない。 JMSキュー作成 まずWebLogic管…

【Java】Metroのwsimport時に「GLib-GIO-ERROR **: Settings schema 'org.gnome.system.proxy' is not installed」エラー

以前、MetroでWSDLからJavaクライアントソースコードを自動生成する検証する記事を書いた。【Java】MetroでWSDLからSOAPクライアントのJavaソースコードを自動生成する - カタカタブログ今日、前回とは別の環境でwsimport.shを実行したところ、「GLib-GIO-ER…