日々之迷歩

世の中わからんことだらけ

ITが複雑で難しくなっていく様に翻弄される日々です。微力ながら共著させていただいた「シェル・ワンライナー160本ノック」をよろしくお願い申し上げます。

Shell

sortコマンドでフィールド区切り文字を指定

先日のシェル芸勉強会福岡サテライトでちょっと話題に上がったのがsortコマンドの使い方。UNIXユーザーな方には定番の並べかえツールだが、オプションを使いこなすことでより便利な使い方が可能だ。

第21回シェル芸勉強会へ遠隔参加

バレンタインデーを明日に控え、皆様いかがお過ごしでしょうか?そんな中あいにくの雨天にも関わらず、第21回シェル芸勉強会の福岡サテライト会場を開設させていただいました。福岡サテライトは開催5回目です。素晴らしい会場をご提供いただき、会場ご提供者…

第20回シェル芸勉強会へ遠隔参加

第20回シェル芸勉強会の福岡サテライト会場を開設させていただきました。寒いです!おまけに年の瀬であるにも関わらず、ご参加いただきありがとございました。素晴らしい会場をご提供いただきありがとうございます。 問題作成と解説の上田さん、会場管理者さ…

擬似正規乱数と確率密度分布

gnuplotが面白いので、調子に乗ってブログ2つ目。擬似正規乱数と確率密度分布のお話。

モンテカルロ法のアニメーション

乱数を使った数値処理は色々ある。暗号の世界では予測出来ないような乱数が重要だったような?

閏年をデータ重視な発想で

みなさん閏年が何か知ってるよね???

対話モードか否か?

10月末に行われた第19回シェル芸勉強会の問題をふと思い出すことがありました。

シェル芸初心者向け勉強会

「シェル芸怖い」・・・という噂は時々耳にする。

BSD版だけ?odの便利な使い方

文字のバイナリ列を調査する必要になり、どうしようかなあと思っていたが、odコマンドが便利だったのを思い出した。

第19回シェル芸勉強会へ遠隔参加

本日は第19回シェル芸勉強会でした。福岡でもサテライト会場を開設させていただきました。ちなみに太宰府では、ももクロの「男祭」コンサートがあっていたようですが、移動手段はJRを使ったので混雑には遭遇しませんでした。ああ、そういえばハロウィンなん…

眠れない方へのシェル芸

シェル芸勉強会入門編をやってみたいと思う今日この頃だが、どんな感じにすればいいのか?なかなか難しいなあと思っているところである。

【続】拡張FizzBuzz問題をシェルプログラミングで

先日拡張FizzBuzz問題をシェルプログラミングで解いた。しかし、シェル芸勉強会の過去問を解いていたら、もっと簡単な方法で解いてあったのだ。

拡張FizzBuzz問題をシェルプログラミングで

先日なぜかふと思いつく。FizzBuzz問題を解くのに、シェル芸で制御構造的なもの無しで解いた。

AtCoder Beginner Contest をbashとTukubaiで解く

シェルスクリプトマガジンでシェル女子の連載をされているちょまど氏が「AtCoder Beginner Contest」に参戦されたというTLがTwitterで流れてきた。 【再掲】数時間前にブログを書きました!昨日 (初心者向けのやつですが) 人生初競プロのコンテスト出て、す…

ファイルを再帰的に更新時刻で並べ替えるワンライナー

ファイルの更新時刻順に並べ替えたいことは結構あると思うのだが、フォルダを下って再帰的に行う場合はどうすればいいのだろうか? まあWindowsのExplorerやMacのFinderだと、フォルダを全て開いて変更日の列をクリックとかすればいいかも。ただファイルの数…

第18回シェル芸勉強会へ遠隔参加

シェルワンライナーの勉強会ですが、今回で18回目らしいです。問題作成と解説の上田さん、ありがとうございます。

RDBとテキスト処理の性能比較

お詫び この記事で重大な問題点がありました。RDBのCPU計測時間で抜けがあります。mysqldが使っているCPU時間が入っておりません。初歩的なミスで申し訳ありませんでした。 RDBの実験結果について、realの時間は信頼できますが、userとsysの時間は全く信用で…

久留米市人口データのスクレイピング

Webページから情報収集をしてくる処理をスクレイピングって言うらしい。シェル芸勉強会でもスクレイピングみたいなことをやった。

Cyrus-IMAPdのQUOTA情報一覧を出す

これでも一応メールサーバの管理とかしているわけでして。Webメール用にはPOPサーバじゃなくてIMAPサーバ使うよね?え?POPサーバとかもう使わない?え?そもそもメールサーバ自前で準備しない??まあそんな世の中だな・・・

第17回シェル芸勉強会解答例

ということで、第17回シェル芸勉強会は、ジュンク堂を乗っ取ってのトークイベントの中で行われたようです。Ustream配信はされていたが、今回は仕事でテンパっていて参加出来ず・・・

grepでOR検索の高速化

シェル芸提唱者上田さんの著書でシェル芸本第2弾ですが、この本に関する記事です。 b.ueda.tech

改めてlessコマンドの使い方

テキストファイルを閲覧するためによく使うのがlessコマンド。特に巨大なファイルを開く時などは必須でしょう。Gバイト単位の巨大なファイルをVimやEmacs、その他のテキストエディタで開くと、メモリを大量に消費して最悪OSが反応無しとかになります、、、

シェル芸処理速度向上のヒント

先日のシェル芸勉強会ではWebサーバのログを扱った。ファイルサイズは約356MB、約350万行程度のそれなりに大きなテキストデータだった。このくらい大きなデータになると処理速度が気になってくるところ。

パイプラインに横槍

シェル芸と言えば、一糸乱れぬ一筋のストリームが流れる事に心奪われ、あな美しかなと心躍らせることこそ醍醐味かと存じます。だがしかし人間たるもの、完璧なものこそ壊したがる一面も否定出来ません。 ということで、シェルのパイプラインに横槍を入れざる…

クロス集計の練習

Excelのピボットテーブルって何?? どうやらExcel使うならピボットテーブル使わにゃ損、とまで言われているスゴイ機能らしい。クロス集計ってやつが出来る機能のようだ。

メモリ富豪主義

とにかくメモリを積め!ケチるな!!という、何の工夫も知恵もないお話・・・

続:inode番号が重複するファイルを表示

先日投稿していた、inode番号が重複するコマンドファイルを探し出すシェル芸ネタだが・・・

カラム分割と文字列切り出し速度の処理系比較

シェル芸やると、空白区切りテキストファイルの扱いが多くなる。行ごとにカラムや文字列の切り出しというのはよくやる処理。

福岡サテライト会場より

今日は第16回シェル芸勉強会遠隔参加するため、福岡サテライト会場を開催いたしました。場所はAIP Cafe。会員になれば、福岡で勉強会などを無料で開催出来ます。 問題作成と解説の上田さん、ありがとうございます。参加者の皆様お疲れ様でした。

続:PostgreSQLのデータを抜き取る

前回に引き続き、PostgreSQLの特定のDBについて、全テーブルのデータとスキーマを一気にぶっこ抜いてしんぜよう。全くもって誰得なのか分からんが・・・自分用のメモ代わりにはなる。