久留米市人口データのスクレイピング

Webページから情報収集をしてくる処理をスクレイピングって言うらしい。シェル芸勉強会でもスクレイピングみたいなことをやった。

Cyrus-IMAPdのQUOTA情報一覧を出す

これでも一応メールサーバの管理とかしているわけでして。Webメール用にはPOPサーバじゃなくてIMAPサーバ使うよね？え？POPサーバとかもう使わない？え？そもそもメールサーバ自前で準備しない？？まあそんな世の中だな・・・

第17回シェル芸勉強会解答例

ということで、第17回シェル芸勉強会は、ジュンク堂を乗っ取ってのトークイベントの中で行われたようです。Ustream配信はされていたが、今回は仕事でテンパっていて参加出来ず・・・

grepでOR検索の高速化

シェル芸提唱者上田さんの著書でシェル芸本第2弾ですが、この本に関する記事です。

b.ueda.tech

改めてlessコマンドの使い方

テキストファイルを閲覧するためによく使うのがlessコマンド。特に巨大なファイルを開く時などは必須でしょう。Gバイト単位の巨大なファイルをVimやEmacs、その他のテキストエディタで開くと、メモリを大量に消費して最悪OSが反応無しとかになります、、、

シェル芸処理速度向上のヒント

先日のシェル芸勉強会ではWebサーバのログを扱った。ファイルサイズは約356MB、約350万行程度のそれなりに大きなテキストデータだった。このくらい大きなデータになると処理速度が気になってくるところ。

パイプラインに横槍

シェル芸と言えば、一糸乱れぬ一筋のストリームが流れる事に心奪われ、あな美しかなと心躍らせることこそ醍醐味かと存じます。だがしかし人間たるもの、完璧なものこそ壊したがる一面も否定出来ません。

ということで、シェルのパイプラインに横槍を入れざるを得ない心境になったのもあり、現状理解していることをまとめてみました。大きく4パターンあります。