日々之迷歩

世の中わからんことだらけ

ITが複雑で難しくなっていく様に翻弄される日々です

Shell

BSD版だけ?odの便利な使い方

文字のバイナリ列を調査する必要になり、どうしようかなあと思っていたが、odコマンドが便利だったのを思い出した。

第19回シェル芸勉強会へ遠隔参加

本日は第19回シェル芸勉強会だった。福岡でもサテライト会場を開設させていただいた。ちなみに福岡は太宰府では、ももクロの「男祭」コンサートがあっていたようで。移動手段はJRを使ったので、混雑には合わずに助かった。ああ、そういえばハロウィンて??

眠れない方へのシェル芸

シェル芸勉強会入門編をやってみたいと思う今日この頃だが、どんな感じにすればいいのか?なかなか難しいなあと思っているところである。

【続】拡張FizzBuzz問題をシェルプログラミングで

先日拡張FizzBuzz問題をシェルプログラミングで解いた。しかし、シェル芸勉強会の過去問を解いていたら、もっと簡単な方法で解いてあったのだ。

拡張FizzBuzz問題をシェルプログラミングで

先日なぜかふと思いつく。FizzBuzz問題を解くのに、シェル芸で制御構造的なもの無しで解いた。

AtCoder Beginner Contest をbashとTukubaiで解く

シェルスクリプトマガジンでシェル女子の連載をされているちょまど氏が「AtCoder Beginner Contest」に参戦されたというTLがTwitterで流れてきた。 【再掲】数時間前にブログを書きました!昨日 (初心者向けのやつですが) 人生初競プロのコンテスト出て、す…

ファイルを再帰的に更新時刻で並べ替えるワンライナー

ファイルの更新時刻順に並べ替えたいことは結構あると思うのだが、フォルダを下って再帰的に行う場合はどうすればいいのだろうか? まあWindowsのExplorerやMacのFinderだと、フォルダを全て開いて変更日の列をクリックとかすればいいかも。ただファイルの数…

第18回シェル芸勉強会へ遠隔参加

情報処理の基本とも言うべきシェルワンライナーの勉強会。今回で18回目らしい。開催される方々の準備や勉強会運営には本当に頭が下がる想いである。

RDBとテキスト処理の性能比較

お詫び この記事で重大な問題点がありました。RDBのCPU計測時間で抜けがあります。mysqldが使っているCPU時間が入っておりません。初歩的なミスで申し訳ありませんでした。 RDBの実験結果について、realの時間は信頼できますが、userとsysの時間は全く信用で…

久留米市人口データのスクレイピング

Webページから情報収集をしてくる処理をスクレイピングって言うらしい。シェル芸勉強会でもスクレイピングみたいなことをやった。

Cyrus-IMAPdのQUOTA情報一覧を出す

これでも一応メールサーバの管理とかしているわけでして。Webメール用にはPOPサーバじゃなくてIMAPサーバ使うよね?え?POPサーバとかもう使わない?え?そもそもメールサーバ自前で準備しない??まあそんな世の中だな・・・

第17回シェル芸勉強会回答例

ということで、第17回シェル芸勉強会は、ジュンク堂を乗っ取ってのトークイベントの中で行われたようだ。Ustream配信はされていたが、今回は仕事でテンパっていて参加出来ず・・・

grepでOR検索の高速化

シェル芸家元から放たれたシェル芸本第2弾。相変わらずの切れ味で荒ぶる漢のUNIX道が展開されている。 シェルプログラミング実用テクニック | 上田ブログ

改めてlessコマンドの使い方

テキストファイルを閲覧するためによく使うのがlessコマンド。特に巨大なファイルを開く時などは必須だろう。巨大なファイルをVimやEmacs、その他のテキストエディタで開くと死ぬるで・・・

シェル芸処理速度向上のヒント

先日のシェル芸勉強会ではWebサーバのログを扱った。ファイルサイズは約356MB、約350万行程度のそれなりに大きなテキストデータだった。このくらい大きなデータになると処理速度が気になってくるところ。

パイプラインに横槍

シェル芸と言えば、一糸乱れぬ一筋のストリームが流れる事に心奪われ、あな美しかなと心躍らせることこそ醍醐味。だがしかし人間たるもの、完璧なものこそ壊したがる・・・ ということで、上田節が卍解! なのをよそに、シェルのパイプラインに横槍を入れざ…

クロス集計の練習

Excelのピボットテーブルって何?? どうやらExcel使うならピボットテーブル使わにゃ損、とまで言われているスゴイ機能らしい。クロス集計ってやつが出来る機能のようだ。

メモリ富豪主義

とにかくメモリを積め!ケチるな!!という、何の工夫も知恵もないお話・・・

続:inode番号が重複するファイルを表示

先日投稿していた、inode番号が重複するコマンドファイルを探し出すシェル芸ネタだが・・・

カラム分割と文字列切り出し速度の処理系比較

シェル芸やると、空白区切りテキストファイルの扱いが多くなる。行ごとにカラムや文字列の切り出しというのはよくやる処理。

福岡サテライト会場より

今日は第16回シェル芸勉強会遠隔参加するため、福岡サテライト会場を開催してみた。場所はAIP Cafe。会員になれば、福岡で勉強会などを無料で開催出来る。

続:PostgreSQLのデータを抜き取る

前回に引き続き、PostgreSQLの特定のDBについて、全テーブルのデータとスキーマを一気にぶっこ抜いてしんぜよう。全くもって誰得なのか分からんが・・・自分用のメモ代わりにはなる。

PostgreSQLのデータを抜き取る

シェルスクリプト高速開発手法入門 シェル芸の世界に本格的に取り込むきっかけになったこの本。最後の付録にWordPressのデータを抜き取る処理が書かれている。付録というよりはこの本の集大成みたいな感じもする。MySQLに入っているWordPressのデータをぶっ…

inode番号が重複するファイルを表示(解説編)

inode番号が重複するファイルを表示 - 日々之迷歩、初心者置いてけぼりでしたので解説をば。

inode番号が重複するファイルを表示

突然だがinode番号というのはご存知?OSがファイルの実体を管理する番号で、ファイル名が違ってもinode番号が同じなら同じファイルということ。実際どんなのがあるのか?有名なのがgrep兄弟。

シェルプロンプトのちょっとしたこだわり(tcsh追加)

通常ログインシェルはbashにすることが多いのだが、FreeBSD標準シェルはtcshなのでtcshを使うこともある。tcshでのシェルプロンプトについても、bashと同様な表示になるようにしている。

Haskell版Tukubaiコマンド

うっわ2年ブリブリの久々ブログ・・・はてなダイアリーからはてなブログに移行して初めてのエントリ。 昨年USP友の会に入会し、シェル芸本や勉強会でお世話になっております。 Open usp Tukubaiのコマンドは、日々のデータ処理やシステム管理に活用させても…

シェルプロンプトのちょっとしたこだわり

UNIX系の環境(cygwin含む)では、シェルは基本的にbashを使う主義だ。昔はインタラクティブな作業のためのログインシェルはcshかtcshを、シェルスクリプトではshと使い分けていたが、bashを使うようになってログインシェルはbashだ。シェルプロンプトの使い勝…