Artikel in Linux-Magazin 1/2001 Seiten 172-174
==============================================
(nur die englische Ãbersetzung english.txt wird von mir aktualisiert)
Mehr betrachten mit less
Wer kennt nicht das Problem: Soeben wurde ein File aus dem Internet
heruntergeladen, das ein vielversprechendes Programm enthalten soll. Doch
bevor man an das Auspacken und Installieren geht, möchte man vielleicht
erst einmal das README lesen oder eine zugehörige Manpage betrachten. Doch
wie war das gleich mit dem Extrahieren von Files? Das tar Kommando hat man
ja meist im Griff, zip Dateien klappen auch noch mit Nachdenken. Doch wie
in aller Welt bekomme ich ein einzelnes File aus einer RPM-Datei? Richtig,
da gab es ja noch den Midnight Commander und ähnliche Programme, zumindest
wenn man unter Linux arbeitet. Doch was macht man auf anderen UNIX-Plattformen?
In der Regel ist dort nichts Vergleichbares installiert. Und wie betrachtet
man eine Manpage, die nicht in MANPATH enthalten ist? Für all diese Fragen
gibt es natürlich Lösungen, aber in vielen Fällen sind UNIX-Benutzer bei
solchen Problemen überfordert. Unter UNIX fällt einem als Filebetrachter
sofort less [1], die bessere Alternative zu more, ein. Und da less in Gestalt
der Umgebungsvariablen LESSOPEN durch externe Filter erweitert werden kann,
ist less als extrem flexibler Browser konfigurierbar. Einige
Linux-Distributionen legen bereits ein Skript lesspipe.sh bei, das zur
Leistungssteigerung von less beiträgt.
In diesem Artikel soll ein Inputfilter für less vorgestellt werden, der
eine Vielzahl gängiger Fileformate beherrscht und relativ leicht
erweiterbar ist. Als Skriptsprache wurde eine Korn-shell kompatible
Sprache (ksh, bash, zsh) gewählt, da das Vorhandensein der Shell
immer gewährleistet ist und in den meisten Fällen vergleichsweise wenige
Systemressourcen in Anspruch genommen werden. Ansonsten wäre die
Realisierung des gleichen Konzeptes etwa in perl an vielen Stellen
einfacher.
Dem vorzustellenden Skript lesspipe.sh liegen zwei Ideen zugrunde. Die
Erkennung des Fileformats erfolgt nicht über die Fileendung, diese
Methode aus der DOS-Welt ist fehleranfällig und hat einen hohen
Pflegeaufwand. Für die Fileformaterkennung unter UNIX ist der Befehl file
gut geeignet, aktualisierte Formatbeschreibungen sind zudem jederzeit in
der aktuellen file Version zu finden [2]. Die zweite Idee besteht darin, dem
lesspipe eine Hierarchie von Filenamen übergeben zu können, um auch
einzelne Files aus Archiven zu betrachten. Da lesspipe.sh aber nur ein
Argument übergeben werden kann, wird die hierarchische Liste von Filenamen
durch ein spezielles Trennzeichen verbunden. Als Zeichen wurde der Doppelpunkt
gewählt, welcher selten genug in Filenamen vorkommt. Auf jeder Stufe des
File-Extrahierens wird der Filetyp bestimmt. Damit wird garantiert, daà auch
auf dem untersten Niveau noch eine zum Filetyp passende Anzeige erfolgt.
Das Betrachten einer man-Page in einem tar Archiv, welches seinerseits in
einem RPM Paket steckt, könnte in folgenden Schritten erfolgen:
less file-3.27-43.i386.spm
gibt folgenden Output:
...
SuSE series: a
-rw-r--r-- 1 root root 12953 Feb 3 11:45 file-3.27.dif
-rw-r--r-- 1 root root 123541 Jul 6 1999 file-3.27.tar.gz
-rw-r--r-- 1 root root 3398 Mar 25 07:31 file.spec
less file-3.27-43.i386.spm:file-3.27.tar.gz
liefert u.a.:
...
-rw-rw-r-- christos/christos 8740 1999-02-14 18:16 file-3.27/file.c
-rw-rw-r-- christos/christos 4886 1999-02-14 18:16 file-3.27/file.h
-rw-rw-r-- christos/christos 13428 1999-02-14 18:16 file-3.27/file.man
...
less file-3.27-43.i386.spm:file-3.27.tar.gz:file-3.27/file.man
liefert dann das gewünschte Resultat, die Anzeige von file.man als Manpage.
Will man stattdessen die nroff Quelle sehen, hängt man einen Doppelpunkt an.
less file-3.27-43.i386.spm:file-3.27.tar.gz:file-3.27/file.man:
Auch das Extrahieren einzelner Files aus dem Archiv ist möglich, etwa mit
less file-3.27-43.i386.spm:file-3.27.tar.gz:file-3.27/file.c > file.c
Wollte man stattdessen file.man in ein File umlenken, macht es sicher mehr
Sinn, die nroff Quelle als den formatierten Output abzuspeichern. Auch in
diesem Fall sollte also ein Doppelpunkt angehängt werden.
Wenn man mit dem tar File file-3.27.tar.gz gleichermaÃen verfährt, erhält man
ein unkomprimiertes tar File, da eine eventuell mögliche Dekompression immer
erfolgt. Die Dekomprimierung ist im Normalfall auch wünschenswert. Wenn man
aber zum Beispiel das im RPM enthaltene File file-3.27.tar.gz extrahieren
will, stört die Dekompression. Durch Anfügen eines weiteren Doppelpunktes
bleibt auch die komprimierte Datei intakt, indem man z.B. schreibt:
less file-3.27-43.i386.spm:file-3.27.tar.gz:: > file-3.27.tar.gz
Das (etwas vereinfachte) Skript lesspipe.sh ist in Listing 1 abgedruckt,
eine aktuelle und komplette Version, die bis zur Rekursionstiefe 6 geht
und weitere Filetypen berücksichtigt, ist unter [3] zu finden.
In einigen wenigen Fällen erkennt der File-Befehl den falschen Typ
(insbesondere nroff-Format), dann kann man eine ungefilterte Ansicht durch
nachgestellten Doppelpunkt bei der Fileangabe erzwingen. Dann erfolgt die
Ausgabe des Files mit dem Befehl cat.
Eine Erweiterung des Skripts um zusätzliche Fileformate ist relativ leicht
möglich, Im einfachsten Fall hat man für neue Formate in die Funktion isfinal
nach dem Muster aus Zeilen 125-127 Befehle einzufügen, die auf STDOUT
schreiben. Handelt es sich um ein neues Kompressionsformat, wird man in der
Funktion get_cmd neue Befehle analog zu den Zeilen 64-65 einfügen müssen.
Etwas aufwendiger wird es mit einem neuen Archivformat. Das Anzeigen des
Archivinhaltes geschieht in der Funktion isfinal (siehe z.B. Zeilen 118-120),
während die Extraktion von Files aus dem Archiv in get_cmd nach dem Muster
in Zeilen 74-75 festzulegen ist.
Damit wäre eigentlich die Aufgabe erledigt, beliebige Fileformate
zu erkennen und Informationen aus diesen Files gefiltert anzuzeigen. Wie
man sowohl an der Benutzung von lesspipe.sh als auch an der häufigen
Benutzung von Pipes in der Funktion show sieht, müssen die Filter von
STDIN lesen und auf STDOUT schreiben können. Da einige Programme das aber
von Haus aus nicht können, muà ein Umweg über temporäre Files gemacht
werden. Wo das erforderlich war, wurden neue Funktionen definiert. Sollte
ein solcher Fall neu implementiert werden müssen, kann man sich an der
Funktion iszip (Zeilen 84-91) oder isrpm (Zeilen 93-103) orientieren.
Die Funktion lesspipe.sh kann man z.B. nach /usr/local/bin kopieren. Um
die damit erweiterte Funktionalität von less nutzen zu können, setzt man
in sh-ähnlichen Shells (sh, ksh, zsh, bash)
LESSOPEN ="|/usr/local/bin/lesspipe.sh %s"; export LESSOPEN
In der csh und tcsh schreibt man stattdessen
setenv LESSOPEN "|/usr/local/bin/lesspipe.sh %s"
Dieses Skript lesspipe.sh als Erweiterung von less läuft beim Deutschen
Elektronensynchrotron seit mehr als 3 Jahren auf einer Vielzahl
verschiedener UNIX-Plattformen.
[1] http://www.greenwoodsoftware.com/less/
[2] ftp://ftp.astron.com/pub/file
[3] http://www.ifh.de/~friebel/unix/lesspipe.html
Listing 1
=========
1 #!/bin/bash
2 #==================================================================
3 # lesspipe.sh, a preprocessor for less
4 # Author: Wolfgang Friebel, DESY
5 #==================================================================
6 tarcmd=gtar;
7 filecmd='file -L'; # file (recommended file-3.27 or better)
8 sep=: # file name separator
9 altsep== # alternate separator character
10 if [[ -f "$1" && "$1" = *$sep* || "$1" = *$altsep ]]; then
11 sep=$altsep
12 fi
13 tmp=/tmp/.lesspipe.$$ # temp file name
14 trap 'rm -f $tmp $tmp.fin $tmp. $tmp.. $tmp.1' 0
15 trap PIPE
16
17 show () {
18 file1=${1%%$sep*}
19 rest1=${1#$file1}
20 rest11=${rest1#$sep}
21 file2=${rest11%%$sep*}
22 rest2=${rest11#$file2}
23 rest11=$rest1
24 if [[ $# = 1 ]]; then
25 type=`$filecmd "$file1" | cut -d : -f 2-`
26 get_cmd "$type" "$file1" $rest1
27 if [[ "$cmd" != "" ]]; then
28 show "-$rest1" "$cmd"
29 else
30 isfinal "$type" "$file1" $rest11
31 fi
32 elif [[ $# = 2 ]]; then
33 type=`$2 | $filecmd - | cut -d : -f 2-`
34 get_cmd "$type" "$file1" $rest1
35 if [[ "$cmd" != "" ]]; then
36 show "-$rest1" "$2" "$cmd"
37 else
38 $2 | isfinal "$type" - $rest11
39 fi
40 elif [[ $# = 3 ]]; then
41 type=`$2 | $3 | $filecmd - | cut -d : -f 2-`
42 get_cmd "$type" "$file1" $rest1
43 if [[ "$cmd" != "" ]]; then
44 show "-$rest1" "$2" "$3" "$cmd"
45 else
46 $2 | $3 | isfinal "$type" - $rest11
47 fi
48 elif [[ $# = 4 ]]; then
49 type=`$2 | $3 | $4 | $filecmd - | cut -d : -f 2-`
50 get_cmd "$type" "$file1" $rest1
51 if [[ "$cmd" != "" ]]; then
52 echo "$0: Too many levels of encapsulation"
53 else
54 $2 | $3 | $4 | isfinal "$type" - $rest11
55 fi
56 fi
57 }
58
59 get_cmd () {
60 cmd=
61 if [[ "$1" = *bzip* || "$1" = *compress* ]]; then
62 if [[ "$3" = $sep$sep ]]; then
63 return
64 elif [[ "$1" = *bzip* ]]; then
65 cmd="bzip2 -c -d $2"
66 else
67 cmd="gzip -c -d $2"
68 fi
69 return
70 fi
71
72 rest1=$rest2
73 if [[ "$file2" != "" ]]; then
74 if [[ "$1" = *tar* ]]; then
75 cmd="$tarcmd Oxf $2 $file2"
76 elif [[ "$1" = *RPM* ]]; then
77 cmd="isrpm $2 $file2"
78 elif [[ "$1" = *Zip* ]]; then
79 cmd="iszip $2 $file2"
80 fi
81 fi
82 }
83
84 iszip () {
85 if [[ "$1" = - ]]; then
86 rm -f $tmp
87 cat > $tmp
88 set $tmp "$2"
89 fi
90 unzip -avp "$1" "$2"
91 }
92
93 isrpm () {
94 if [[ "$1" = - ]]; then
95 rm -f $tmp
96 cat > $tmp
97 set $tmp "$2"
98 fi
99 echo $tmp.1 > $tmp.
100 rm -f $tmp.1
101 rpm2cpio $1|cpio -i --quiet --rename-batch-file $tmp. ${2##/}
102 cat $tmp.1
103 }
104
105 isfinal() {
106 if [[ "$3" = $sep || "$3" = $sep$sep ]]; then
107 cat $2
108 return
109 elif [[ "$2" = - && ( "$1" = *RPM* || "$1" = *Zip* ) ]]; then
110 cat > $tmp.fin
111 set "$1" $tmp.fin
112 fi
113 if [[ "$1" = *No\ such* ]]; then
114 return
115 elif [[ "$1" = *directory* ]]; then
116 echo "==> This is a directory, showing the output of ls -lAL"
117 ls -lAL "$2"
118 elif [[ "$1" = *tar* ]]; then
119 echo "==> use tar_file${sep}contained_file to view a file in the archive"
120 $tarcmd tvf "$2"
121 elif [[ "$1" = *RPM* ]]; then
122 echo "==> use RPM_file${sep}contained_file to view a file in the RPM"
123 rpm -p "$2" -qiv
124 rpm2cpio $2|cpio -i -tv --quiet
125 elif [[ "$1" = *roff* ]]; then
126 echo "==> append $sep to filename to view the nroff source"
127 groff -s -p -t -e -Tascii -mandoc ${2#-}
128 elif [[ "$1" = *executable* ]]; then
129 echo "==> append $sep to filename to view the binary file"
130 strings ${2#-}
131 elif [[ "$1" = *Zip* ]]; then
132 echo "==> use zip_file${sep}contained_file to view a file in the archive"
133 unzip -lv "$2"
134 elif [[ "$1" = *HTML* ]]; then
135 echo "==> append $sep to filename to view the HTML source"
136 LESSOPEN=
137 w3m -dump -X -T text/html "$2"
138 elif [[ "$2" = - ]]; then
139 cat
140 fi
141 }
142
143 show "$a"
