This is a test to compare the Oslo data with the most recent analysis.
1. ramdom selection of a pair of files from the Oslo data
compare_oslo-tromsoe>ll Oslo/
total 0
drwxr-xr-x 3 cipriangerstenberger staff 102 3 mai 23:19 analyzed
drwxr-xr-x 3 cipriangerstenberger staff 102 3 mai 23:13 nob
drwxr-xr-x 3 cipriangerstenberger staff 102 3 mai 23:19 parallel
drwxr-xr-x 3 cipriangerstenberger staff 102 3 mai 23:13 sme
compare_oslo-tromsoe>ll Oslo/*
Oslo/analyzed:
total 176
-rw-r--r-- 1 cipriangerstenberger staff 87812 3 mai 23:19 hans_s.html.analyzed.xml
Oslo/nob:
total 16
-rw-r--r-- 1 cipriangerstenberger staff 7244 3 mai 23:19 hans_n.html.sent.xml
Oslo/parallel:
total 8
-rw-r--r-- 1 cipriangerstenberger staff 3656 3 mai 23:19 hans_s.html.sent_hans_n.html.sent.xml
Oslo/sme:
total 16
-rw-r--r-- 1 cipriangerstenberger staff 7339 3 mai 23:19 hans_s.html.sent.xml
2. tried to retrieve the corresponding xml files in the bound directory:
- both in bound/nob and in free/nob, the file hans_n.html.xml has no content
/usr/local/share/corp/free/nob/facta/hans_n.html.xml
/usr/local/share/corp/bound/nob/facta/hans_n.html.xml
- found a file named /usr/local/share/corp/free/nob/facta/hans-n.html.xml WITH content!
- copied it to a file named hans_n.html.xml and worked with it
3. generated both sme (sentence with id and pos analyized) and nob (sentence with id)
with the following sme configuration on victorio:
- binpath="/opt/smi/$lang/bin";
- lookup2cg = "/usr/local/bin/lookup2cg"
- lookup = "/opt/sami/xerox/c-fsm/ix86-linux2.6-gcc3.4/bin/lookup"
- vislcg3 = "/usr/local/bin/vislcg3"
- my $corrtypos = $binpath . "/". "typos.txt";
my $cap = $binpath ."/" . "cap-" . $lang;
my $fst = $binpath ."/". $lang . ".fst";
my $abbr = $binpath ."/abbr.txt";
my $rle = $binpath ."/". $lang ."-dis.bin";
my $tagfile = "/opt/sami/smi/$lang/bin/korpustags.$lang.txt"
- preproc = "/usr/local/bin/preprocess"
$preprocess = "$preproc --abbr=$abbr_nob";
$disamb = "$lookup2cg | $vislcg3";
$analyze = "$preprocess | $lookup -flags mbTT -utf8 -f $cap 2>/dev/null | $lookup2cg | $vislcg3"
4. paralellizing still to fix
For Trond and Lene:
- compare the newly generated files with the Oslo once:
the disambiguation seems not to work for the Tromsoe variants
Observation:
- the nob files' contents seem not to correspond 100%: Oslo_s11 = Tromsoe_s6 (Tromsoe is shorter).
Oslo:
Hans Hansen som delegat på landsmøte i Norske Samers Riksforbund , Kåfjord 1986 .
( Foto : Svein Lund )
Hans Hansen ( 1916-1994 ) fra Gåradak i Porsanger var småbruker og fisker .
Gjennom fornorskingstida var han en av de fremste i Porsanger som holdt oppe sami
sk identitet , språk og kultur .
Han var aktiv i samisk organisasjonsarbeid og kjent for sine mange avisinnlegg un
dertegna " Med samehilsen Hans Hansen " .
Hanna H. Hansen er frilansjournalist og fotograf med base i Gåradak i Porsanger .
I 1967-87 intervjuet hun blant annet Hans Hansen om skolegangen han hadde hatt i
Porsanger .
Lenge før jeg begynte på skolen visste jeg at vi ikke var så gode og kloke som d
em i trøye , frakk og sko .
Faren min fulgte meg til skolen første dagen .
Vi gikk etter landeveien de fem kilometerne .
Tromsoe:
Lenge før jeg begynte på skolen visste jeg at vi ikke var så gode og kloke som dem
i trøye , frakk og sko .
Faren min fulgte meg til skolen første dagen .
Vi gikk etter landeveien de fem kilometerne .