«前の日記(2006-09-28(木)) 最新 次の日記(2006-09-30(土))»

vdrめも

検索キーワード:
[PR]:「Chef活用ガイド コードではじめる構成管理 (大型本), (Kindle版)」発売中です。


2006-09-29(金) やっと明日は休める [長年日記]

_ [comp] estcmd merge で「ファイルサイズ制限を超過しました」

Hyper Estraier 1.4.4 + qdbm 1.8.70 にて、多数のデータベースを estcmd merge でマージしてたら、途中で停止してしまった。数日がかりの作業なんだけど...。

estcmd: INFO: status: name=estindex dnum=288551 wnum=241395 fsiz=3247152363 crnum=0 csiz=0 dknum=0
estcmd: INFO: opening the target database: name=estindex dnum=288551 wnum=241395 fsiz=3247152363 crnum=0 csiz=0 dknum=0
estcmd: INFO: calculating ID mapping: name=estindex dnum=288552 wnum=241395 fsiz=3247152363 crnum=0 csiz=0 dknum=0
estcmd: INFO: importing documents: name=estindex dnum=288651 wnum=241395 fsiz=3247164567 crnum=0 csiz=0 dknum=0
estcmd: INFO: importing words: name=estindex dnum=288651 wnum=241395 fsiz=3247428969 crnum=0 csiz=0 dknum=0
./estindex-merge.sh: line 3: 28183 ファイルサイズ制限を超過しました
estcmd merge estindex $i

マージ先のデータベースを調べてみると、

% du -h estindex
19M     estindex/_attr/0002
	:
110M    estindex/_attr
61M     estindex/_text/0014
	:
938M    estindex/_text
8.0K    estindex/_kwd/0002
	:
56K     estindex/_kwd
2.1G    estindex/_idx
3.1G    estindex

% ls -l estindex/_idx/0001
-rw-r--r--  1 dai users 2147483647  9月 29 14:42 estindex/_idx/0001

_idx/0001 がファイルサイズ 2G に到達して、

% estcmd inform estindex
estcmd: ERROR: estindex: database problem

開けなくなった。estcmd repair で修復はできたっぽいので助かった。

% estcmd repair estindex
%
% ls -l estindex/_idx/0001
-rw-r--r--  1 dai users 946882603  9月 29 15:52 estindex/_idx/0001

ファイルサイズも半分以下の大きさになったけど、マージ作業はまだまだ途中だし、また止まったら洒落にならない。

ということを ML に投げた。ulimit は調べたけどかかってたようなかかってなかったような。N-gram法での英文100 万件登録 という件を見つけた。症状としてはこっちのが近いかもしれない。


2006年
9月
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30

[amd64 | audacious | comp | debian | gkrelluim | kip | misc | movie | research | rime | unicon | vdr | work | えふえふ]

書いてる人: dai

パッチ等(無保証)

GPG Fingerprint = 0B29 D88E 42E6 B765 B8D8 EA50 7839 619D D439 668E