$ opam install text
utop[16]> #require "text";; utop[18]> Encoding.recode_string;; - : src:bytes -> dst:bytes -> bytes -> bytes =utop[22]> Encoding.recode_string ~src:"Shift_JIS" ~dst:"UTF8" "\x95\x5c\x8e\xa6";; - : bytes = "表示"
let parse element_func_list =
let tags = Stack.create () in
let element_func () =
let item = List.find element_func_list ~f:(fun (element_list, _) ->
Stack.to_list tags = element_list
) in
match item with
Some (_, func) -> Some func
| None -> None in
let in_content = ref false in
let content = Buffer.create 1024 in
let apply_func = ref (fun _ -> ()) in
Pxp_ev_parser.process_entity config entry entmng (fun ev ->
(* let event_string = Pxp_event.string_of_event ev in *)
match ev with
Pxp_types.E_start_tag (name, _, _, _) -> begin
Stack.push tags name;
(* print_endline @@ List.to_string (Stack.to_list tags) ~f:ident; *)
match element_func () with
Some func' -> begin
apply_func := func';
in_content := true
end
| _ -> ()
end
| Pxp_types.E_end_tag (name, _) -> begin
ignore @@ Stack.pop_exn tags;
if !in_content then
begin
!apply_func @@ Buffer.contents content;
Buffer.clear content;
in_content := false;
end;
end
| Pxp_types.E_char_data str -> begin
if !in_content then
Buffer.add_string content str
end
| _ -> ())
このような修正は、動的な型の言語の場合、必要な修正箇所を見逃しやすいが、
OCamlのような静的な型の言語の場合は、コンパイルエラーで検出できるので非常にやりやすい。
satoshi@xubuntu:~/workspace/ocaml-try/pxp$ time ./parse_wiki > /dev/null real 0m0.093s user 0m0.081s sys 0m0.011s修正前は、
satoshi@xubuntu:~/workspace/ocaml-try/pxp$ time ./parse_wiki > /dev/null real 0m3.361s user 0m3.168s sys 0m0.180sおよそ35倍速くなった!
$ opam install pxp
$ grep -m 10 -n -F "</page>" jawiki-20141122-pages-articles.xml | cut -d: -f1 | tail -n 1 | xargs -I @ head -n @ jawiki-20141122-pages-articles.xml > jawiki_10.xml $ echo "</mediawiki>" >> jawiki_10.xml
let element_func_list = [ (["title"; "page"; "mediawiki"], (fun content -> ..snip..)); (["text"; "revision"; "page"; "mediawiki"], (fun content -> ..snip..))] let () = parse element_func_list
open Core.Std
let config = let open Pxp_types in
{default_config with encoding = `Enc_utf8}
let source = Pxp_types.from_file "/home/satoshi/Documents/jawiki/jawiki_10.xml"
let entmng = Pxp_ev_parser.create_entity_manager config source
let entry = `Entry_document []
let element_func_list = [
(["title"; "page"; "mediawiki"],
(fun content ->
print_endline @@ sprintf "Title: %s" content));
(["text"; "revision"; "page"; "mediawiki"],
(fun content ->
let max_length = 40 in
let content' =
if String.length content > max_length then
(String.slice content 0 max_length) ^ "..."
else
content in
print_endline @@ sprintf "Text: %s" content'))]
let parse element_func_list =
let tags = Stack.create () in
let element_func () =
let item = List.find element_func_list ~f:(fun (element_list, _) ->
Stack.to_list tags = element_list
) in
match item with
Some (_, func) -> Some func
| None -> None in
let in_content = ref false in
let content = ref "" in
let apply_func = ref (fun _ -> ()) in
Pxp_ev_parser.process_entity config entry entmng (fun ev ->
(* let event_string = Pxp_event.string_of_event ev in *)
match ev with
Pxp_types.E_start_tag (name, _, _, _) -> begin
Stack.push tags name;
(* print_endline @@ List.to_string (Stack.to_list tags) ~f:ident; *)
match element_func () with
Some func' -> begin
apply_func := func';
in_content := true
end
| _ -> ()
end
| Pxp_types.E_end_tag (name, _) -> begin
ignore @@ Stack.pop_exn tags;
if !in_content then
begin
!apply_func !content;
content := "";
in_content := false;
end;
end
| Pxp_types.E_char_data str -> begin
if !in_content then
content := !content ^ str
end
| _ -> ())
let () =
parse element_func_list
satoshi@xubuntu:~/workspace/ocaml-try/pxp$ ./parse_wiki
Title: Wikipedia:アップロードログ 2004年4月
Text: <ul><li>14:46 2004年4月30日 [[利用..
Title: Wikipedia:削除記録/過去ログ 2002年12月
Text: Below is a list of the most recent delet...
Title: アンパサンド
Text: {{記号文字|&}}
[[Image:Trebuchet...
Title: Wikipedia:Sandbox
Text: #REDIRECT [[Wikipedia:サンドボック...
..snip..
let config = let open Pxp_types in
{default_config with encoding = `Enc_utf8}
自動でエンコーディングを認識させる方法はあるのかな？-rw-rw-r-- 1 satoshi satoshi 533408 11月 28 23:56 jawiki_10.xmlたった500kb弱なのに、想定よりも処理に時間がかかっている。
satoshi@xubuntu:~/workspace/ocaml-try/pxp$ time ./parse_wiki > /dev/null real 0m3.361s user 0m3.168s sys 0m0.180sちなみに実行環境はWindows8.1@Core i3のVirtualBox上のXubuntu14.04で、OCaml4.01.0を使っている。
| Pxp_types.E_char_data str -> begin
if !in_content then
content := !content ^ str ← ◆ここを () に変更
end
文字列連結部分を () にしてみるとどうなるかな？
satoshi@xubuntu:~/workspace/ocaml-try/pxp$ time ./parse_wiki > /dev/null real 0m0.087s user 0m0.086s sys 0m0.000sおおよそ40倍早くなった。これが原因かー。
void Main(void) {
..snip..
draw_string(bootInfo->vram, bootInfo->scrnx, 8, 8, "ABC 123", COLOR_WHITE);
draw_string(bootInfo->vram, bootInfo->scrnx, 31, 31, "Tiny OS.", COLOR_BLACK);
draw_string(bootInfo->vram, bootInfo->scrnx, 32, 32, "Tiny OS.", COLOR_WHITE);
..snip..
}
void draw_char(char *vram, int width, int x, int y, char c, char color) {
int i, j;
char img;
char *vram_aux;
char *font;
font = hankaku_font + c * 16;
vram += y * width + x;
for (i = 0; i < 16; i++) {
img = font[i];
for (j = 0; j < 8; j++) {
if ((img & 0x80) != 0)
vram[j] = color;
img <<= 1;
}
vram += width;
}
}
void draw_string(char *vram, int width, int x, int y, char *string, char color) {
char c;
while ((c = *(string++)) != 0) {
draw_char(vram, width, x, y, c, color);
x += 8;
}
}
char 0x61 ........ ........ ........ ........ ........ .***.... ....*... .....*.. ..****.. .*...*.. *....*.. *....*.. *...**.. .***.**. ........ ........
.file "font.s" .global hankaku_font .data hankaku_font: // char 0x00 .byte 0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00,0x00 // char 0x01 .byte 0x00,0x00,0x38,0x44,0x82,0xaa,0xaa,0x82,0x82,0xaa,0x92,0x44,0x38,0x00,0x00,0x00 ..snip..font.sを生成するプログラムはOCamlで作成した。
open Core.Std
let file_name = "hankaku.txt"
let is_skip_line line =
let line' = String.strip line in
line' = "" || String.get line 0 = '#'
let is_char_line line =
try
String.slice line 0 4 = "char"
with
_ -> false
let pattern_to_int p =
String.fold p ~init:0 ~f:(fun acc c ->
(acc lsl 1) + (if c = '*' then 1 else 0))
type parse_state = Init | Read_header | Read_data
let () =
let lines = In_channel.read_lines file_name in
let state = ref Init in
List.iter lines ~f:(fun line ->
if not (is_skip_line line) then
if is_char_line line then begin
if !state = Read_data then
print_newline ();
state := Read_header;
print_endline ("\t// " ^ line);
print_string "\t.byte "
end
else begin
if !state = Read_data then
print_string ",";
state := Read_data;
let img = pattern_to_int line in
print_string ("0x" ^ (Printf.sprintf "%02x" img));
end
);
print_newline ()
OMakeでfont.sを作成できるようにした。OUTPUT_FORMAT("binary")
ENTRY("Main")
SECTIONS {
.head 0x0 : {
LONG(128 * 1024) /* 0 : stack+.data+heap の大きさ（4KBの倍数） */
LONG(0x54696e79) /* 4 : シグネチャ "Tiny" */
LONG(0) /* 8 : mmarea の大きさ（4KBの倍数） */
LONG(0x310000) /* 12 : スタック初期値＆.data転送先 */
LONG(SIZEOF(.data)) /* 16 : .dataサイズ */
LONG(LOADADDR(.data)) /* 20 : .dataの初期値列のファイル位置 */
LONG(0xE9000000) /* 24 : 0xE9000000 */
LONG(Main - 0x20) /* 28 : エントリアドレス - 0x20 */
LONG(24 * 1024) /* 32 : heap領域（malloc領域）開始アドレス */
}
.text : { *(.text) }
.data 0x310000 : AT ( ADDR(.text) + SIZEOF(.text) ) {
*(.data)
*(.rodata*)
*(.bss)
}
.eh_frame : { *(.eh_frame) }
}
# +20 : .dataの初期値列がファイルのどこにあるか .int 0x10c8と定義しているが、 リンカスクリプトでdataセクションのアドレスを設定し、 そのアドレスをboot.sにも設定すれば良いのだろうか。
$ objdump -d func.o func.o: ファイル形式 elf32-i386 セクション .text の逆アセンブル: 00000000: 0: f4 hlt 1: c3 ret 00000002 : 2: 8b 4c 24 04 mov 0x4(%esp),%ecx 6: 8a 44 24 08 mov 0x8(%esp),%al a: 88 01 mov %al,(%ecx) c: c3 ret