├── .gitignore ├── README.md └── cnvk.py /.gitignore: -------------------------------------------------------------------------------- 1 | *.py[co] 2 | 3 | # Packages 4 | *.egg 5 | *.egg-info 6 | dist 7 | build 8 | eggs 9 | parts 10 | bin 11 | var 12 | sdist 13 | develop-eggs 14 | .installed.cfg 15 | 16 | # Installer logs 17 | pip-log.txt 18 | 19 | # Unit test / coverage reports 20 | .coverage 21 | .tox 22 | 23 | #Translations 24 | *.mo 25 | 26 | #Mr Developer 27 | .mr.developer.cfg 28 | 29 | .project 30 | .pydevproject 31 | .settings/ 32 | -------------------------------------------------------------------------------- /README.md: -------------------------------------------------------------------------------- 1 | cnvk 2 | ==== 3 | 4 | Python で全角・半角・ひらがな・カタカナ等を変換する 5 | 6 | 変換マップを指定して、文字列を変換します。 7 | 追加の変換マップを dict や tuple で簡単に利用できます。 8 | 処理をスキップする文字を指定することが出来ます。 9 | 10 | args: 11 | text: 変換元のテキスト。unicode を必要とします。 12 | maps: 変換マップの指定。tuple, dict または tuple を返す関数（callable オブジェクト）で指定。 13 | マップは指定された順序に実行されます。 14 | skip: 変換しない除外文字の指定。tuple または文字列で指定 15 | tuple で指定すると各要素を除外。文字列で指定すると含まれる全ての文字を除外。 16 | return: 17 | converted unicode string 18 | 19 | built-in maps: 20 | H_SPACE (HS): スペースを半角に統一 21 | H_NUM (HN): 数字を半角に統一 22 | H_ALPHA (HA): 英字を半角に統一 23 | H_KIGO (HKG): ASCII記号を半角に統一 24 | H_KATA (HK): カタカナを半角カタカナに統一 25 | H_ASCII (HAC): アスキー文字を半角に統一（スペースを除く）（＝H_NUM + H_ALPHA + H_KIGO） 26 | Z_SPACE (ZS): スペースを全角に統一 27 | Z_NUM (ZN): 数字を全角に統一 28 | Z_ALPHA (ZA): 英字を全角に統一 29 | Z_KIGO (ZKG): ASCII記号を全角に統一 30 | Z_KATA (ZK): カタカナを全角に統一 31 | Z_ASCII (ZAC): アスキー文字を全角に統一（スペースを除く）（＝Z_NUM + Z_ALPHA + Z_KIGO） 32 | HIRA2KATA (H2K): ひらがなをカタカナに変換 33 | KATA2HIRA (K2H): カタカナをひらがなに変換 34 | 35 | -------------------------------------------------------------------------------- /cnvk.py: -------------------------------------------------------------------------------- 1 | #!/usr/bin/env python 2 | # -*- coding: utf-8 -*- 3 | """ 4 | cnvk 0.9.4 - 全角・半角・ひらがな・カタカナ等を変換する簡単なモジュールです 5 | 6 | Author: 7 | yuka2py 8 | 9 | Lisence: 10 | Artistic License 2.0 11 | 12 | Usage: 13 | import cnvk 14 | text = cnvk.convert(text, cnvk.H_ALPHA, cnvk.H_NUM) #英数字を半角に変換 15 | text = cnvk.convert(text, cnvk.H_ALPHA, cnvk.H_NUM, {u"-":u"－"}) #追加の変換を dict で指示 16 | text = cnvk.convert(text, cnvk.HIRA2KATA, cnvk.H_KATA) #ひらがなも含め、半角カタカナに変換 17 | text = cnvk.convert(text, cnvk.Z_KATA, cnvk.KATA2HIRA) #カタカナも含め、全角ひらがなに変換 18 | text = cnvk.convert(text, cnvk.HAC, skip=u"＄＆") #u"＄" と u"＆" 以外の ASCII 文字を半角に変換 19 | """ 20 | 21 | def convert(text, *maps, **ops): 22 | """ 変換マップを指定して、文字列を変換します。 23 | 追加の変換マップを dict や tuple で簡単に利用できます。 24 | 処理をスキップする文字を指定することが出来ます。 25 | 26 | args: 27 | text: 変換元のテキスト。unicode を必要とします。 28 | maps: 変換マップの指定。tuple, dict または tuple を返す関数（callable オブジェクト）で指定。 29 | マップは指定された順序に実行されます。 30 | skip: 変換しない除外文字の指定。tuple または文字列で指定 31 | tuple で指定すると各要素を除外。文字列で指定すると含まれる全ての文字を除外。 32 | return: 33 | converted unicode string 34 | 35 | built-in maps: 36 | H_SPACE (HS): スペースを半角に統一 37 | H_NUM (HN): 数字を半角に統一 38 | H_ALPHA (HA): 英字を半角に統一 39 | H_KIGO (HKG): ASCII記号を半角に統一 40 | H_KATA (HK): カタカナを半角カタカナに統一 41 | H_ASCII (HAC): アスキー文字を半角に統一（スペースを除く）（＝H_NUM + H_ALPHA + H_KIGO） 42 | Z_SPACE (ZS): スペースを全角に統一 43 | Z_NUM (ZN): 数字を全角に統一 44 | Z_ALPHA (ZA): 英字を全角に統一 45 | Z_KIGO (ZKG): ASCII記号を全角に統一 46 | Z_KATA (ZK): カタカナを全角に統一 47 | Z_ASCII (ZAC): アスキー文字を全角に統一（スペースを除く）（＝Z_NUM + Z_ALPHA + Z_KIGO） 48 | HIRA2KATA (H2K): ひらがなをカタカナに変換 49 | KATA2HIRA (K2H): カタカナをひらがなに変換 50 | """ 51 | if "skip" in ops: 52 | skip = ops["skip"] 53 | if isinstance(skip, basestring): 54 | skip = tuple(skip) 55 | def replace(text, fr, to): 56 | return text if fr in skip else text.replace(fr, to) 57 | else: 58 | def replace(text, fr, to): 59 | return text.replace(fr, to) 60 | 61 | for m in maps: 62 | if callable(m): 63 | m = m() 64 | elif isinstance(m, dict): 65 | m = m.items() 66 | for fr, to in m: 67 | text = replace(text, fr, to) 68 | 69 | return text 70 | 71 | H_SPACE = HS = ((u"　", u" "),) 72 | H_NUM = HN = ( 73 | (u"０", u"0"), (u"１", u"1"), (u"２", u"2"), (u"３", u"3"), (u"４", u"4"), 74 | (u"５", u"5"), (u"６", u"6"), (u"７", u"7"), (u"８", u"8"), (u"９", u"9"), 75 | ) 76 | H_ALPHA = HA = ( 77 | (u"ａ", u"a"), (u"ｂ", u"b"), (u"ｃ", u"c"), (u"ｄ", u"d"), (u"ｅ", u"e"), 78 | (u"ｆ", u"f"), (u"ｇ", u"g"), (u"ｈ", u"h"), (u"ｉ", u"i"), (u"ｊ", u"j"), 79 | (u"ｋ", u"k"), (u"ｌ", u"l"), (u"ｍ", u"m"), (u"ｎ", u"n"), (u"ｏ", u"o"), 80 | (u"ｐ", u"p"), (u"ｑ", u"q"), (u"ｒ", u"r"), (u"ｓ", u"s"), (u"ｔ", u"t"), 81 | (u"ｕ", u"u"), (u"ｖ", u"v"), (u"ｗ", u"w"), (u"ｘ", u"x"), (u"ｙ", u"y"), (u"ｚ", u"z"), 82 | (u"Ａ", u"A"), (u"Ｂ", u"B"), (u"Ｃ", u"C"), (u"Ｄ", u"D"), (u"Ｅ", u"E"), 83 | (u"Ｆ", u"F"), (u"Ｇ", u"G"), (u"Ｈ", u"H"), (u"Ｉ", u"I"), (u"Ｊ", u"J"), 84 | (u"Ｋ", u"K"), (u"Ｌ", u"L"), (u"Ｍ", u"M"), (u"Ｎ", u"N"), (u"Ｏ", u"O"), 85 | (u"Ｐ", u"P"), (u"Ｑ", u"Q"), (u"Ｒ", u"R"), (u"Ｓ", u"S"), (u"Ｔ", u"T"), 86 | (u"Ｕ", u"U"), (u"Ｖ", u"V"), (u"Ｗ", u"W"), (u"Ｘ", u"X"), (u"Ｙ", u"Y"), (u"Ｚ", u"Z"), 87 | ) 88 | H_KIGO = HKG = ( 89 | (u"．", u"."), (u"，", u","), (u"！", u"!"), (u"？", u"?"), (u"”", u'"'), 90 | (u"’", u"'"), (u"‘", u"`"), (u"＠", u"@"), (u"＿", u"_"), (u"：", u":"), 91 | (u"；", u";"), (u"＃", u"#"), (u"＄", u"$"), (u"％", u"%"), (u"＆", u"&"), 92 | (u"（", u"("), (u"）", u")"), (u"‐", u"-"), (u"＝", u"="), (u"＊", u"*"), 93 | (u"＋", u"+"), (u"－", u"-"), (u"／", u"/"), (u"＜", u"<"), (u"＞", u">"), 94 | (u"［", u"["), (u"￥", u"\\"), (u"］", u"]"), (u"＾", u"^"), (u"｛", u"{"), 95 | (u"｜", u"|"), (u"｝", u"}"), (u"～", u"~") 96 | ) 97 | H_KATA = HK = ( 98 | (u"ァ", u"ｧ"), (u"ィ", u"ｨ"), (u"ゥ", u"ｩ"), (u"ェ", u"ｪ"), (u"ォ", u"ｫ"), 99 | (u"ッ", u"ｯ"), (u"ャ", u"ｬ"), (u"ュ", u"ｭ"), (u"ョ", u"ｮ"), 100 | (u"ガ", u"ｶﾞ"), (u"ギ", u"ｷﾞ"), (u"グ", u"ｸﾞ"), (u"ゲ", u"ｹﾞ"), (u"ゴ", u"ｺﾞ"), 101 | (u"ザ", u"ｻﾞ"), (u"ジ", u"ｼﾞ"), (u"ズ", u"ｽﾞ"), (u"ゼ", u"ｾﾞ"), (u"ゾ", u"ｿﾞ"), 102 | (u"ダ", u"ﾀﾞ"), (u"ヂ", u"ﾁﾞ"), (u"ヅ", u"ﾂﾞ"), (u"デ", u"ﾃﾞ"), (u"ド", u"ﾄﾞ"), 103 | (u"バ", u"ﾊﾞ"), (u"ビ", u"ﾋﾞ"), (u"ブ", u"ﾌﾞ"), (u"ベ", u"ﾍﾞ"), (u"ボ", u"ﾎﾞ"), 104 | (u"パ", u"ﾊﾟ"), (u"ピ", u"ﾋﾟ"), (u"プ", u"ﾌﾟ"), (u"ペ", u"ﾍﾟ"), (u"ポ", u"ﾎﾟ"), 105 | (u"ヴ", u"ｳﾞ"), 106 | (u"ア", u"ｱ"), (u"イ", u"ｲ"), (u"ウ", u"ｳ"), (u"エ", u"ｴ"), (u"オ", u"ｵ"), 107 | (u"カ", u"ｶ"), (u"キ", u"ｷ"), (u"ク", u"ｸ"), (u"ケ", u"ｹ"), (u"コ", u"ｺ"), 108 | (u"サ", u"ｻ"), (u"シ", u"ｼ"), (u"ス", u"ｽ"), (u"セ", u"ｾ"), (u"ソ", u"ｿ"), 109 | (u"タ", u"ﾀ"), (u"チ", u"ﾁ"), (u"ツ", u"ﾂ"), (u"テ", u"ﾃ"), (u"ト", u"ﾄ"), 110 | (u"ナ", u"ﾅ"), (u"ニ", u"ﾆ"), (u"ヌ", u"ﾇ"), (u"ネ", u"ﾈ"), (u"ノ", u"ﾉ"), 111 | (u"ハ", u"ﾊ"), (u"ヒ", u"ﾋ"), (u"フ", u"ﾌ"), (u"ヘ", u"ﾍ"), (u"ホ", u"ﾎ"), 112 | (u"マ", u"ﾏ"), (u"ミ", u"ﾐ"), (u"ム", u"ﾑ"), (u"メ", u"ﾒ"), (u"モ", u"ﾓ"), 113 | (u"ヤ", u"ﾔ"), (u"ユ", u"ﾕ"), (u"ヨ", u"ﾖ"), 114 | (u"ラ", u"ﾗ"), (u"リ", u"ﾘ"), (u"ル", u"ﾙ"), (u"レ", u"ﾚ"), (u"ロ", u"ﾛ"), 115 | (u"ワ", u"ﾜ"), (u"ヲ", u"ｦ"), (u"ン", u"ﾝ"), 116 | (u"。", u"｡"), (u"、", u"､"), (u"゛", u"ﾞ"), (u"゜", u"ﾟ"), 117 | (u"「", u"｢"), (u"」", u"｣"), (u"・", u"･"), (u"ー", u"ｰ"), 118 | ) 119 | HIRA2KATA = ( 120 | (u"ぁ", u"ァ"), (u"ぃ", u"ィ"), (u"ぅ", u"ゥ"), (u"ぇ", u"ェ"), (u"ぉ", u"ォ"), 121 | (u"っ", u"ッ"), (u"ゃ", u"ャ"), (u"ゅ", u"ュ"), (u"ょ", u"ョ"), 122 | (u"が", u"ガ"), (u"ぎ", u"ギ"), (u"ぐ", u"グ"), (u"げ", u"ゲ"), (u"ご", u"ゴ"), 123 | (u"ざ", u"ザ"), (u"じ", u"ジ"), (u"ず", u"ズ"), (u"ぜ", u"ゼ"), (u"ぞ", u"ゾ"), 124 | (u"だ", u"ダ"), (u"ぢ", u"ヂ"), (u"づ", u"ヅ"), (u"で", u"デ"), (u"ど", u"ド"), 125 | (u"ば", u"バ"), (u"び", u"ビ"), (u"ぶ", u"ブ"), (u"べ", u"ベ"), (u"ぼ", u"ボ"), 126 | (u"ぱ", u"パ"), (u"ぴ", u"ピ"), (u"ぷ", u"プ"), (u"ぺ", u"ペ"), (u"ぽ", u"ポ"), 127 | (u"ヴ", u"ヴ"), 128 | (u"あ", u"ア"), (u"い", u"イ"), (u"う", u"ウ"), (u"え", u"エ"), (u"お", u"オ"), 129 | (u"か", u"カ"), (u"き", u"キ"), (u"く", u"ク"), (u"け", u"ケ"), (u"こ", u"コ"), 130 | (u"さ", u"サ"), (u"し", u"シ"), (u"す", u"ス"), (u"せ", u"セ"), (u"そ", u"ソ"), 131 | (u"た", u"タ"), (u"ち", u"チ"), (u"つ", u"ツ"), (u"て", u"テ"), (u"と", u"ト"), 132 | (u"な", u"ナ"), (u"に", u"ニ"), (u"ぬ", u"ヌ"), (u"ね", u"ネ"), (u"の", u"ノ"), 133 | (u"は", u"ハ"), (u"ひ", u"ヒ"), (u"ふ", u"フ"), (u"へ", u"ヘ"), (u"ほ", u"ホ"), 134 | (u"ま", u"マ"), (u"み", u"ミ"), (u"む", u"ム"), (u"め", u"メ"), (u"も", u"モ"), 135 | (u"や", u"ヤ"), (u"ゆ", u"ユ"), (u"よ", u"ヨ"), 136 | (u"ら", u"ラ"), (u"り", u"リ"), (u"る", u"ル"), (u"れ", u"レ"), (u"ろ", u"ロ"), 137 | (u"わ", u"ワ"), (u"を", u"ヲ"), (u"ん", u"ン"), 138 | ) 139 | 140 | Z_SPACE = ZS = ((u" ", u"　"),) 141 | Z_NUM = ZN = lambda: ((h, z) for z, h in H_NUM) 142 | Z_ALPHA = ZA = lambda: ((h, z) for z, h in H_ALPHA) 143 | Z_KIGO = ZKG = lambda: ((h, z) for z, h in H_KIGO) 144 | Z_KATA = ZK = lambda: ((h, z) for z, h in H_KATA) 145 | KATA2HIRA = lambda: ((k, h) for h, k in HIRA2KATA) 146 | H_ASCII = HAC = lambda: ((fr, to) for m in (H_ALPHA, H_NUM, H_KIGO) for fr, to in m) 147 | Z_ASCII = ZAC = lambda: ((h, z) for z, h in H_ASCII()) 148 | --------------------------------------------------------------------------------