3 d@sZddlZddjfddjfgZddjfdd jfgZd d jfgZd d jfd djfddjfddjfddjfgZddjfddjfddjfddjfddjfgZddjfddjfddjfd d!jfd"d#jfgZd$d%jfgZeeeeeeeZ d&d'd(d)d*d+d,d-gfgZ ej j d.e d/d0Z ej j d1e d2d3ZdS)4Nu!Бала-чака жакшыбы?u"Бала-чака жакшыбы ?u%Кыз-келиндер кийими.u&Кыз-келиндер кийими .unПассажир саны - 2,13 млн — киши/күнүнө (2010), 783,9 млн. киши/жылына.uvПассажир саны - 2,13 млн — киши / күнүнө ( 2010 ) , 783,9 млн. киши / жылына .u То"койu То " койuЭртең 22-январь...u Эртең 22 - январь ...u*Маселе б-ча эртең келетu$Ахунбаев көч. турат.u%Ахунбаев көч. турат .u'«3-жылы (б.з.ч.) туулганu,« 3 - жылы ( б.з.ч. ) туулганu5Жүгөрү ж.б. дандар колдонулатu3-4 кк. курулган.u3 - 4 кк. курулган .u М.Жумашu М.жумашu м.Жумашuм . ЖумашuЖумаш М.Н.u Жумаш.u Жумаш .u«3-жылда , туулганu"« 3 - жылда , туулганu«3-жылда,туулганu«3-жылда,туулган.u$« 3 - жылда , туулган .uАл иштейт(качан?)u"Ал иштейт ( качан ? )uАл (качан?)иштейтu!Ал ( качан ?) иштейтuАлыскы өлкөлөргө аздыр-көптүр татаалыраак жүрүштөргө чыккандар азыраак: ал бир топ кымбат жана логистика маселесинин айынан кыйла татаал. Мисалы, январдагы майрамдарда Мароккого үчүнчү категориядагы маршрутка (100 чакырымдан кем эмес) барып келгенге аракет кылдык.uАлыскы өлкөлөргө аздыр-көптүр татаалыраак жүрүштөргө чыккандар азыраак : ал бир топ кымбат жана логистика маселесинин айынан кыйла татаал . Мисалы , январдагы майрамдарда Мароккого үчүнчү категориядагы маршрутка ( 100 чакырымдан кем эмес ) барып келгенге аракет кылдык .u:ит, мышык ж.б.у.с. үй жаныбарлары.uит,u мышыкu+жана башка ушул сыяктууuүйuжаныбарлары.ztext,expected_tokenscCs"dd||D}||kstdS)NcSsg|]}|js|jqS)Zis_spacetext).0tokenrrV/var/www/html/virt/lib64/python3.6/site-packages/spacy/tests/lang/ky/test_tokenizer.py Osz7test_ky_tokenizer_handles_testcases..)AssertionError) ky_tokenizerrZexpected_tokenstokensrrr#test_ky_tokenizer_handles_testcasesMsr z text,normscCs"||}dd|D|kstdS)NcSsg|] }|jqSr)Znorm_)rrrrrr Vsz=test_ky_tokenizer_handles_norm_exceptions..)r )r rZnormsr rrr)test_ky_tokenizer_handles_norm_exceptionsSsr)ZpytestsplitZINFIX_HYPHEN_TESTSZPUNC_INSIDE_WORDS_TESTSZMIXED_ORDINAL_NUMS_TESTSZ ABBREV_TESTSZNAME_ABBREV_TESTSZTYPOS_IN_PUNC_TESTSZLONG_TEXTS_TESTSZ TESTCASESZNORM_TESTCASESmarkZ parametrizer rrrrrs8