ویکی‌پدیا:درخواست‌های ربات/ساخت خودکار رده همسنگ

از ویکی‌پدیا، دانشنامهٔ آزاد

این ربات بر اساس رده‌های مورد نیاز ویکی‌فا ردهای انگلیسی را ترجمه می کند و در صورتی که شرایط لازم برای ساخت را داشتند آنها را می‌سازد.

کوئری[ویرایش]

jsub -once -N getcat_sql -mem 1g -o encat.txt  -i /data/project/Yourbot/encat.sql  sql enwiki_p
SELECT /* SLOW_OK */ cl_to
FROM categorylinks
WHERE 
	cl_from IN
		(SELECT DISTINCT ll_from
		FROM langlinks
		WHERE ll_lang = "fa" )
	AND
	cl_to NOT IN
		(SELECT DISTINCT page_title 
		FROM langlinks LEFT JOIN page
			ON page_id = ll_from        
		WHERE ll_lang = "fa"
			AND page_namespace = 14)
GROUP BY cl_to;

کد[ویرایش]

jsub -l release=trusty -once -N catmaker -mem 1g python /data/project/YourAcount/pywikipedia/zzcat_auto_maker.py

در کد زیر عبارت YourAcount را با کاربری خودتان در لبز جایگزین کنید.

#!/usr/bin/python
# -*- coding: utf-8  -*-
#
# Reza(User:reza1615), 2014
#
# Distributed under the terms of the CC-BY-SA 3.0 .
# -*- coding: utf-8 -*-

import query,pagegenerators,re,sys
import wikipedia,codecs,string,login
ensite = wikipedia.getSite('en')
fasite=wikipedia.getSite("fa")
_cache={}
wikipedia.config.put_throttle = 0
wikipedia.put_throttle.setDelay()
YourAcountRootPath='/data/project/YourAcount'
YourAcountPywikipediaPath=YourAcountRootPath+'/pywikipedia'

bot_version=u'7.00'

spe_cat_dict={u'People_of_':u'اهالی',u'People_from_':u'اهالی',u'Works_about_':u'آثار درباره',u'Works_based_on_':u'آثار برپایه',u'Politics_of_':u'سیاست'
            ,u'Works_by_':u'آثار',u'Works_of_':u'آثار',u'Works_originally_published_in_':u'آثار منتشرشده در'
            ,u'Works_set_in_the_':u'آثار تنظیم‌شده در',u'Subdivisions':u'تقسیمات کشوری',u'Suicides_by_jumping_in_':u'خودکشی با پریدن در'
            ,u'Suicides_by_sharp_instrument_':u'خودکشی با ابزار تیز در',u'People_associated_with_':u'افراد مرتبط با'
            ,u'People_educated_at_':u'دانش‌آموختگان',u'Magazines_established_in_':u'روزنامه‌های بنیان‌گذاری‌شده در'
            ,u'Kingdom_of_':u'پادشاهی',u'Films_shot_in_':u'فیلم‌های فیلمبرداری‌شده در',u'Films_directed_by_':u'فیلم‌های'
            ,u'Fictional_characters_from_':u'شخصیت‌های داستانی اهل',u'House_of_':u'خانه',u'Houses_in_':u'خانه‌ها در'
            ,u'Important_Bird_Areas_of_':u'پرندگان بومی',u'People_executed_by_':u'اعدام‌شدگان توسط',u"Villages_in_":u"روستاهای ",u"Cities_in_":u"شهرهای "
            ,u'Towns_in_':u'شهرک‌های ' }

Nationality={u"Afghan":u"افغانستان",u"Albanian":u"آلبانی",u"Algerian":u"الجزایر",u"American":u"ایالات متحده آمریکا",
u"Ancient Roman":u"روم باستان",u"Andorran":u"آندوران",u"Antigua and Barbuda":u"آنتیگوا و باربودا",u"Argentine":u"آرژانتین",
u"Armenian":u"ارمنستان",u"Aruban":u"اوربان",u"Australian":u"استرالیا",u"Austrian":u"اتریش",u"Austro-Hungarian":u"اتریش-مجارستان",
u"Azerbaijani":u"جمهوری آذربایجان",u"Bahamian":u"باهاما",u"Bangladeshi":u"بنگلادش",u"Belarusian":u"بلاروس",u"Belgian":u"بلژیک",
u"Belizean":u"بلیز",u"Beninese":u"بنین",u"Bermudian":u"برمودا",u"Bolivian":u"بولوی",u"Bonaire":u"بونیر",u"Bosnia and Herzegovina":u"بوسنی و هرزگوین",
u"Bosniak":u"بوسنی",u"Botswana":u"بوتسوانا",u"Brazilian":u"برزیل",u"British":u"بریتانیا",u"British Indian Ocean Territory":u"قلمرو بریتانیا در اقیانوس هند",
u"Bulgarian":u"بلغارستان",u"Cameroonian":u"کامرون",u"Canadian":u"کانادا",u"Catalan":u"کاتالان",u"Central African":u"آفریقای مرکزی",u"Chadian":u"چاد",
u"Chilean":u"شیلی",u"Chinese":u"چین",u"Collectivity of Saint Martin":u"سن-مارتن",u"Colombian":u"کلمبیا",u"Cook Islands":u"جزایر کوک",
u"Costa Rican":u"کاستاریکا",u"Cuban":u"کوبا",u"Curaçao":u"کوراسائو",u"Czech":u"جمهوری چک",u"Danish":u"دانمارک",
u"Democratic Republic of the Congo":u"جمهوری دموکراتیک کنگو",u"Dominica":u"دومینیکا",u"Dominican Republic":u"جمهوری دومینیکن",u"Dutch":u"هلند",
u"Dutch Antillean":u"آنتیل هلند",u"Egyptian":u"مصر",u"Emirati":u"امارات متحده عربی",u"Equatoguinean":u"گینه استوایی",u"Eritrean":u"اریتره",
u"Estonian":u"استونی",u"Ethiopian":u"اتیوپی",u"Falkland Islands":u"جزایر فالکلند",u"Federated States of Micronesia":u"ایالات فدرال میکرونزی",
u"Finnish":u"فنلاند",u"French":u"فرانسه",u"French Guianan":u"گویان فرانسه",u"French Polynesian":u"پلی‌نزی فرانسه",u"Gabonese":u"گابون",
u"Gambian":u"گامبیا",u"German":u"آلمان",u"Ghanaian":u"غنا",u"Greek":u"یونان",u"Guadeloupean":u"جزیره گوادلوپ",u"Guam":u"گوآم",u"Guinea-Bissauan":u"گینه بیسائو",
u"Guinean":u"گینه",u"Haitian":u"هائیتی",u"Hungarian":u"مجارستان",u"Icelandic":u"آیسلند",u"Indian":u"هند",u"Indonesian":u"اندونزی",
u"Iranian":u"ایران",u"Iraqi":u"عراق",u"Irish":u"ایرلند",u"Israeli":u"اسرائیل",u"Italian":u"ایتالیا",u"Jamaican":u"جامائیکا",u"Japanese":u"ژاپن",
u"Jordanian":u"اردن",u"Kazakhstani":u"قزاقستان",u"Kenyan":u"کنیا",u"Kiribati":u"کیریباتی",u"Korean":u"کره",u"Kosovar":u"کوزوو",
u"Kuwaiti":u"کویت",u"Kyrgyzstani":u"قرقیزستان",u"Lebanese":u"لبنان",u"Lesotho":u"لسوتو",u"Libyan":u"لیبی",u"Liechtenstein":u"لیختن‌اشتاین",
u"Lithuanian":u"لیتوانی",u"Luxembourgian":u"زبان لوکزامبورگ",u"Macedonian":u"مقدونیه",u"Malagasy":u"مالاگاسکا",u"Malawian":u"مالاوی",
u"Malaysian":u"مالزی",u"Maldivian":u"مالدیو",u"Malian":u"مالی (کشور)",u"Martinican":u"مارتینیک",u"Mauritian":u"موریتانی",
u"Mexican":u"مکزیک",u"Moldovan":u"مولداوی",u"Moroccan":u"مراکش",u"Mozambican":u"موزامبیک",u"Nagorno-Karabakh":u"ناگورنو قره‌باغ",
u"Namibian":u"نامیبیا",u"Nepalese":u"نپال",u"New Zealand":u"نیوزیلند",u"Nicaraguan":u"نیکاراگوئه",u"Nigerian":u"نیجریه",
u"Nigerien":u"نیجر",u"North Korean":u"کره شمالی",u"Norwegian":u"نروژ",u"Omani":u"عمان",u"Ottoman":u"عثمانی",u"Pakistani":u"پاکستان",
u"Palau":u"پالائو",u"Palestinian":u"فلسطین",u"Panamanian":u"پاناما",u"Papua New Guinean":u"پاپوآ گینه نو",u"Paraguayan":u"پاراگوئه",
u"Pashtun":u"پشتون",u"People's Republic of China":u"جمهوری خلق چین",u"Peruvian":u"پرو",u"Philippine":u"فیلیپین",u"Polish":u"لهستان",
u"Portuguese":u"پرتغال",u"Qatari":u"قطر",u"Republic of the Congo":u"جمهوری کنگو",u"Réunionnais":u"رئونیون",u"Romanian":u"رومانی",
u"Russian":u"روسیه",u"Saint Barthélemy":u"سن بارتلمی",u"Saint Helenian":u"سنت هلن",u"Saint Kitts and Nevis":u"سنت کیتس و نویس",
u"Saint Pierre and Miquelon":u"سن پی‌یر و میکلن",u"Saint Vincent and the Grenadines":u"سنت وینسنت و گرنادین‌ها",u"Sammarinese":u"سن مارینو",
u"São Tomé and Príncipe":u"سائوتومه و پرینسیپ",u"Saudi Arabian":u"عربستان سعودی",u"Scandinavian":u"اسکاندیناوی",u"Scottish":u"اسکاتلند",
u"Senegalese":u"سنگال",u"Serbian":u"صربستان",u"Seychellois":u"سیشل",u"Sierra Leonean":u"سیرالئون",u"Singaporean":u"سنگاپور",u"Sint Eustatius":u"سینت یوستیشس",
u"Sint Maarten":u"سینت مارتن",u"Slovak":u"اسلواکی",u"Slovenian":u"اسلوونی",u"Solomon Islands":u"جزایر سلیمان",u"South African":u"آفریقای جنوبی",
u"South Korean":u"کره جنوبی",u"Soviet":u"اتحاد جماهیر شوروی سوسیالیستی",u"Spanish":u"اسپانیا",u"Sudanese":u"سودان",u"Surinamese":u"سورینام",
u"Swedish":u"سوئد",u"Swiss":u"سوئیس",u"Syrian":u"سوریه",u"Tajikistani":u"تاجیکستان",u"Tanzanian":u"تانزانیا",u"Togolese":u"توگو",
u"Tokelauan":u"توکلائو",u"Trinidad and Tobago":u"ترینیداد و توباگو",u"Tunisian":u"تونس",u"Turkish":u"ترکیه",u"Turkish Cypriot":u"ترک‌های قبرس",
u"Turkmenistan":u"ترکمنستان",u"Turks and Caicos Islands":u"جزایر تورکس و کایکوس",u"Ugandan":u"اوگاندا",u"Ukrainian":u"اوکراین",u"Uruguayan":u"اروگوئه",
u"Uzbekistani":u"ازبکستان",u"Vatican City":u"واتیکان",u"Venezuelan":u"ونزوئلا",u"Wallis and Futuna":u"والیس و فوتونا",u"Welsh":u"ولز",
u"West German":u"آلمان غربی",u"Yemeni":u"یمن",u"Zambian":u"زامبیا",u"Zimbabwean":u"زیمبابوه"}

people_case=[u"academics",u"accordionists",u"accountants",u"activists",u"actors",u"actresses",u"admirals",u"models",u"agriculturalists",u"agronomists",
u"alchemists",u"groups",u"ambassadors",u"anarchists",u"animators",u"anthropologists",u"communists",u"fascists",u"nationalists",u"people",
u"archaeologists",u"archers",u"architects",u"arsonists",u"artists",u"writers",u"assassins",u"assyriologists",u"astronomers",u"atheists",u"engineers",
u"teams",u"autobiographers",u"avant-garde",u"aviators",u"winners",u"ayatollahs",u"bahá'ís",u"dancers",u"baptists",u"painters",u"players",u"coaches",
u"guitarists",u"billionaires",u"chemists",u"biographers",u"biologists",u"biophysicists",u"bishops",u"bloggers",u"singers",u"bodybuilders",
u"writer",u"botanists",u"boxers",u"directors",u"musicians",u"butchers",u"emperors",u"calligraphers",u"caricaturists",u"catholics",u"cattlemen",
u"cavalry",u"centenarians",u"chairmen",u"chefs",u"child",u"choreographers",u"christian",u"chronicles",u"cinematographers",u"circassians",u"civilians",
u"clarinetists",u"classical cellists",u"liberals",u"organists",u"pianists",u"violinists",u"communists",u"composers",u"programmers",u"computer scientists",
u"conductors",u"objectors",u"cosmologists",u"designers",u"revolutionaries",u"cryptographers",u"curators",u"cyclists",u"demographers",u"dentists",u"diarists",
u"diaspora",u"diplomats",u"divers",u"djs",u"playwrights",u"dramatists",u"traffickers",u"drummers",u"scientists",u"economists",u"editors",u"educationists",
u"educators",u"egyptologists",u"emigrants",u"empresses",u"engineer",u"entertainers",u"entomologists",u"environmentalists",u"equestrians",u"photographers",
u"esperantists",u"essayists",u"ethnologists",u"expatriate",u"explorers",u"families",u"farmers",u"female",u"models",u"swimmers",u"wrestlers",u"rappers",
u"feminists",u"feudalism",u"marshals",u"film actors",u"crew",u"director",u"producers",u"flautists",u"footballers",u"formalism",u"muslims",u"freemasons",
u"futurism",u"generals",u"geneticists",u"geographers",u"geologists",u"girl",u"grammarians",u"gymnasts",u"harpsichordists",u"keyboardists",u"historians",
u"humanists",u"illustrators",u"imams",u"inventors",u"investors",u"saxophonists",u"jewellers",u"jewish",u"journalists",u"jurists",u"knights",u"creatures",
u"lexicographers",u"libertarians",u"librarians",u"linguists",u"liqueurs",u"mafia",u"victims",u"maronites",u"marxists",u"mascots",u"mathematicians",
u"memoirists",u"men",u"merchants",u"meteorologists",u"methodists",u"sopranos",u"leaders",u"officers",u"personnel",u"specialisms",u"poets",u"monarchists",
u"monarchs",u"racers",u"climbers",u"murderers",u"makers",u"nazis",u"neuroscientists",u"novelists",
u"numismatists",u"nurses",u"oboists",u"occultists",u"competitors",u"orientalists",u"ornithologists",u"paleoanthropologists",u"paleontologists",
u"pashas",u"pastries",u"pathologists",u"performing arts",u"pharmacists",u"pharmacologists",u"philanthropists",u"philosophers",u"photojournalists",
u"chemists",u"physicians",u"physicists",u"physiologists",u"politicians",u"detainees",u"princes",u"princesses",u"prisoners",u"prosecutors",
u"prostitutes",u"protestants",u"psychiatrists",u"psychologists",u"puppeteers",u"puritans",u"quakers",u"rapists",u"refugees",u"republicans",u"researchers",
u"rowers",u"rulers",u"runners",u"sailors",u"saints",u"satirists",u"teachers",u"sculptors",u"killers",u"sexologists",u"shepherds",u"putters",u"riders",
u"slaves",u"slavs",u"workers",u"socialists",u"sociologists",u"soldiers",u"women",u"sprinters",u"statisticians",u"performers",u"surgeons",u"tenors",u"translators",
u"trumpeters",u"turkologists",u"violists",u"whistleblowers",u"wikipedians",u"zionists",u"zoologists",u"zoroastrians",u"judges",u"members",u"comedians",
u"noble_titles",u"theologians",u"ismailis",u"anglicans",u"cannibals",u"nobel_laureates",u"founders",u"popes",u"scholars",u"exiles",u"outlaws",
u"practitioners",u"lords",u"judoka",u"rabbis",u"baritones",u"contraltos",u"deists",u"veterinarians",u"alumni",u"clowns",u"hurdlers",u"drivers",u"abbots",
u"clergy",u"hermits",u"beekeepers",u"_duos",u"magicians",u"rebels",u"Satanists",u"Sufis",u"nomads",u"astronauts",u"karateka",u"priests",u"comedians",
u"Lutherans",u"criminals",u"presenters",u"collectors",u"evangelicals",u"critics",u"logicians",u"candidates",u"agnostics",u"semioticians",u"theorists",
u"cellists",u"neoconservatism",u"athletes",u"lawyers",u"practitioners"]

one_word=[u'محیط زیست']

orginal_plural=[u'politics',u'gymnastics']

plural_names={u'پرنده':u'پرندگان',u'جونده':u'جوندگان',u'':u'خزنده',u'':u'خزندگان'
              ,u'بازیکن':u'بازیکنان',u'هنرمند':u'هنرمندان',u'گوینده':u'گویندگان',u'نماینده':u'نمایندگان',u'مناطق حفاظت':u'مناطق حفاظت'
              ,u'دانشمند':u'دانشمندان',u'فروشنده':u'فروشندگان',u'قدیس':u'قدیسان',u'تهیه‌کننده':u'تهیه‌کنندگان'
              ,u'پهلوان':u'پهلوانان',u'اثر':u'آثار',u'آثار':u'آثار',u'سوانح':u'سوانح',u'سانحه':u'سوانح',u"افراد":u"افراد",u"اقوام":u"اقوام"
              ,u'میراث':u'میراث',u'خطوط':u'خطوط',u"ارواح":u"ارواح",u"اسامی":u"اسامی",u"اساطیر":u"اساطیر",u"جنگ‌سالار":u"جنگ‌سالاران"
              ,u"مخالف":u"مخالفان",u"روابط":u"روابط",u"رابطه":u"روابط",u"سواحل":u"سواحل",u"دور":u"دور",u"شطرنج":u"شطرنج",u"اقتصاد":u"اقتصاد"
              ,u"سیاست":u"سیاست",u"فجایع":u"فجایع",u"حقوق":u"حقوق",u"احزاب":u"احزاب",u"معادن":u"معادن",u"جوامع":u"جوامع",u"صنایع":u"صنایع",u"القاب":u"القاب"
              ,u"سنت":u"سنت",u"مناطق":u"مناطق",u"اشعار":u"اشعار",u"اعضا":u"اعضا",u"اهالی":u"اهالی"}
ZWNJ=u'‌'


def login_wiki(mode):
    if mode==1:
        dataSite=wikipedia.getSite('wikidata','wikidata')    
    if mode==2:
        dataSite=wikipedia.getSite('fa','wikipedia')
    try:
        password_wiki = open(YourAcountPywikipediaPath+"/passfile", 'r')
    except:
        password_wiki = open(wikipedia.config.datafilepath(config.password_file), 'r')
    password_wiki=password_wiki.read().replace('"','').strip()    
    passwords=password_wiki.split(',')[1].split(')')[0].strip()
    usernames=password_wiki.split('(')[1].split(',')[0].strip()
    botlog=login.LoginManager(password=passwords,username=usernames,site=dataSite)
    botlog.login()

def save_file(case,type):
    replace_dict={
    u'(ابهام‌زدایی)':u'',
    u' (شهر)':u'',
    u' (منطقه)':u'',
    u' (کشور)':u'',
    u'های در ':u'ها در ',    u'های بر ':u'ها بر ',
    u'زبان لوکزامبورگ':u'لوکزامبورگ',    u'افراد اهل':u'اهالی',
    u'همسرهای':u'همسران',    u'مقاله‌های':u'مقالات',
    u'شاهزاده‌های خانم‌های':u'شاهزاده خانم‌های',    u'جزایرها':u'جزایر',
    u'دانشگاه دانشگاه':u'دانشگاه',    u'قدیسین‌ها':u'قدیسین',
    u'کنت‌های (لقب)':u'کنت‌های',    u'شیکاگوها':u'شیکاگو',
    u'وزیران دفاع بر پایه کشور':u'وزیران دفاع',    u'وزارت دفاع بر پایه کشور':u'وزارت‌های دفاع',
    u'Wal':u'ولز',    u'رده:دولت':u'رده:سرپرستی',
    u'استان ایالت':u'ایالت', u'منطقه‌های':u'مناطق',
    u'الگو:':u'الگوهای ', u'مریخ‌ها':u'مریخ' ,u'شارجه (شهر)':u'شارجه',
    u'ساینس (نشریه)':u'مجله ساینس',
    u'خیال‌پردازی (گونه هنری)':u'هنر خیال‌پردازی',
    u'وحشت (گونه هنری)':u'هنر وحشت',
    u'خاطره‌نویسان روزانه':u'خاطره‌نویسان',
    u'بازیگران زن فیلم':u'زنان بازیگر فیلم',
    u'بازیگران مرد فیلم':u'مردان بازیگر فیلم',
    u'فیلم‌های مستند اهل':u'فیلم‌های مستند',
    u'مرد کودک':u'کودک مذکر',   u'زن کودک':u'کودک مؤنث',
    u'اندازه‌گیری اهل':u'اندازه‌گیری',    u'رمان‌های کودکان اهل':u'رمان‌های کودکان',
    u'ادبیات کودکان اهل':u'ادبیات کودکان',    u'واژه‌ها و عبارت‌های اهل':u'واژه‌ها و عبارت‌های',
    u'اپرای اهل':u'اپرا اهل',    u'اسکی (ورزش)':u'اسکی',
    u'٬':u'،', u'مغول‌های (قوم)':u'مغول‌ها',
    u'سنت‌های':u'سنت',
    u'القاب‌های':u'القاب',
    u'رده:الگوهای ':u'رده:الگو:',
    u'موج نوی':u'موج نو',
    u'ژیمناستیک‌ها ':u'ژیمناستیک ',
    u'رده:مردم‌های عرب ':u'رده:عرب‌ها ',
    u'مربع در ':u'میدان‌ها در ',
    u"‌های های ":u"‌های ",
    u"با سابقه کار در دفتر اسناد رسمی":u"دفتر اسناد رسمی",
    u'  ':u' '}
    try:
        ourcae=case.split(u'\t')[1]
        for i in replace_dict:
            case=case.replace(ourcae,ourcae.replace(i,replace_dict[i]))
    except:
        pass
    case=claen(case)
    file_text=u''
    if type==1:
       file=YourAcountPywikipediaPath+'/zz_cat_for_build.txt'
    if type==2:
       file=YourAcountPywikipediaPath+'/zz_cat_for_build_but_article_needed.txt'
    if type==3:
       file=YourAcountPywikipediaPath+'/zz_doublicated_fapages.txt'
    if type==4:
       file=YourAcountPywikipediaPath+'/zz_needed_purge_fapages.txt'
    try:        
        file_text = codecs.open(file,'r' ,'utf8')
        file_text = file_text.read().strip()
    except:
        file_text=u''
    if type==1:
        if not case.split(u'\t')[1]+u'\t'+case.split(u'\t')[2] in file_text:    
            with codecs.open(file ,mode = 'a',encoding = 'utf8' ) as f:
                                f.write(u'\n'+case)
    else:
        if not case in file_text:    
            with codecs.open(file ,mode = 'a',encoding = 'utf8' ) as f:
                                f.write(u'\n'+case)
    
 
def englishdictionry(enlink ,firstsite,secondsite):
    try:
        enlink=unicode(str(enlink),'UTF-8').replace(u'[[',u'').replace(u']]',u'').replace(u'en:',u'').replace(u'fa:',u'')
    except:
        enlink=enlink.replace(u'[[',u'').replace(u']]',u'').replace(u'en:',u'').replace(u'fa:',u'')
    if enlink.find('#')!=-1:
        return u''
    if enlink==u'':    
        return u''
    if _cache.get(tuple([enlink, 'englishdictionry'])):
        return _cache[tuple([enlink, 'englishdictionry'])]
    enlink=enlink.replace(u' ',u'_')
    site = wikipedia.getSite(firstsite)
    sitesecond= wikipedia.getSite(secondsite)
    params = {
        'action': 'query',
        'prop': 'langlinks',
        'titles': enlink,
        'redirects': 1,
        'lllimit':500,
    }
    try:
        categoryname = query.GetData(params,site)  
        for item in categoryname[u'query'][u'pages']:
            case=categoryname[u'query'][u'pages'][item][u'langlinks']
        for item in case:
            if item[u'lang']==secondsite:
                intersec=item[u'*']
                break
        result=intersec
        try:
           redirect=categoryname[u'query'][u'redirects']
           _cache[tuple([enlink, 'englishdictionry'])]=u''
           return u''
        except:
            if result.find('#')!=-1:
                _cache[tuple([enlink, 'englishdictionry'])]=u''
                return u''
            _cache[tuple([enlink, 'englishdictionry'])]=result
            return result
    except:
        _cache[tuple([enlink, 'englishdictionry'])]=u''
        return u''
def Check_Page_Exists(page_link,wikisite):
    page_link=page_link.replace(u' ',u'_')
    if _cache.get(tuple([page_link, 'Check_Page_Exists'])):
        return _cache[tuple([page_link, 'Check_Page_Exists'])]
    params = {
        'action': 'query',
        'prop':'info',
        'titles': page_link
    }
    query_page = query.GetData(params,wikisite)
    try:
        for i in query_page[u'query'][u'pages']:    
            redirect_link=query_page[u'query'][u'pages'][i]['pageid']
            _cache[tuple([page_link, 'Check_Page_Exists'])]=True
            return True# page existed
    except:
        _cache[tuple([page_link, 'Check_Page_Exists'])]=False
        return False# page not existed
 
def redirect_find( page_link):
    page_link=page_link.replace(u' ',u'_')
    if _cache.get(tuple([page_link, 'redirect_find'])):
        return _cache[tuple([page_link, 'redirect_find'])]
    params = {
        'action': 'query',
        'redirects':"",
        'titles': page_link
    }
    query_page = query.GetData(params,ensite)
    try:
        redirect_link=query_page[u'query'][u'redirects'][0]['to']
        _cache[tuple([page_link, 'redirect_find'])]=False
        return False
    except:
        _cache[tuple([page_link, 'redirect_find'])]=True
        return True

def claen(cat_name):
    cat_name = re.sub(u'‌(?![ئاآأإژزرذدوؤةبپتثجچحخسشصضطظعغفقکگلمنهیيًٌٍَُِّْٰٓٔ]|[\u0900-\u097F]|ֹ)', '', cat_name) # در پس
    cat_name = re.sub(u'(?<![ئبپتثجچحخسشصضطظعغفقکگلمنهیيًٌٍَُِّْٰٓٔ]|[\u0900-\u097F]|f|ֹ)‌', '', cat_name) # در پیش
    return cat_name

def get_cat (enTitle,faTitle):
    enpage= wikipedia.Page(ensite,enTitle)
    categories=enpage.categories()
    cates=u'\n'
    for category in categories:
       fa_cat=englishdictionry( category ,'en','fa')
       if fa_cat and fa_cat!=faTitle:
          cates+=u'[['+fa_cat+u']]\n'
    return cates

def Interwiki(enTitle,faTitle,num):
    if num==1:
        login_wiki(1)
        num=2
    en_wdata=wikipedia.DataPage(wikipedia.Page(ensite,enTitle))
    fa_wdata=wikipedia.DataPage(wikipedia.Page(fasite,faTitle))
    if en_wdata.exists():
        if fa_wdata.exists():
            wikipedia.output(u"Something is wrong, you need to merge with "+en_wdata.title())
        else:
            #try:
                items=en_wdata.get()
                en_wdata.setitem(summary=u"update item",items={'type': u'sitelink', 'site': 'fa', 'title': faTitle}) 
                en_wdata.setitem(summary=u"update label",items={'type': u'item', 'label': 'fa', 'value': faTitle})
                wikipedia.output(u"\03{lightgreen}Wikidata is updated!\03{default}")
            #except:
                #wikipedia.output(u"\03{lightred}Page in wikidata had error or it dosen't have any item!\03{default}")
    else:
        wikipedia.output(u"\03{lightblue}enwiki doesn't have any item so we will creat it!\03{default}")
        items={}
        try:
            en_wdata.setitem(summary=u"update item",items={'type': u'sitelink', 'site': 'en', 'title': enTitle}) 
            en_wdata.setitem(summary=u"update label",items={'type': u'item', 'label': 'en', 'value': enTitle})
            en_wdata.setitem(summary=u"update item",items={'type': u'sitelink', 'site': 'fa', 'title': faTitle}) 
            en_wdata.setitem(summary=u"update label",items={'type': u'item', 'label': 'fa', 'value': faTitle})
            wikipedia.output(u"\03{lightgreen}Wikidata is Created!\03{default}")
            return num
        except:
            wikipedia.output(u"\03{lightred}Page in wikidata had error or it dosen't have any item!\03{default}")
    return num

   
def creat_all_cat(username):
    num=0
    file=YourAcountPywikipediaPath+'/zz_cat_for_build.txt'
    file_text = codecs.open(file,'r' ,'utf8')
    file_text =u'\t'+file_text.read().replace(u'\r',u'').replace(u'  ',u' ').strip()
    lines=file_text.split(u'\n')
    doublicated_pages=u'\n'
    for i in lines:
        parts=i.split(u'\t')
        first_part=parts[0].strip()
        wikipedia.output(u'--------------------')
        wikipedia.output(parts[1])
        if parts[3].strip() :
            topPart=u'{{اصلی رده|'+englishdictionry(parts[3],'en','fa')+u'}}\n'
        else:
            topPart=u''
        fa_page= wikipedia.Page(fasite,parts[1].strip())
        if fa_page.exists():
            wikipedia.output(u'Page existed so it will continue')
            save_file(u'[['+parts[1].strip()+u']]\n',4)
            continue
        #------------if fa.page exists in another name!-----------
        fa_cat_page3th=englishdictionry( parts[2] ,'en','fa')
        if fa_cat_page3th:
            wikipedia.output(parts[1]+u' is doublicated page!')
            doublicated_pages=u'# [[:'+parts[1]+u']]\t > \t[[:en:'+parts[2]+u']]\t > \t[[:'+fa_cat_page3th+u']]\n'
            save_file(doublicated_pages,3)
            continue
        #----------------------------------------------------------
        fa_text=topPart+get_cat (parts[2],parts[1].strip())+u'\n[[en:'+parts[2]+u']]'
        fa_page.put(fa_text,u'ربات:ساخت رده خودکار'+username)

        fa_page= wikipedia.Page(fasite,parts[1].strip())
        if fa_page.exists():
            if num==0:
                login_wiki(2)
                num=1
            num=Interwiki(parts[2],parts[1].strip(),num)

    ali=ali2 #for stoping the bot after creation :)

def check_plural(i2,plural):
    if Check_Page_Exists(i2,ensite) and redirect_find(i2):
            fa_name=englishdictionry(i2,'en','fa').replace(u'رده:',u'')
            if fa_name.strip():
                if string.count(fa_name,u' ')>0 and (not one_word in one_word):
                    fa_name_part1=fa_name.split(u' ')[0].strip()
                    if i2[-1]==u's' or i2[-2:]==u'es' and (not i2.lower() in orginal_plural) and check_not_decade(i2):
                        plural=True
                    else:
                        plural=False
                    if fa_name_part1[-3:]!=u'های' and fa_name_part1[-2:]!=u'ها' and fa_name_part1[-1:]!=u'ز' and fa_name_part1[-1:]!=u'س' and fa_name_part1[-2:]!=u'ون' and fa_name_part1[-2:]!=u'ات' and fa_name_part1[-2:]!=u'ان' and plural:
                        if fa_name_part1 in plural_names:
                            fa_name_part1=plural_names[fa_name_part1]
                        else:
                            fa_name_part1=fa_name_part1+ZWNJ+u'های'
                    cat_name=fa_name.replace(fa_name.split(u' ')[0].strip(),fa_name_part1.strip())
                    cat_name = claen(cat_name)
                    return cat_name
                else:
                    cat_name=fa_name
                    if i2[-1]==u's' or i2[-2:]==u'es' and (not i2.lower() in orginal_plural) and check_not_decade(i2):
                        plural=True
                    else:
                        plural=False
                    if cat_name[-2:]!=u'ان' and cat_name[-2:]!=u'ها' and cat_name[-1:]!=u'س' and cat_name[-1:]!=u'ز' and cat_name[-2:]!=u'ون' and cat_name[-2:]!=u'ات' and cat_name[-3:]!=u'های' and plural:
                        if cat_name in plural_names:
                            cat_name=plural_names[cat_name]
                        else:
                            cat_name=cat_name+ZWNJ+u'ها'
                        cat_name = claen(cat_name)           
                    return cat_name
    return False

def double_check(i2,plural):
    i3=u'Category:'+i2
    fa_cat=check_plural(i3,plural)
    if fa_cat:
       return fa_cat 
    fa_cat=check_plural(i2,plural)
    return fa_cat

def check_not_decade(part):
    if part[-1:]==u's':
        numpart=part[:-1]
        numpart = re.sub(u'[0123456789۰۱۲۳۴۵۶۷۸۹\(\)]‌', u'', numpart)
        if numpart.strip():
           return False
        else:
           return True
    else:
        return True
My_Mode=u'T'
username=u''
for arg in wikipedia.handleArgs():
    if arg == u'-C' or arg == u'-c' or arg == u'-Creat' or arg == u'-creat':
       My_Mode=u'C'
    elif arg.startswith(u'-usern:'):
       username=u' (ترجمه توسط [[کاربر:'+arg[7:].replace(u'"',u'').replace(u'user:',u'').replace(u'User:',u'').replace(u'کاربر:',u'').strip()+u']])'
       wikipedia.output(u'\03{lightgreen}--> '+username+u'\03{default}')
    else:
       continue

if not My_Mode==u'T':
    creat_all_cat(username) # creat new categories!
    wikipedia.stopme()    
    sys.exit()

#----------------------------------------------------------------------
try:
    text2 = codecs.open( YourAcountRootPath+'/encat.txt','r' ,'utf8' )
    text = text2.read().strip()
except:
    wikipedia.output(u"file doesn't exist")
#----------------------------------------------------------------------

text=text.replace(u'\r',u'')
cat_link=text.split(u'\n')    
black_list=[u'_stubs',u'stubs_']
taghi=False
for i in cat_link:
    try:
        if i ==u'America_West_Holdings':#checking
           taghi=True
        if not taghi:
           continue
        wikipedia.output(u'----------------------------------------------------------')
        word_pass=True
        for black_l in black_list:
            if black_l in i:
                word_pass=False
                break
        if word_pass:
            cat_name=u''
            i_page= wikipedia.Page(ensite,i)
            wikipedia.output(i)    
            if Check_Page_Exists(i,ensite):    
                if redirect_find(i):
                    cat_name=u'رده:'+englishdictionry(i,'en','fa')
                    if cat_name.strip()!=u'رده:':
                        if i[-1]==u's' and cat_name[-2:]!=u'ان' and cat_name[-2:]!=u'ها' and cat_name[-1:]!=u'س' and cat_name[-1:]!=u'ز' and cat_name[-2:]!=u'ون' and cat_name[-2:]!=u'ات' and cat_name[-3:]!=u'های':
                            if cat_name in plural_names:
                                cat_name=plural_names[cat_name]
                            extention=u' s_ha'
                        else:
                            extention=u' '
                        if not Check_Page_Exists(cat_name,fasite):
                            save_file(extention+u'\t'+cat_name+u'\tCategory:'+i+u'\t'+i,1)
                            wikipedia.output(u'\03{lightgreen}--OK! '+extention+u'---Added: '+i+u' as '+cat_name+u'\03{default}')
                            continue
            else:
                continue
            if len(i)<3:    
                continue
            #wikipedia.output(u'+++1'+i)
            facat=u''
            if i[-3:]==u'ies':
                i_new=i[:-3]+u'y'
                facat=double_check(i_new,True)
                extensions=u'ies'
            elif i[-2:]==u'es':
                i_new=i[:-2]
                facat=double_check(i_new,True)
                extensions=u'es'
            elif i[-1:]==u's' and check_not_decade(i):
                i_new=i[:-1]
                facat=double_check(i_new,True)
                extensions=u's'
            else:
                facat=double_check(i,True)
                i_new=i
                extensions=u''

            if facat:
                    cat_name=u'رده:'+facat
                    if not Check_Page_Exists(cat_name,fasite):
                        save_file(u'<-'+extensions+u'\t'+cat_name+u'\tCategory:'+i+u'\t',1)
                        wikipedia.output(u'\03{lightgreen}<- Added: '+i+u' as '+cat_name+u'\03{default}')
                        continue

            for this_cat in spe_cat_dict:
                cat_len=len(this_cat)
                if i[:cat_len]==this_cat:
                    part_2=i.split(this_cat)[1].strip()
                    fa_part_1=spe_cat_dict[this_cat]
                    if part_2[-3:]=='ies':
                        fa_part_2=double_check(part_2[:-3]+u'y',False)
                    elif part_2[-2:]=='es':
                        fa_part_2=double_check(part_2[:-2],False)
                    elif part_2[-1]=='s' and check_not_decade(part_2):
                        fa_part_2=double_check(part_2[:-1],False)
                    else:
                        fa_part_2=double_check(part_2,False)
                    if fa_part_2:
                        cat_name=u'رده:'+fa_part_1+u' '+fa_part_2
                        if not Check_Page_Exists(cat_name,fasite):
                            save_file(u'##3\t'+cat_name+u'\tCategory:'+i+u'\t ',1) 
                            wikipedia.output(u'\03{lightyellow}##3 Added: '+i+u' as '+cat_name+'\03{default}')
                            break

            if cat_name.replace(u'رده:',u'').strip():
                continue
            cat_name=u''
            #wikipedia.output(u'+++3'+i)
            for nash in Nationality:
                cat_len=len(nash)
                if i[:cat_len]==nash:
                    for peop in people_case:
                        if peop in i.lower():
                           peop_case=True
                           break
                        else:
                           peop_case=False

                    part_2=i.split(nash)[1].strip()
                    if string.count(part_2,u'_')>0:
                        firstpart_part_2=part_2.split(u'_')[0]
                        if firstpart_part_2[-1:]==u's' and check_not_decade(firstpart_part_2):
                            plu=True
                        else:
                            plu=False
                        fa_part_2=double_check(part_2,plu)
                    else:
                        firstpart_part_2=part_2
                        if firstpart_part_2[-1:]==u's' and check_not_decade(firstpart_part_2):
                            plu=True
                        else:
                            plu=False
                        if part_2[-3:]=='ies':
                            fa_part_2=double_check(part_2[:-3]+u'y',plu)
                        elif part_2[-2:]=='es':
                            fa_part_2=double_check(part_2[:-2],plu)
                        elif part_2[-1]=='s' and check_not_decade(part_2):
                            fa_part_2=double_check(part_2[:-1],plu)
                        else:
                            fa_part_2=double_check(part_2,plu)
                    backage=u'##4'
                    if string.count(part_2,u'_')>0:
                        backage=u'z##4'
                    if peop_case:
                        fa_part_1=u'اهل '+Nationality[nash]
                        backage=backage+u'-People'
                    else:
                        fa_part_1=Nationality[nash]
                        backage=backage+u'-error'
                    if fa_part_2:
                        if fa_part_2[-1]==u'ا' or fa_part_2[-1]==u'و':
                            fa_part_2+=u'ی'
                            cat_name=u'رده:'+fa_part_2+u' '+fa_part_1
                            if string.count(fa_part_2,u' ')<3:
                                backage='##4-Simple-'+backage
                            if not Check_Page_Exists(cat_name,fasite):
                                save_file(backage+u'+y\t'+cat_name+u'\tCategory:'+i+u'\t ',1)
                        else:
                            cat_name=u'رده:'+fa_part_2+u' '+fa_part_1
                            if string.count(fa_part_2,u' ')<3:
                                backage='##4-Simple-'+backage
                            if not Check_Page_Exists(cat_name,fasite):
                                save_file(backage+u'\t'+cat_name+u'\tCategory:'+i+u'\t ',1)

                        wikipedia.output(u'\03{lightyellow}##4 Added: '+i+u' as '+cat_name+u'\03{default}')    
                        break

            if cat_name.replace(u'رده:',u'').strip():
                continue
            cat_name=u''

            if string.count(i,u'_in_')==1:
                part_1=i.split(u'_in_')[0].strip()
                part_2=i.split(u'_in_')[1].strip()
                fa_part_1=double_check(part_1,True)
                if part_2[-3:]=='ies':
                    fa_part_2=double_check(part_2[:-3]+u'y',False)
                elif part_2[-2:]=='es':
                    fa_part_2=double_check(part_2[:-2],False)
                elif part_2[-1]=='s' and check_not_decade(part_2):
                    fa_part_2=double_check(part_2[:-1],False)
                else:
                    fa_part_2=double_check(part_2,False)
                if fa_part_1 and fa_part_2 and fa_part_1!=part_1 and fa_part_2!=part_2:
                    test_fa_part_1=u' '+fa_part_1
                    for a in u'۰۱۲۳۴۵۶۷۸۹':
                        test_fa_part_1=test_fa_part_1.replace(a,u'')
                    for a in [u'(میلادی)',u'(قمری)',u'(پیش از میلاد)',
                              u'رده:دهه‌های',u'رده:سده‌های',u'رده:هزاره‌های',
                              u'رده:دهه‌ها',u'رده:سده‌ها',u'رده:هزاره',
                              u' سده ',u' دهه ',u'رده:سال‌های'
                              u'اول ',u'دوم ',u'سوم ',u'چهارم ',u'پنجم ',u'ششم ',u'هفتم ',u'هشتم ',u'نهم ',
                              u'دهم ',u'یازدهم ',u'دوازدهم ',u'سیزدهم ',u'چهاردهم ',u'پانزدهم ',u'شانزدهم ',
                              u'هفدهم ',u'هجدهم ',u' نوزدهم ',u' بیستم ',u' بیست و یکم ',    
                              u'رده:']:
                        test_fa_part_1=test_fa_part_1.replace(a,u'')
     
                    if test_fa_part_1.strip():
                        cat_name=u'رده:'+fa_part_1+u' در '+fa_part_2
                        if not Check_Page_Exists(cat_name,fasite):
                            save_file(u'@@1\t'+cat_name+u'\tCategory:'+i+u'\t ',1)
                    else:
                        cat_name=u'رده:'+fa_part_2+u' در '+fa_part_1.replace(u'رده:',u'').strip()
                        if not Check_Page_Exists(cat_name,fasite):
                            save_file(u'@@2\t'+cat_name+u'\tCategory:'+i+u'\t ',1)
                    wikipedia.output(u'\03{lightred}@@@ Added: '+i+u' as '+cat_name+u'\03{default}')
                    continue

            if string.count(i,u'_of_')==1:
                part_1=i.split(u'_of_')[0].strip()
                part_2=i.split(u'_of_')[1].strip()
                fa_part_1=double_check(part_1,True)
                if part_2[-3:]=='ies':
                    fa_part_2=double_check(part_2[:-3]+u'y',False)
                elif part_2[-2:]=='es':
                    fa_part_2=double_check(part_2[:-2],False)
                elif part_2[-1]=='s' and check_not_decade(part_2):
                    fa_part_2=double_check(part_2[:-1],False)
                else:
                    fa_part_2=double_check(part_2,False)
                if fa_part_1 and fa_part_2 and fa_part_1!=part_1 and fa_part_2!=part_2:
                    if fa_part_1[-1]==u'ا' or fa_part_1[-1]==u'و':
                        cat_name=u'رده:'+fa_part_1+u'ی '+fa_part_2
                        if not Check_Page_Exists(cat_name,fasite):
                            save_file(u'##2\t'+cat_name+u'\tCategory:'+i+u'\t ',1)    
                    else:
                        cat_name=u'رده:'+fa_part_1+u' '+fa_part_2
                        if not Check_Page_Exists(cat_name,fasite):
                            save_file(u'##1\t'+cat_name+u'\tCategory:'+i+u'\t ',1) 
                    wikipedia.output(u'\03{lightyellow}### Added: '+i+u' as '+cat_name+u'\03{default}')    
                    continue
    except:
        continue