2 files changed, 618 insertions, 0 deletions

diff --git a/test/testdata/pt/UTF-8/wikitop_pt_UTF-8.txt b/test/testdata/pt/UTF-8/wikitop_pt_UTF-8.txt
new file mode 100644
index 0000000..a6837f2
--- /dev/null
+++ b/test/testdata/pt/UTF-8/wikitop_pt_UTF-8.txt
@@ -0,0 +1,309 @@
+Wikipédia:Página principal
+
+   Origem: Wikipédia, a enciclopédia livre.
+   Ir para: navegação, pesquisa
+
+   Bem-vindo(a) à Wikipédia,
+   a enciclopédia livre que todos podem editar. 13h47min (UTC);
+   sexta-feira, 21 de outubro de 2011
+   701 502 artigos (193 bons e 405 destacados) em português.
+   Portais · Livros · Índice geral · Ajuda · Estatísticas
+
+   Guia · Perguntas frequentes · Comunidade · Políticas da Wikipédia ·
+   Doações · WAP · Acessibilidade · Contato
+
+                 Predefinição:Em destaque Artigo em destaque
+   Abertura Jogos Panamericanos 2 13072007.jpg
+
+   A cerimônia de abertura dos Jogos Pan-Americanos de 2007 marcou o
+   início oficial dos XV Jogos Pan-Americanos, ocorridos na cidade do Rio
+   de Janeiro de 12 a 29 de julho de 2007. Sua realização ocorreu no dia
+   13 de julho às 18 horas (UTC−3) no Estádio do Maracanã, localizado no
+   bairro homônimo, e teve duração de três horas e meia.
+   Produzido pelo americano Scott Givens, que já havia trabalhado em
+   diversas cerimônias de abertura de Jogos Pan-Americanos e Jogos
+   Olímpicos, o evento teve como diretores artísticos a carnavalesca Rosa
+   Magalhães e o designer Luiz Stein. (leia mais...)
+                Wikipedia:Efemérides/21 de outubro Neste dia…
+   Pelé
+
+   21 de outubro: Dia do Ecumenismo.
+     * 1187 - É eleito o Papa Gregório VIII.
+     * 1838 - Dom Pedro II do Brasil funda o Instituto Histórico e
+       Geográfico Brasileiro.
+     * 1895 - Forças japonesas invadem a capital de Taiwan, dando início
+       ao domínio japonês naquele país.
+
+   Nasceram neste dia…
+     * 1833 - Alfred Nobel , inventor sueco fundador dos Prémios Nobel (m.
+       1896).
+     * 1917 - Dizzy Gillespie, trompetista, cantor e compositor de jazz
+       estadunidense (m. 1993).
+     * 1940 - Pelé (na foto), futebolista brasileiro.
+
+   Morreram neste dia…
+     * 1422 - Carlos VI de Valois, Rei de França (n. 1368).
+     * 1805 - Horatio Nelson, almirante britânico (n. 1758).
+     * 1984 - François Truffaut, director de cinema francês. (n. 1932).
+
+           Outros dias: 19 · 20 · 21 · 22 · 23 | ver todos…
+
+                     Predefinição:Sabia que Sabia que…
+   Contactlenzen Confortissimo.JPG
+     * ... cerca de 125 milhões de pessoas em todo mundo usam lentes de
+       contato (foto), quase 2% da população mundial?
+     * ... o AVE Mizar foi um protótipo de carro voador criado no começo
+       da década de 1970 a partir da junção de um Cessna Skymaster com um
+       Ford Pinto?
+     * ... é possível velejar contra o vento, e que esta técnica chama-se
+       bolina?
+     * ... a bandeira dos Estados Unidos colocada na Lua pela Apollo 11
+       foi feita por uma portuguesa chamada Maria Isilda Ribeiro?
+
+
+                   Predefinição:Eventos atuais Eventos recentes
+   Muammar al-Gaddafi at the AU summit-LR.jpg
+     * ETA anuncia fim de atividades terroristas após 51 anos e 800
+       mortos.
+     * Muammar al-Gaddafi (foto), ex-ditador da Líbia, morre em combate em
+       Sirte.
+     * Gilad Shalit, soldado de Israel, libertado após mais de cinco anos
+       de cativeiro em troca da libertação de 1027 prisioneiros
+       palestinianos.
+     * Realizada a cerimônia de abertura dos Jogos Pan-Americanos de 2011,
+       em Guadalajara, no México.
+     * Prémio de Ciências Económicas atribuído a Christopher Sims e Thomas
+       Sargent pelo trabalho sobre relações causais entre política
+       económica e variáveis macroeconómicas.
+
+                 Mortes recentes – Mais eventos atuais…
+     __________________________________________________________________
+
+   Veja mais no Wikinotícias
+          Wikipedia:Imagem em destaque/21 de outubro de 2011 Imagem do dia
+   Inside the Tarawera rift.jpg
+
+                       Monte Tarawera, Nova Zelândia.
+
+                                 Sobre a Wikipédia
+
+   Importante! — Princípio da imparcialidade · Versões do português ·
+   Direitos de autor · Normas de conduta · Coisas a não fazer
+     __________________________________________________________________
+
+   Escrevendo artigos — O que é um wiki? · Livro de estilo · Como
+   contribuir · Tutorial · Recursos no domínio público · Conteúdo
+   destacado
+     __________________________________________________________________
+
+   Ajude a Wikipédia — Artigos com problemas · Páginas a traduzir ·
+   Artigos à espera de autor · Estaleiro · Donativos
+     __________________________________________________________________
+
+   Sobre a Wikipédia — Esplanada · FAQ · Contato · Wikimedia · Software ·
+   Estatísticas · Consulta e reprodução · Decisões da comunidade · Informe
+   um erro
+     __________________________________________________________________
+
+   Domínios — Wikipédia · MediaWiki · Predefinição · Anexo · Ajuda
+
+
+
+   Interesse geral
+
+   Filosofia · Matemática · Epistemologia
+   Ciências humanas e sociais
+
+   Antropologia · Arqueologia · Direito · Economia · Geografia · História
+   · Linguística · Psicologia · Sociologia
+   Arte
+
+   Arquitetura e urbanismo · Cinema · Dança · Escultura · Fotografia ·
+   Literatura · Música · Música Clássica · Pintura · Teatro
+   Política
+
+   Diplomacia · Eleições · Movimentos · Partidos · Políticos · Regimes
+   políticos
+   Biografias
+
+   Artistas · Chefes de Estado · Cientistas · Escritores · Filósofos ·
+   Políticos · Religiosos
+   Saúde
+
+   Doenças · Drogas · Enfermagem · Farmácia · Medicina · Nutrição ·
+   Odontologia · Saúde sexual
+   Ciências exatas, naturais e tecnologia
+
+   Astronomia · Biologia · Ciências da Terra · Eletrônica · Física ·
+   Informática · Meteorologia · Química
+   Sociedade
+
+   Comportamento · Culinária · Cultura · Diversão · Esporte/desporto ·
+   Religião · Turismo
+   Wikipédia em outros idiomas
+
+                Wikipédias com mais de 1 000 000 de artigos:
+       Deutsch (alemão) · English (inglês) · Français (francês)
+
+                  Wikipédias com mais de 500 000 artigos:
+    Español (espanhol) · Italiano · 日本語 (japonês) · Nederlands
+(neerlandês) · Polski (polaco/polonês) · Português · Русский (russo)
+
+                  Wikipédias com mais de 100 000 artigos:
+العربية (árabe) · Euskara (basco) · Български (búlgaro) · Català
+(catalão) · 한국어 (coreano) · 中文 (chinês) · Hrvatski (croata) · Dansk
+   (dinamarquês) · Slovencina (eslovaco) · Slovenščina (esloveno) ·
+Esperanto · Suomi (finlandês) · עברית (hebraico) · हिन्दी (hindi) ·
+ Magyar (húngaro) · Bahasa Indonesia (indonésio) · Lietuviu (lituano) ·
+Bahasa Melayu (malaio) · Norsk (norueguês) · فارسی (persa) · Română
+  (romeno) · Српски / Srpski (sérvio) · Svenska (sueco) · Česká
+(tcheco/checo) · Türkçe (turco) · Українська (ucraniano) · Tiếng Việt
+               (vietnamita) · Volapük (volapuque) · Winaray
+
+ Lista completa · Coordenação multilíngue · Começar uma nova Wikipédia
+
+Projetos Wikimedia
+
+   A Wikipédia existe graças à Wikimedia Foundation, entidade sem fins
+   lucrativos que gere projetos em diversos idiomas e de conteúdo livre:
+
+
+                   Wikiquote           Wikiquote
+                                 Coletânea de citações
+                  Wikcionário        Wikcionário
+                              Dicionário de várias línguas
+                  Wikispecies         Wikispecies
+                                 Diretório de espécies
+
+                  Wikinotícias       Wikinotícias
+                                Fonte de notícias livres
+                   Wikisource          Wikisource
+                               Documentos originais livres
+                    Commons         Wikimedia Commons
+                                 Imagens, sons e vídeos
+
+                 Wikiversidade        Wikiversidade
+                               Centro ilimitado do aprender
+                   Wikibooks            Wikilivros
+                                 Livros e manuais livres
+                   Meta-Wiki            Meta-Wiki
+                                 Coordenação dos projetos
+
+   Obtida de
+   "http://pt.wikipedia.org/w/index.php?title=Wikip%C3%A9dia:P%C3%A1gina_p
+   rincipal&oldid=24857386"
+
+Ferramentas pessoais
+
+     * Entrar / criar conta
+
+Espaços nominais
+
+     * Página do projeto
+     * Discussão
+
+Variantes
+
+Vistas
+
+     * Ler
+     * Ver conteúdo
+     * Ver histórico
+
+Ações
+
+Busca
+
+   ____________________ (Submit) Pesquisar
+
+Navegação
+
+     * Página principal
+     * Conteúdo destacado
+     * Eventos atuais
+     * Esplanada
+     * Página aleatória
+     * Portais
+     * Informar um erro
+
+Colaboração
+
+     * Boas-vindas
+     * Ajuda
+     * Página de testes
+     * Portal comunitário
+     * Mudanças recentes
+     * Estaleiro
+     * Criar página
+     * Páginas novas
+     * Contato
+     * Donativos
+
+Imprimir/exportar
+
+     * Criar um livro
+     * Descarregar como PDF
+     * Versão para impressão
+
+Ferramentas
+
+     * Páginas afluentes
+     * Alterações relacionadas
+     * Carregar ficheiro
+     * Páginas especiais
+     * Ligação permanente
+
+Noutras línguas
+
+     * العربية
+     * Bahasa Indonesia
+     * Български
+     * Català
+     * Česky
+     * Dansk
+     * Deutsch
+     * English
+     * Eesti
+     * Ελληνικά
+     * Español
+     * Esperanto
+     * Euskara
+     * فارسی
+     * Français
+     * Galego
+     * עברית
+     * Italiano
+     * 한국어
+     * Lietuvių
+     * Magyar
+     * Mirandés
+     * Nederlands
+     * 日本語
+     * ‪Norsk (bokmål)‬
+     * ‪Norsk (nynorsk)‬
+     * Polski
+     * Română
+     * Русский
+     * Slovenčina
+     * Slovenščina
+     * Српски / Srpski
+     * Suomi
+     * Svenska
+     * Türkçe
+     * Tiếng Việt
+     * 中文
+
+     * Esta página foi modificada pela última vez à(s) 21h17min de 17 de
+       abril de 2011.
+     * Este texto é disponibilizado nos termos da licença Atribuição -
+       Partilha nos Mesmos Termos 3.0 Não Adaptada (CC BY-SA 3.0); pode
+       estar sujeito a condições adicionais. Consulte as condições de uso
+       para mais detalhes.
+
+     * Política de privacidade
+     * Sobre a Wikipédia
+     * Avisos gerais
+     * Versão móvel
+
+     * Wikimedia Foundation
+     * Powered by MediaWiki
diff --git a/test/testdata/pt/WINDOWS-1252/wikitop_pt_WINDOWS-1252.txt b/test/testdata/pt/WINDOWS-1252/wikitop_pt_WINDOWS-1252.txt
new file mode 100644
index 0000000..3bc0e3e
--- /dev/null
+++ b/test/testdata/pt/WINDOWS-1252/wikitop_pt_WINDOWS-1252.txt
@@ -0,0 +1,309 @@
+Wikip�dia:P�gina principal
+
+   Origem: Wikip�dia, a enciclop�dia livre.
+   Ir para: navega��o, pesquisa
+
+   Bem-vindo(a) � Wikip�dia,
+   a enciclop�dia livre que todos podem editar. 13h47min (UTC);
+   sexta-feira, 21 de outubro de 2011
+   701 502 artigos (193 bons e 405 destacados) em portugu�s.
+   Portais � Livros � �ndice geral � Ajuda � Estat�sticas
+
+   Guia � Perguntas frequentes � Comunidade � Pol�ticas da Wikip�dia �
+   Doa��es � WAP � Acessibilidade � Contato
+
+                 Predefini��o:Em destaque Artigo em destaque
+   Abertura Jogos Panamericanos 2 13072007.jpg
+
+   A cerim�nia de abertura dos Jogos Pan-Americanos de 2007 marcou o
+   in�cio oficial dos XV Jogos Pan-Americanos, ocorridos na cidade do Rio
+   de Janeiro de 12 a 29 de julho de 2007. Sua realiza��o ocorreu no dia
+   13 de julho �s 18 horas (UTC3) no Est�dio do Maracan�, localizado no
+   bairro hom�nimo, e teve dura��o de tr�s horas e meia.
+   Produzido pelo americano Scott Givens, que j� havia trabalhado em
+   diversas cerim�nias de abertura de Jogos Pan-Americanos e Jogos
+   Ol�mpicos, o evento teve como diretores art�sticos a carnavalesca Rosa
+   Magalh�es e o designer Luiz Stein. (leia mais...)
+                Wikipedia:Efem�rides/21 de outubro Neste dia�
+   Pel�
+
+   21 de outubro: Dia do Ecumenismo.
+     * 1187 - � eleito o Papa Greg�rio VIII.
+     * 1838 - Dom Pedro II do Brasil funda o Instituto Hist�rico e
+       Geogr�fico Brasileiro.
+     * 1895 - For�as japonesas invadem a capital de Taiwan, dando in�cio
+       ao dom�nio japon�s naquele pa�s.
+
+   Nasceram neste dia�
+     * 1833 - Alfred Nobel , inventor sueco fundador dos Pr�mios Nobel (m.
+       1896).
+     * 1917 - Dizzy Gillespie, trompetista, cantor e compositor de jazz
+       estadunidense (m. 1993).
+     * 1940 - Pel� (na foto), futebolista brasileiro.
+
+   Morreram neste dia�
+     * 1422 - Carlos VI de Valois, Rei de Fran�a (n. 1368).
+     * 1805 - Horatio Nelson, almirante brit�nico (n. 1758).
+     * 1984 - Fran�ois Truffaut, director de cinema franc�s. (n. 1932).
+
+           Outros dias: 19 � 20 � 21 � 22 � 23 | ver todos�
+
+                     Predefini��o:Sabia que Sabia que�
+   Contactlenzen Confortissimo.JPG
+     * ... cerca de 125 milh�es de pessoas em todo mundo usam lentes de
+       contato (foto), quase 2% da popula��o mundial?
+     * ... o AVE Mizar foi um prot�tipo de carro voador criado no come�o
+       da d�cada de 1970 a partir da jun��o de um Cessna Skymaster com um
+       Ford Pinto?
+     * ... � poss�vel velejar contra o vento, e que esta t�cnica chama-se
+       bolina?
+     * ... a bandeira dos Estados Unidos colocada na Lua pela Apollo 11
+       foi feita por uma portuguesa chamada Maria Isilda Ribeiro?
+
+
+                   Predefini��o:Eventos atuais Eventos recentes
+   Muammar al-Gaddafi at the AU summit-LR.jpg
+     * ETA anuncia fim de atividades terroristas ap�s 51 anos e 800
+       mortos.
+     * Muammar al-Gaddafi (foto), ex-ditador da L�bia, morre em combate em
+       Sirte.
+     * Gilad Shalit, soldado de Israel, libertado ap�s mais de cinco anos
+       de cativeiro em troca da liberta��o de 1027 prisioneiros
+       palestinianos.
+     * Realizada a cerim�nia de abertura dos Jogos Pan-Americanos de 2011,
+       em Guadalajara, no M�xico.
+     * Pr�mio de Ci�ncias Econ�micas atribu�do a Christopher Sims e Thomas
+       Sargent pelo trabalho sobre rela��es causais entre pol�tica
+       econ�mica e vari�veis macroecon�micas.
+
+                 Mortes recentes � Mais eventos atuais�
+     __________________________________________________________________
+
+   Veja mais no Wikinot�cias
+          Wikipedia:Imagem em destaque/21 de outubro de 2011 Imagem do dia
+   Inside the Tarawera rift.jpg
+
+                       Monte Tarawera, Nova Zel�ndia.
+
+                                 Sobre a Wikip�dia
+
+   Importante! � Princ�pio da imparcialidade � Vers�es do portugu�s �
+   Direitos de autor � Normas de conduta � Coisas a n�o fazer
+     __________________________________________________________________
+
+   Escrevendo artigos � O que � um wiki? � Livro de estilo � Como
+   contribuir � Tutorial � Recursos no dom�nio p�blico � Conte�do
+   destacado
+     __________________________________________________________________
+
+   Ajude a Wikip�dia � Artigos com problemas � P�ginas a traduzir �
+   Artigos � espera de autor � Estaleiro � Donativos
+     __________________________________________________________________
+
+   Sobre a Wikip�dia � Esplanada � FAQ � Contato � Wikimedia � Software �
+   Estat�sticas � Consulta e reprodu��o � Decis�es da comunidade � Informe
+   um erro
+     __________________________________________________________________
+
+   Dom�nios � Wikip�dia � MediaWiki � Predefini��o � Anexo � Ajuda
+
+
+
+   Interesse geral
+
+   Filosofia � Matem�tica � Epistemologia
+   Ci�ncias humanas e sociais
+
+   Antropologia � Arqueologia � Direito � Economia � Geografia � Hist�ria
+   � Lingu�stica � Psicologia � Sociologia
+   Arte
+
+   Arquitetura e urbanismo � Cinema � Dan�a � Escultura � Fotografia �
+   Literatura � M�sica � M�sica Cl�ssica � Pintura � Teatro
+   Pol�tica
+
+   Diplomacia � Elei��es � Movimentos � Partidos � Pol�ticos � Regimes
+   pol�ticos
+   Biografias
+
+   Artistas � Chefes de Estado � Cientistas � Escritores � Fil�sofos �
+   Pol�ticos � Religiosos
+   Sa�de
+
+   Doen�as � Drogas � Enfermagem � Farm�cia � Medicina � Nutri��o �
+   Odontologia � Sa�de sexual
+   Ci�ncias exatas, naturais e tecnologia
+
+   Astronomia � Biologia � Ci�ncias da Terra � Eletr�nica � F�sica �
+   Inform�tica � Meteorologia � Qu�mica
+   Sociedade
+
+   Comportamento � Culin�ria � Cultura � Divers�o � Esporte/desporto �
+   Religi�o � Turismo
+   Wikip�dia em outros idiomas
+
+                Wikip�dias com mais de 1 000 000 de artigos:
+       Deutsch (alem�o) � English (ingl�s) � Fran�ais (franc�s)
+
+                  Wikip�dias com mais de 500 000 artigos:
+    Espa�ol (espanhol) � Italiano �  (japon�s) � Nederlands
+(neerland�s) � Polski (polaco/polon�s) � Portugu�s �  (russo)
+
+                  Wikip�dias com mais de 100 000 artigos:
+ (�rabe) � Euskara (basco) �  (b�lgaro) � Catal�
+(catal�o) �  (coreano) �  (chin�s) � Hrvatski (croata) � Dansk
+   (dinamarqu�s) � Slovencina (eslovaco) � Sloven�ina (esloveno) �
+Esperanto � Suomi (finland�s) �  (hebraico) �  (hindi) �
+ Magyar (h�ngaro) � Bahasa Indonesia (indon�sio) � Lietuviu (lituano) �
+Bahasa Melayu (malaio) � Norsk (noruegu�s) �  (persa) � Rom�n
+  (romeno) �  / Srpski (s�rvio) � Svenska (sueco) � esk�
+(tcheco/checo) � T�rk�e (turco) �  (ucraniano) � Ting Vit
+               (vietnamita) � Volap�k (volapuque) � Winaray
+
+ Lista completa � Coordena��o multil�ngue � Come�ar uma nova Wikip�dia
+
+Projetos Wikimedia
+
+   A Wikip�dia existe gra�as � Wikimedia Foundation, entidade sem fins
+   lucrativos que gere projetos em diversos idiomas e de conte�do livre:
+
+
+                   Wikiquote           Wikiquote
+                                 Colet�nea de cita��es
+                  Wikcion�rio        Wikcion�rio
+                              Dicion�rio de v�rias l�nguas
+                  Wikispecies         Wikispecies
+                                 Diret�rio de esp�cies
+
+                  Wikinot�cias       Wikinot�cias
+                                Fonte de not�cias livres
+                   Wikisource          Wikisource
+                               Documentos originais livres
+                    Commons         Wikimedia Commons
+                                 Imagens, sons e v�deos
+
+                 Wikiversidade        Wikiversidade
+                               Centro ilimitado do aprender
+                   Wikibooks            Wikilivros
+                                 Livros e manuais livres
+                   Meta-Wiki            Meta-Wiki
+                                 Coordena��o dos projetos
+
+   Obtida de
+   "http://pt.wikipedia.org/w/index.php?title=Wikip%C3%A9dia:P%C3%A1gina_p
+   rincipal&oldid=24857386"
+
+Ferramentas pessoais
+
+     * Entrar / criar conta
+
+Espa�os nominais
+
+     * P�gina do projeto
+     * Discuss�o
+
+Variantes
+
+Vistas
+
+     * Ler
+     * Ver conte�do
+     * Ver hist�rico
+
+A��es
+
+Busca
+
+   ____________________ (Submit) Pesquisar
+
+Navega��o
+
+     * P�gina principal
+     * Conte�do destacado
+     * Eventos atuais
+     * Esplanada
+     * P�gina aleat�ria
+     * Portais
+     * Informar um erro
+
+Colabora��o
+
+     * Boas-vindas
+     * Ajuda
+     * P�gina de testes
+     * Portal comunit�rio
+     * Mudan�as recentes
+     * Estaleiro
+     * Criar p�gina
+     * P�ginas novas
+     * Contato
+     * Donativos
+
+Imprimir/exportar
+
+     * Criar um livro
+     * Descarregar como PDF
+     * Vers�o para impress�o
+
+Ferramentas
+
+     * P�ginas afluentes
+     * Altera��es relacionadas
+     * Carregar ficheiro
+     * P�ginas especiais
+     * Liga��o permanente
+
+Noutras l�nguas
+
+     * 
+     * Bahasa Indonesia
+     * 
+     * Catal�
+     * esky
+     * Dansk
+     * Deutsch
+     * English
+     * Eesti
+     * 
+     * Espa�ol
+     * Esperanto
+     * Euskara
+     * 
+     * Fran�ais
+     * Galego
+     * 
+     * Italiano
+     * 
+     * Lietuvi
+     * Magyar
+     * Mirand�s
+     * Nederlands
+     * 
+     * Norsk (bokm�l)
+     * Norsk (nynorsk)
+     * Polski
+     * Rom�n
+     * 
+     * Slovenina
+     * Sloven�ina
+     *  / Srpski
+     * Suomi
+     * Svenska
+     * T�rk�e
+     * Ting Vit
+     * 
+
+     * Esta p�gina foi modificada pela �ltima vez �(s) 21h17min de 17 de
+       abril de 2011.
+     * Este texto � disponibilizado nos termos da licen�a Atribui��o -
+       Partilha nos Mesmos Termos 3.0 N�o Adaptada (CC BY-SA 3.0); pode
+       estar sujeito a condi��es adicionais. Consulte as condi��es de uso
+       para mais detalhes.
+
+     * Pol�tica de privacidade
+     * Sobre a Wikip�dia
+     * Avisos gerais
+     * Vers�o m�vel
+
+     * Wikimedia Foundation
+     * Powered by MediaWiki