2 files changed, 509 insertions, 0 deletions

diff --git a/test/testdata/fr/UTF-8/wikitop_fr_UTF-8.txt b/test/testdata/fr/UTF-8/wikitop_fr_UTF-8.txt
new file mode 100644
index 0000000..744af0d
--- /dev/null
+++ b/test/testdata/fr/UTF-8/wikitop_fr_UTF-8.txt
@@ -0,0 +1,292 @@
+Wikipédia:Accueil principal
+
+   Une page de Wikipédia, l'encyclopédie libre.
+   Aller à : Navigation, rechercher
+
+   Bienvenue sur Wikipédia
+   Le projet d’encyclopédie libre que vous pouvez améliorer 1 163 247
+   articles en français
+   Version pour appareil mobile
+
+   Culture — Géographie — Histoire — Sciences — Société — Technologies
+   Liste des portails thématiques
+
+   Lumière sur
+
+   L’histoire des Juifs en France, l’une des plus anciennes communautés
+   juives d’Europe occidentale, semble remonter au I^er siècle de l’ère
+   commune et se poursuit jusqu’à nos jours.
+
+   Arrivés en Gaule peu après sa conquête par l’Empire romain, les Juifs
+   s’y maintiennent sous les Mérovingiens, et connaissent une période de
+   prospérité sous les Carolingiens. Au XI^e siècle, la France devient un
+   pôle florissant de la culture juive, abritant, au nord, les communautés
+   ashkénazes, parmi lesquelles fleurit l’école de Rachi et de ses
+   continuateurs, et, au sud, les Juifs de Provence et du Languedoc. La
+   situation se détériore fortement après les Croisades, auxquelles font
+   suite les procès du Talmud, et les expulsions, temporaires puis
+   définitives. Un millénaire après leur établissement, il ne reste plus
+   de Juifs que dans les états papaux.
+
+   Environ un siècle après l’expulsion des Juifs de la péninsule ibérique,
+   des crypto-Juifs originaires du Portugal s’installent à Bordeaux et
+   Bayonne. Au XVII^e siècle, les Juifs d’Alsace et de Lorraine se
+   retrouvent eux aussi sous la juridiction de la France, suite aux
+   traités de Westphalie.
+
+   Les Juifs de France sont les premiers à jouir de l’émancipation que la
+   France leur accorde au début de la Révolution française, tant dans la
+   métropole que dans les colonies. Cependant, au « franco-judaïsme »
+   s’inscrivant dans le cadre de la laïcité en France, répond un «
+   antisémitisme à la française », qui s’exacerbe notamment lors de
+   l’affaire Dreyfus, et sous le régime de Vichy. Brutalement isolés du
+   reste de la population et poursuivis avec un zèle particulier par la
+   Milice, 75 000 Juifs meurent au cours de l’Occupation, parmi lesquels
+   de nombreux réfugiés d’Europe de l’Est ou d’Allemagne.
+
+   La France demeure cependant le choix naturel pour nombre de Juifs
+   contraints de quitter l’Égypte et l’Afrique du Nord dans les années
+   1950 et 1960. La communauté juive de France, jusqu’alors
+   essentiellement ashkénaze et assimilée, devient majoritairement
+   séfarade et attachée aux traditions. Elle est, de nos jours, la plus
+   importante d’Europe, et comprend 483 500 personnes, qui habitent
+   principalement Paris, Marseille, Lyon, Nice, Toulouse et Strasbourg.
+   Toutes les tendances « religieuses » s’y rencontrent, depuis les Juifs
+   ultra-orthodoxes jusqu’aux Juifs assimilés.
+     * Lire la suite
+
+       Contenus de qualité • Bons contenus • Sélection • Programme
+
+   Actualités et évènements
+
+   Évènements en cours : Crise politique belge · Printemps arabe · Crise
+   de la dette dans la zone euro · Crise alimentaire dans la Corne de
+   l’Afrique · Mouvement Occupy Wall Street · Coupe du monde de rugby à
+   XV · Jeux panaméricains
+     __________________________________________________________________
+
+     * 21 octobre : L'organisation terroriste basque ETA annonce l'arrêt
+       définitif de la lutte armée, après plus de quarante ans d'actions
+       terroristes ayant causé plus de huit cents morts.
+
+   Muammar al-Gaddafi at the AU summit.jpg
+     * 20 octobre : le CNT annonce la mort de Mouammar Kadhafi (photo)
+       lors de la prise de Syrte, dernière ville sous son contrôle.
+     * 18 octobre : après cinq années de captivité, le soldat israélien
+       Gilad Shalit est libéré en échange de la libération de
+       1 027 prisonniers palestiniens.
+     * 13 octobre : mariage de Jigme Khesar Namgyel Wangchuck, roi du
+       Bhoutan, et Jetsun Pema.
+     * 11 octobre : élection présidentielle au Liberia.
+     * 11 octobre : l’ex-Premier ministre et actuelle chef de l’opposition
+       en Ukraine Ioulia Tymochenko est condamnée à sept ans de prison
+       pour abus de pouvoir.
+
+          Octobre 2011 • Éphéméride du jour • Wikinews • Modifier
+
+   Le saviez-vous ?
+
+   vue en coupe d'un REP
+     * Les deux tiers des 440 réacteurs nucléaires qui produisent de
+       l'électricité dans le monde sont des réacteurs à eau pressurisée
+       (REP).
+     * Le Britannique Fauja Singh détient neuf records du monde
+       d’athlétisme pour les plus de cent ans, dont celui du marathon.
+     * Vakif, dans la province de Hatay, est le dernier village arménien
+       de Turquie.
+     * Depuis le 27 mars 1901, l’île des Faisans, sur la Bidassoa, change
+       de souveraineté tous les six mois entre la France et l’Espagne.
+     * Entre 1990 et 2000, la déforestation a fait perdre à la forêt
+       amazonienne une superficie comparable à celle de la France.
+
+                                                     Archives • Modifier
+
+   Image du jour
+
+
+   Le Quintette de Stephan, du nom de l'astronome Édouard Stephan, est un
+   groupement visuel de galaxies situé dans la constellation de Pégase.
+   (définition réelle 6 064 × 6 760)
+
+   Le Quintette de Stephan, du nom de l'astronome Édouard Stephan, est un
+   groupement visuel de galaxies situé dans la constellation de Pégase.
+   (définition réelle 6 064 × 6 760 – obtenir en poster)
+
+                                              Archives • Voir les images
+                                 Images de qualité sur Wikimédia Commons
+
+
+   Présentation
+
+   Wikipédia est un projet d’encyclopédie collective établie sur Internet,
+   universelle, multilingue et fonctionnant sur le principe du wiki.
+   Wikipédia a pour objectif d’offrir un contenu librement réutilisable,
+   objectif et vérifiable, que chacun peut modifier et améliorer.
+
+   Le cadre du projet est défini par des principes fondateurs. Son contenu
+   est sous licence Creative Commons by-sa et peut être copié et réutilisé
+   sous la même licence – même à des fins commerciales – sous réserve d'en
+   respecter les conditions.
+
+   Actuellement, Wikipédia en français compte plus de deux mille articles
+   distingués comme « articles de qualité » ou comme « bons articles ».
+   À propos de Wikipédia • Guide sur Wikipédia
+
+   Participation
+
+   Chacun peut publier immédiatement du contenu en ligne, à condition de
+   respecter les règles essentielles établies par la communauté ; par
+   exemple, la vérifiabilité du contenu ou l’admissibilité des articles.
+
+   De nombreuses pages d’aide sont à votre disposition, notamment pour
+   créer un article, modifier un article ou insérer une image. N’hésitez
+   pas à poser une question.
+   Premiers pas • L’essentiel pour contribuer
+
+   Communauté
+
+   1 148 655 comptes d'utilisateur ont été créés sur Wikipédia, et, parmi
+   eux, 15 702 ont été actifs durant le dernier mois. Tous les rédacteurs
+   des articles de Wikipédia sont bénévoles ; ils constituent une
+   communauté collaborative, sans dirigeant, où les membres coordonnent
+   leurs efforts au sein des projets thématiques et de divers espaces de
+   discussion.
+
+   Les débats et remarques sur les articles sont bienvenus. Les pages de
+   discussion servent à centraliser les réflexions et les évaluations
+   permettant d’améliorer les articles.
+
+                                                 Accueil de la communauté
+
+   Projets frères
+
+
+   Meta-Wiki
+               Meta-Wiki
+               Coordination de tous les projets
+   Commons
+               Wikimedia Commons
+               Base de données multimédia
+   Wiktionnaire
+               Wiktionnaire
+               Dictionnaire universel
+   Wikinews
+               Wikinews
+               Actualités libres
+   Wikibooks
+               Wikibooks
+               Livres et textes didactiques
+   Wikiquote
+               Wikiquote
+               Recueil de citations
+   Wikisource
+               Wikisource
+               Bibliothèque universelle
+   Wikiversité
+               Wikiversité
+               Communauté pédagogique libre
+   Wikispecies
+               Wikispecies
+               Inventaire du vivant
+
+              Wikipédia ne garantit pas le contenu mis en ligne.
+   La Wikimedia Foundation étant un hébergeur, elle ne saurait être tenue
+   responsable des erreurs éventuelles contenues sur ce site.
+   Chaque rédacteur est responsable de ses contributions.
+   Contact Contact
+   Ce document provient de «
+   http://fr.wikipedia.org/w/index.php?title=Wikip%C3%A9dia:Accueil_princi
+   pal&oldid=70578395 ».
+
+Outils personnels
+
+     * Créer un compte ou se connecter
+
+Espaces de noms
+
+     * Page
+     * Discussion
+
+Variantes
+
+Affichages
+
+     * Lire
+     * Voir le texte source
+     * Afficher l’historique
+
+Actions
+
+Rechercher
+
+   ____________________ (Submit) Rechercher
+
+Navigation
+
+     * Accueil
+     * Portails thématiques
+     * Index alphabétique
+     * Article au hasard
+     * Contacter Wikipédia
+
+Contribuer
+
+     * Premiers pas
+     * Aide
+     * Communauté
+     * Modifications récentes
+     * Faire un don
+
+Imprimer / exporter
+
+     * Créer un livre
+     * Télécharger comme PDF
+     * Version imprimable
+
+Boîte à outils
+
+     * Pages liées
+     * Suivi des pages liées
+     * Importer un fichier
+     * Pages spéciales
+     * Adresse de cette version
+
+Autres langues
+
+     * Català
+     * Česky
+     * Deutsch
+     * English
+     * Español
+     * Suomi
+     * Magyar
+     * Italiano
+     * 日本語
+     * 한국어
+     * Nederlands
+     * Polski
+     * Português
+     * ‪Norsk (bokmål)‬
+     * Română
+     * Русский
+     * Svenska
+     * Türkçe
+     * Українська
+     * 中文
+
+     * Dernière modification de cette page le 30 septembre 2011 à 12:18.
+     * Droit d'auteur : les textes sont disponibles sous licence Creative
+       Commons paternité partage à l’identique ; d’autres conditions
+       peuvent s’appliquer. Voyez les conditions d’utilisation pour plus
+       de détails, ainsi que les crédits graphiques.
+       Wikipedia® est une marque déposée de la Wikimedia Foundation, Inc.,
+       organisation de bienfaisance régie par le paragraphe 501(c)(3) du
+       code fiscal des États-Unis.
+
+     * Politique de confidentialité
+     * À propos de Wikipédia
+     * Avertissements
+     * Affichage mobile
+
+     * Wikimedia Foundation
+     * Powered by MediaWiki
diff --git a/test/testdata/fr/WINDOWS-1252/wikitop_fr_WINDOWS-1252.txt b/test/testdata/fr/WINDOWS-1252/wikitop_fr_WINDOWS-1252.txt
new file mode 100644
index 0000000..35fe742
--- /dev/null
+++ b/test/testdata/fr/WINDOWS-1252/wikitop_fr_WINDOWS-1252.txt
@@ -0,0 +1,217 @@
+   L�histoire des Juifs en France, l�une des plus anciennes communaut�s
+   juives d�Europe occidentale, semble remonter au I^er si�cle de l��re
+   commune et se poursuit jusqu�� nos jours.
+
+   Arriv�s en Gaule peu apr�s sa conqu�te par l�Empire romain, les Juifs
+   s�y maintiennent sous les M�rovingiens, et connaissent une p�riode de
+   prosp�rit� sous les Carolingiens. Au XI^e si�cle, la France devient un
+   p�le florissant de la culture juive, abritant, au nord, les communaut�s
+   ashk�nazes, parmi lesquelles fleurit l��cole de Rachi et de ses
+   continuateurs, et, au sud, les Juifs de Provence et du Languedoc. La
+   situation se d�t�riore fortement apr�s les Croisades, auxquelles font
+   suite les proc�s du Talmud, et les expulsions, temporaires puis
+   d�finitives. Un mill�naire apr�s leur �tablissement, il ne reste plus
+   de Juifs que dans les �tats papaux.
+
+   Environ un si�cle apr�s l�expulsion des Juifs de la p�ninsule ib�rique,
+   des crypto-Juifs originaires du Portugal s�installent � Bordeaux et
+   Bayonne. Au XVII^e si�cle, les Juifs d�Alsace et de Lorraine se
+   retrouvent eux aussi sous la juridiction de la France, suite aux
+   trait�s de Westphalie.
+
+   Les Juifs de France sont les premiers � jouir de l��mancipation que la
+   France leur accorde au d�but de la R�volution fran�aise, tant dans la
+   m�tropole que dans les colonies. Cependant, au � franco-juda�sme �
+   s�inscrivant dans le cadre de la la�cit� en France, r�pond un �
+   antis�mitisme � la fran�aise �, qui s�exacerbe notamment lors de
+   l�affaire Dreyfus, et sous le r�gime de Vichy. Brutalement isol�s du
+   reste de la population et poursuivis avec un z�le particulier par la
+   Milice, 75 000 Juifs meurent au cours de l�Occupation, parmi lesquels
+   de nombreux r�fugi�s d�Europe de l�Est ou d�Allemagne.
+
+   La France demeure cependant le choix naturel pour nombre de Juifs
+   contraints de quitter l��gypte et l�Afrique du Nord dans les ann�es
+   1950 et 1960. La communaut� juive de France, jusqu�alors
+   essentiellement ashk�naze et assimil�e, devient majoritairement
+   s�farade et attach�e aux traditions. Elle est, de nos jours, la plus
+   importante d�Europe, et comprend 483 500 personnes, qui habitent
+   principalement Paris, Marseille, Lyon, Nice, Toulouse et Strasbourg.
+   Toutes les tendances � religieuses � s�y rencontrent, depuis les Juifs
+   ultra-orthodoxes jusqu�aux Juifs assimil�s.
+     * Lire la suite
+
+       Contenus de qualit� � Bons contenus � S�lection � Programme
+
+   Actualit�s et �v�nements
+
+   �v�nements en cours : Crise politique belge � Printemps arabe � Crise
+   de la dette dans la zone euro � Crise alimentaire dans la Corne de
+   l�Afrique � Mouvement Occupy Wall Street � Coupe du monde de rugby �
+   XV � Jeux panam�ricains
+     __________________________________________________________________
+
+     * 21 octobre : L'organisation terroriste basque ETA annonce l'arr�t
+       d�finitif de la lutte arm�e, apr�s plus de quarante ans d'actions
+       terroristes ayant caus� plus de huit cents morts.
+
+   Muammar al-Gaddafi at the AU summit.jpg
+     * 20 octobre : le CNT annonce la mort de Mouammar Kadhafi (photo)
+       lors de la prise de Syrte, derni�re ville sous son contr�le.
+     * 18 octobre : apr�s cinq ann�es de captivit�, le soldat isra�lien
+       Gilad Shalit est lib�r� en �change de la lib�ration de
+       1 027 prisonniers palestiniens.
+     * 13 octobre : mariage de Jigme Khesar Namgyel Wangchuck, roi du
+       Bhoutan, et Jetsun Pema.
+     * 11 octobre : �lection pr�sidentielle au Liberia.
+     * 11 octobre : l�ex-Premier ministre et actuelle chef de l�opposition
+       en Ukraine Ioulia Tymochenko est condamn�e � sept ans de prison
+       pour abus de pouvoir.
+
+          Octobre 2011 � �ph�m�ride du jour � Wikinews � Modifier
+
+   Le saviez-vous ?
+
+   vue en coupe d'un REP
+     * Les deux tiers des 440 r�acteurs nucl�aires qui produisent de
+       l'�lectricit� dans le monde sont des r�acteurs � eau pressuris�e
+       (REP).
+     * Le Britannique Fauja Singh d�tient neuf records du monde
+       d�athl�tisme pour les plus de cent ans, dont celui du marathon.
+     * Vakif, dans la province de Hatay, est le dernier village arm�nien
+       de Turquie.
+     * Depuis le 27 mars 1901, l��le des Faisans, sur la Bidassoa, change
+       de souverainet� tous les six mois entre la France et l�Espagne.
+     * Entre 1990 et 2000, la d�forestation a fait perdre � la for�t
+       amazonienne une superficie comparable � celle de la France.
+
+                                                     Archives � Modifier
+
+   Image du jour
+
+
+   Le Quintette de Stephan, du nom de l'astronome �douard Stephan, est un
+   groupement visuel de galaxies situ� dans la constellation de P�gase.
+   (d�finition r�elle 6 064 � 6 760)
+
+   Le Quintette de Stephan, du nom de l'astronome �douard Stephan, est un
+   groupement visuel de galaxies situ� dans la constellation de P�gase.
+   (d�finition r�elle 6 064 � 6 760 � obtenir en poster)
+
+                                              Archives � Voir les images
+                                 Images de qualit� sur Wikim�dia Commons
+
+
+   Pr�sentation
+
+   Wikip�dia est un projet d�encyclop�die collective �tablie sur Internet,
+   universelle, multilingue et fonctionnant sur le principe du wiki.
+   Wikip�dia a pour objectif d�offrir un contenu librement r�utilisable,
+   objectif et v�rifiable, que chacun peut modifier et am�liorer.
+
+   Le cadre du projet est d�fini par des principes fondateurs. Son contenu
+   est sous licence Creative Commons by-sa et peut �tre copi� et r�utilis�
+   sous la m�me licence � m�me � des fins commerciales � sous r�serve d'en
+   respecter les conditions.
+
+   Actuellement, Wikip�dia en fran�ais compte plus de deux mille articles
+   distingu�s comme � articles de qualit� � ou comme � bons articles �.
+   � propos de Wikip�dia � Guide sur Wikip�dia
+
+   Participation
+
+   Chacun peut publier imm�diatement du contenu en ligne, � condition de
+   respecter les r�gles essentielles �tablies par la communaut� ; par
+   exemple, la v�rifiabilit� du contenu ou l�admissibilit� des articles.
+
+   De nombreuses pages d�aide sont � votre disposition, notamment pour
+   cr�er un article, modifier un article ou ins�rer une image. N�h�sitez
+   pas � poser une question.
+   Premiers pas � L�essentiel pour contribuer
+
+   Communaut�
+
+   1 148 655 comptes d'utilisateur ont �t� cr��s sur Wikip�dia, et, parmi
+   eux, 15 702 ont �t� actifs durant le dernier mois. Tous les r�dacteurs
+   des articles de Wikip�dia sont b�n�voles ; ils constituent une
+   communaut� collaborative, sans dirigeant, o� les membres coordonnent
+   leurs efforts au sein des projets th�matiques et de divers espaces de
+   discussion.
+
+   Les d�bats et remarques sur les articles sont bienvenus. Les pages de
+   discussion servent � centraliser les r�flexions et les �valuations
+   permettant d�am�liorer les articles.
+
+                                                 Accueil de la communaut�
+
+              Wikip�dia ne garantit pas le contenu mis en ligne.
+   La Wikimedia Foundation �tant un h�bergeur, elle ne saurait �tre tenue
+   responsable des erreurs �ventuelles contenues sur ce site.
+   Chaque r�dacteur est responsable de ses contributions.
+   Contact Contact
+
+Outils personnels
+
+     * Cr�er un compte ou se connecter
+
+Espaces de noms
+
+     * Page
+     * Discussion
+
+Variantes
+
+Affichages
+
+     * Lire
+     * Voir le texte source
+     * Afficher l�historique
+
+Actions
+
+Rechercher
+
+   ____________________ (Submit) Rechercher
+
+Navigation
+
+     * Accueil
+     * Portails th�matiques
+     * Index alphab�tique
+     * Article au hasard
+     * Contacter Wikip�dia
+
+Contribuer
+
+     * Premiers pas
+     * Aide
+     * Communaut�
+     * Modifications r�centes
+     * Faire un don
+
+Imprimer / exporter
+
+     * Cr�er un livre
+     * T�l�charger comme PDF
+     * Version imprimable
+
+Bo�te � outils
+
+     * Pages li�es
+     * Suivi des pages li�es
+     * Importer un fichier
+     * Pages sp�ciales
+     * Adresse de cette version
+
+     * Derni�re modification de cette page le 30 septembre 2011 � 12:18.
+     * Droit d'auteur : les textes sont disponibles sous licence Creative
+       Commons paternit� partage � l�identique ; d�autres conditions
+       peuvent s�appliquer. Voyez les conditions d�utilisation pour plus
+       de d�tails, ainsi que les cr�dits graphiques.
+       Wikipedia� est une marque d�pos�e de la Wikimedia Foundation, Inc.,
+       organisation de bienfaisance r�gie par le paragraphe 501(c)(3) du
+       code fiscal des �tats-Unis.
+
+     * Politique de confidentialit�
+     * � propos de Wikip�dia
+     * Avertissements
+     * Affichage mobile