Discussion :

[fbaux]

Bonjour,
j'ai r�cup�r� un fichier .ged (g�n�alogie) de plus 60Mo. Il semble qu'il y est une un pb d'encodage lors de l'exportation (source initiale perdue => nouvel export impossible). Je dois travailler en qu'actif sur le fichier que j'ai et dans lequel, les caract�res accentu�s ont �t� remplac�s par "?".

via des rechercher/remplacer j'ai beaucoup am�lior� les choses.
Mais il reste de nombreux cas avec des occurrences moins nombreuses.

Quelqu'un pourrait il me proposer svp un script python pour analyser ce fichier (source.ged) et faire un inventaire de tous les mots avec ?, l'enregistrer dans un corrections.txt
(suis sous macOS et le fichier et en UTF-8)
une fois que j'aurai cet inventaire, tous les mots trouv�s depuis le d�but, jusqu'� la fin du source.ged > (corrections.txt), je ferai l'inventaire du nombre d'occurrences de tous les mots distincts.
par tri d�croissant, d'occurence, je proc�derai au remplacement progressif avec les lettres correctes

>En vous remerciant par avance
Bien � vous

[fred1599]

Hello,

La pr�sence de caract�res '?' � la place de caract�res accentu�s dans un fichier GEDCOM est un sympt�me courant de probl�mes li�s � l'encodage des caract�res. Comprendre la nature de ces probl�mes est essentiel avant d'entreprendre une correction.

Le standard GEDCOM pr�voit une �tiquette CHAR dans la section d'en-t�te (HEAD) du fichier pour d�clarer l'encodage des caract�res utilis� (par exemple, 1 CHAR UTF-8 ou 1 CHAR ANSEL). Th�oriquement, cela devrait permettre aux logiciels d'interpr�ter correctement le contenu.

Voir la doc -> Character Encoding

Apr�s vous pouvez faire cette analyse en python (mais je ne vois pas votre code), �a ne pose aucune difficult� majeure, � part si on travaille avec les expressions r�guli�res, ce qui peut �tre une bonne solution.

Et peut-�tre aussi qu'on pourrait faire �a avec une simple ligne commande Unix ?

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

grep -o '\b\w*\?\w*\b' source.ged > corrections.txt

� adapter pour les mots avec traits d'union, apostrophe, ... voir utiliser aussi des outils comme sed et awk.

[Sve@r]

Bonjour

Quelqu'un pourrait il me proposer svp un script python pour analyser ce fichier (source.ged) et faire un inventaire de tous les mots avec ?, l'enregistrer dans un corrections.txt

Approche na�ve...

Code python :

S�lectionner tout - Visualiser dans une fen�tre � part

1
2
3
4
5
6
with open("source.ged", "r") as f_in, open("corrections.txt", "w") as f_out:
	for ligne in f_in:
		for  mot in ligne.split(" "):
			if len(mot) > 1 and "?" in mot: print(mot, file=f_out)		# len(mot) > 1 pour éviter de traiter les ponctuations solitaires
	# for
# with

Un code de ce genre (il s�pare chaque mot de la ligne sur l'espace puis identifie les mots contenant un "?") te donnera un point de d�part.