Discussion :

[and1hotsauce]

Bonjour � tous,

Je me prends la t�te depuis ce matin sur une ligne de code qui g�n�re une exception sur notre serveur freebsd. En cherchant, j'ai r�ussi � recr�er le m�me probl�me dans un simple code.

Voici le r�sultat sur notre serveur d�di� (freebsd 7.1) :

[root@**** /home/***/test]# python2.6 --version
Python 2.6.1
[root@**** /home/***/test]# cat test.py
# -*- coding: utf-8 -*-

import glob

file = "t�te"

print file
print type(file)

file_unicode = unicode(file, 'utf8')
print file_unicode
[root@**** /home/***/test]# python2.6 test.py
t�te
<type 'str'>
Traceback (most recent call last):
File "test.py", line 11, in <module>
print file_unicode
UnicodeEncodeError: 'ascii' codec can't encode character u'\xea' in position 1: ordinal not in range(128)
[root@**** /home/***/test]#

La m�me proc�dure est effectu�e sur mon iMac et je n'ai aucun probl�me :

Vincent:test Vincent$ python --version
Python 2.6.1
Vincent:test Vincent$ cat test.py
# -*- coding: utf-8 -*-

import glob

file = "t�te"

print file
print type(file)

file_unicode = unicode(file, 'utf8')
print file_unicode
Vincent:test Vincent$ python test.py
t�te
<type 'str'>
t�te
Vincent:test Vincent$

Quelqu'un aurait une id�e sur la source du probl�me ?


D'avance,

Merci

[zoubli]

Perso dans un script lorsque je veux afficher un caract�re non ascii (accent) sur ma fen�tre DOS j'utilise cette m�thode:

print u"chaine : ",chaine1 + chaine2.decode("windows-1252")

Je pense qu'il te faut d�coder correctement avec le bon codec unix la chaine a afficher, apr�s lequel ?
D�ja une piste...

[valAa]

Je pense qu'il te faut d�coder correctement avec le bon codec unix la chaine a afficher, apr�s lequel ?
D�ja une piste...

Si c'est pour un print en console, sys.stdout.encoding fournit l'encodage � utiliser. Donc � essayer :

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

1
2
3
4
 
import sys
file_unicode = unicode(file, 'utf8')
print file_unicode.encode(sys.stdout.encoding)

[and1hotsauce]

Bonjour,

J'ai finalement eu r�ponse sur le chan IRC #python-fr.

J'avais �galement le probl�me pour des fonctions telles que os.rename(a, b) avec a et b en utf-8 accentu�s.

La raison est que MAC OS X g�re en interne les cha�nes en utf-8 et freebsd en ASCII. Donc la console freebsd g�re en ASCII ainsi que les fonctions travaillant sur le syst�me (gestion de fichiers, etc.).

Python convertit donc automatiquement dans l'encodage de l'OS. Sous MAC OS X, pas n�cessaire c'est aussi de l'utf-8, sous freebsd il convertit vers l'ASCII et l� c'est le drame

Solutions :

1) Si c'est juste pour afficher des chaines utf-8 (sur un OS en ASCII tel que freebsd) une solution rapide est de mettre la variable d'environnement :

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

export PYTHONIOENCODING=utf8

sur certains shell ca sera :

Code :

S�lectionner tout - Visualiser dans une fen�tre � part

# SET PYTHONIOENCODING utf8

Rem : cette variable n'existe que depuis Python 2.6

2) Changer la locale de l'OS (je n'ai pas test�)
3) Ne pas travailler en utf-8 ( :/ )
4) Passer en python 3.2 qui, parait-il, g�re �a proprement.

Comme je re�ois cette chaine en ASCII et que je la convertissait en utf-8 (je pensais que c'�tait une bonne mani�re de proc�der... pas sur tous les syst�mes apparemment) je vais m'abstenir de la convertir (sauf quand si j'en ai vraiment besoin).

Dans la version suivante, je passerai en python 3.2

Merci tout de m�me ;-)

Vincent

[wiztricks]

Comme je re�ois cette chaine en ASCII et que je la convertissait en utf-8 (je pensais que c'�tait une bonne mani�re de proc�der... pas sur tous les syst�mes apparemment) je vais m'abstenir de la convertir (sauf quand si j'en ai vraiment besoin).

La cha�ne de caract�re "t�te" ne peut �tre l'ASCII parce que "contient" des octets sup�rieurs � 127.
Pour la convertir, il faut savoir comment elle est "cod�e": c'est ce que fait l'instruction "# -*- coding: utf-8 -*-" pour peut que l'�diteur fasse le boulot derri�re.

file = "t�te"
Sous Python2, cela cr�e une variable file pointant sur une suite de bytes cod�s utf-8. En python 3, ce sera de l'Unicode.
file_unicode = unicode(file, 'utf8')
On fabrique l'Unicode....

print file_unicode
UnicodeEncodeError: 'ascii' codec can't encode character u'\xea' in position 1: ordinal not in range(128)

Le print doit s�rialiser la cha�ne Unicode �t pour cela deviner un encoding qui par d�faut est "ASCII"... le "�" n'�tant pas ASCII �� plante.
SI vous aviez mis:
print file_unicode.encode('latin-1')
Ca n'aurait peut �tre pas affich� le "�" mais �� n'aurait pas remont� d'exception...

J'avais �galement le probl�me pour des fonctions telles que os.rename(a, b) avec a et b en utf-8 accentu�s.

Pour que �� fonctionne, il faut 'en plus' que le file system et l'OS supportent des noms utf-8...
Mais la question est aussi a et b doivent-ils �tre "bytes" (utf-8) ou Unicode? Python 3 r�sout cette prise de t�te l�... mais pas les autres.
- W