Accéder au contenu principal

C# - Détection du type d'encodage d'un fichier Texte

 Comme vous l'avez vu par mon précédent message :

 

Je me bas en ce moment avec les formats d'encodage des fichiers texte. En effet, je dois charger une foule de fichiers texte, mais dont le format d'encodage varie (UTF8 ou ANSI). De ce fait, j'ai recherché une solution simple pour effectuer ce test en pensant que ca allait être évident.

Et bien, j'ai été bien surpris, ce n'est pas du tout simple à faire.

Quelle est la raison de cette recherche, vous aller me dire ? C'est très simple, charger un fichier, qui a été créé avec un encodage ANSI, dans un streamreader avec l'encodage UTF8 fait disparaître tous les caractères accentués. L'inverse fait remplacer ces mêmes caractères par des composition du type ür (pour ü) par exemple.

 

Ainsi, après une longue recherche et de très nombreux tests (merci au passage à Tkfe, CrazyHT et Renaud), la solution est de tester les 4 premier octets (bytes en US) et de tester ces valeurs.

La fonction d'origine vient de Heath Stewart :

 

J'ai donc adapté celle-ci en contrôlant plus finement les types d'encodage :

 

N'hésitez pas à remonter des commentaires si vous avez d'autres idées ou des retours sur cette fonction.

 


UPDATE :

J'ai du utiliser une autre solution dans mon cas, dont je vous fourni l'astuce ici :


Romelard Fabrice

Commentaires

Posts les plus consultés de ce blog

Série de Videos sur Home Assistant intégrant la production Photovoltaïque

 Un certain nombre de vidéos sont en ligne pour intégrer sa production photovoltaïque dans Home Assistant en partant de la base. Installation de Home Assistant: On peut ensuite intégrer les composant des Micro-Onduleurs Enphase, mais aussi les batteries Enphase: Ou encore le composant de contrôle Ecojoko: Ce qui permet alors de faire des comparaisons entre les valeurs capturées: Des videos seront encore publiés dans les prochaines semaines sur différents aspects de cette solution. Fab

Nouveau Scripts PowerShell publiés pour gérer les Storage Accounts dans Azure Cloud

Deux scripts sont en lignes pour nettoyer des Storage Account dans Azure Cloud: Supprimer les Blobs d'un container existant https://techcommunity.microsoft.com/discussions/azure/powershell-script-to-remove-all-blobs-from-storage-account/4357815 ------------------------------------------------------- [string]$myConnectionString = "DefaultEndpointsProtocol=https;AccountName=YourStorageAccountName;AccountKey=YourKeyFromStorageAccountConnectionString;EndpointSuffix=core.windows.net" [string]$ContainerName = "YourBlobContainerName" [int]$blobCountAfter = 0 [int]$blobCountBefore = 0 $context = New-AzStorageContext -ConnectionString $myConnectionString $blobCountBefore = (Get-AzStorageBlob -Container $ContainerName -Context $context).Count Write-Host "Total number of blobs in the container Before deletion: $blobCount" -ForegroundColor Yellow Get-AzStorageBlob -Container $ContainerName -Context $context | ForEach-Object {     $_ | Remove-AzureStorageBlob   # o...

Série de vidéos sur le montage d'une serre horticole ACD

 Episode 1: Préparation du terrain Episode 2: Montage de la serre en elle même Episode 3: Finalisation avec le montage électrique alimentant la serre Bon visionnage Fab