Le topic de toutes les Questions (AVFFUO)

Recherche :

Mot : Pseudo : Filtrer Aller à la page :
Page : 1 2 3 4 5 .. 12624 12625 12626 .. 14962 14963 14964 14965 14966 14967 Page Suivante Page Précédente Bas de page
Auteur	Sujet : Le topic de toutes les Questions (AVFFUO)

babylone83

Corse :o

Reprise du message précédent :

50kmh a écrit :

Salut

Comment manipuler des fichiers csv énormes sur un pc de bureau de base (office) ?

Les fichiers ont des milliers de lignes et des centaines de champs. Chaque fichier fait plusieurs centaines de mo et j’en ai une cinquantaine.

J’ai juste besoin de tirer la donnée d’une cellule (une ligne et une colonne) précise pour chaque fichier (chaque fichier correspond à une date). C’est un csv donc à séparer par les virgules.

Manuellement, rien que un seul fichier, ça me prend plusieurs minutes car le fichier est trop gros.

Merci

Un stagiaire

Publicité

PierrotLeDingue

Yes we KANTE !

50kmh a écrit :

Salut

Comment manipuler des fichiers csv énormes sur un pc de bureau de base (office) ?

Les fichiers ont des milliers de lignes et des centaines de champs. Chaque fichier fait plusieurs centaines de mo et j’en ai une cinquantaine.

J’ai juste besoin de tirer la donnée d’une cellule (une ligne et une colonne) précise pour chaque fichier (chaque fichier correspond à une date). C’est un csv donc à séparer par les virgules.

Manuellement, rien que un seul fichier, ça me prend plusieurs minutes car le fichier est trop gros.

Merci

Tu peux lire un CSV dans excel en tant que CSV.
Excel > Données > A partir d'un fichier texte/CSV

Cependant si ton fichier est trop lourd tu vas galérer. Et attention au format aussi si tu as des nombres sous forme '010' par exemple et que tu définis la colonne en number tu perdras le 0 en tête. Cela va impacter tes données quand tu enregistreras ton CSV.
Mais bon normalement les gros CSV sont fait pour être lu d'une autre manière. Genre en import dans une BDD.

Message cité 1 fois

garath_

50kmh a écrit :

Python, ça vaut peut être le coup de perdre une journée à prendre ça en main et te faire un script qui traiterait les fichiers en masse.

Message cité 1 fois

---------------
HFR Links Preview | HFR Giphy

Herbert de Vaucanson

Grignoteur de SQFP depuis 2002

50kmh a écrit :

Un petit script python et ça te fait ça en deux secondes. T'as bien des collègues qui savent faire, ça doit prendre 10 minutes à programmer avec des connaissances de base base en python.

---------------
Prévenir HdV en cas d'SQFP ! - Quidquid latine dictum sit, altum sonatur.

Daphne

kernel panic

Je souhaite faire un publipostage mais ça ne fonctionne pas. Word plante. Je n'ai pas d'autre message d'erreur que "Word a cessé de fonctionner et doit redémarrer". J'imagine bien qu'il y a une couille quelque part dans un de mes fichiers (soit le Word soit l'Excel), ça le fait sur les postes des collègues aussi.
J'ai vérifié que ma base et ma lettre soient de la même version d'Office.
J'ai viré les accents des noms de fichiers (vieux réflexe d'un autre logiciel )
J'ai bien fait gaffe que mes champs correspondent.
J'ai viré tous les filtres de la base Excel.

Je devrais vérifier quoi d'autre à votre avis ?

Altered

Prix public conseillé

Si tu as la réponse ça m'intéresse, j'ai une secrétaire qui avait ce souci et a renoncé on a jamais trouvé
Après on a pu se le permettre car la liste d'envoi était pas monstrueuse non plus, heureusement :sweat:

Message édité par Altered le 16-09-2020 à 11:25:01

vave

Nice to meet me

Essaie avec un nouveau fichier excel avec 10 lignes pour voir si ça fait pareil

---------------
Bel ours Vave, je me dois de l’admettre. -Skyl"win"- Mais toi tu es intelligent -Homerde- - Ce génie -SkylWINd- JDD S16M72 10:43:46 GMT-DTC +1

Daphne

kernel panic

Y'en a une petite centaine et 5 colonnes, c'est pas un gros fichier de base... Mais je vais tenter oui

Message cité 1 fois

Perfector

Memento mori

50kmh a écrit :

Salut

Comment manipuler des fichiers csv énormes sur un pc de bureau de base (office) ?

Les fichiers ont des milliers de lignes et des centaines de champs. Chaque fichier fait plusieurs centaines de mo et j’en ai une cinquantaine.

Manuellement, rien que un seul fichier, ça me prend plusieurs minutes car le fichier est trop gros.

Merci

Mettre les données dans une table SQL (avec MySQL/MariaDB et un LOAD DATA c'est très rapide).
Puis faire les tris/sélections en SQL et exporter.

Message cité 1 fois
Message édité par Perfector le 16-09-2020 à 11:34:55

---------------
Randos

frankie_flowers

garath_ a écrit :

Python, ça vaut peut être le coup de perdre une journée à prendre ça en main et te faire un script qui traiterait les fichiers en masse.

[:le petit tiburce:5]

Pour un développeur, oui c'est possible de pondre un tel script en quelques heures sans connaître Python au préalable.
Pas pour un non-dev hein.

Message cité 1 fois

Publicité

Eifersucht91

50kmh a écrit :

Salut

Comment manipuler des fichiers csv énormes sur un pc de bureau de base (office) ?

Les fichiers ont des milliers de lignes et des centaines de champs. Chaque fichier fait plusieurs centaines de mo et j’en ai une cinquantaine.

Manuellement, rien que un seul fichier, ça me prend plusieurs minutes car le fichier est trop gros.

Merci

Si c'est juste pour obtenir une seule cellule :

Quel OS ? Si windows tu as accès à powershell ?
Dans ce cas

Code :

(Get-Content -Path lefichier.csv -TotalCount X)[-1] | %{ $_.Split(',')[Y]; }

avec X la ligne souhaité et Y+1 la colonne souhaité
J'ai pas testé par contre.

Si linux ou macos, tu dois avoir awk à disposition.

Message cité 1 fois
Message édité par Eifersucht91 le 16-09-2020 à 12:42:22

frankie_flowers

50kmh a écrit :

Tu n'as pas de connaissance en écriture de scripts, n'est-ce pas ?

Il y a une solution intermédiaire, plus accessible à l'utilisateur lambda capable de lancer une ligne de commande, qui est d'utiliser une commande de type :

Citation :

grep "2020-09-01" *.csv > fichierDeSortieDe50lignes.csv

Pour avoir grep, il faut installer quelque chose comme cygwin;

Message cité 2 fois

HumanRAGE

Rage d'être un Humain...LIBRE!

frankie_flowers a écrit :

Citation :

grep "2020-09-01" *.csv > fichierDeSortieDe50lignes.csv

Pour avoir grep, il faut installer quelque chose comme cygwin;

sous windows t'as find et findstr

Message cité 1 fois

---------------
When I give food to the poor, they call me a saint. When I ask why the poor have no food, they call me a communist. Helder Camara | Telling your employees they're "family" is the corporate equivalent of saying "I love you" to a sex worker.

raclette 74

reblochon

Yeagermach42 a écrit :

On voit que tu le prends pas souvent pour dire ca :sweat:

Tu le mets ou le moteur sur un bus., devant, central couché, arrière ??

Message cité 1 fois

Herbert de Vaucanson

Grignoteur de SQFP depuis 2002

raclette 74 a écrit :

Tu le mets ou le moteur sur un bus., devant, central couché, arrière ??

Bah il est à l'arrière, mais ce qui est chelou et qui laisse penser que tu ne prends pas le bus, c'est que tu dises "donc pas de transfert de chaleur"

Message cité 1 fois

---------------
Prévenir HdV en cas d'SQFP ! - Quidquid latine dictum sit, altum sonatur.

le quincailler

Herbert de Vaucanson a écrit :

Bah il est à l'arrière, mais ce qui est chelou et qui laisse penser que tu ne prends pas le bus, c'est que tu dises "donc pas de transfert de chaleur"

Quand ça vient de l'arrière, y'a pas de transfert de chaleur, C'est pas parce que t'es chaud du cul que tu as de la fièvre...

---------------

garath_

frankie_flowers a écrit :

[:le petit tiburce:5]

Pour un développeur, oui c'est possible de pondre un tel script en quelques heures sans connaître Python au préalable.
Pas pour un non-dev hein.

Bah python est fait pour les non dev à la base.
Y a rien de bien compliqué, même tes enfants ont des notions de programmation maintenant.

Ah c'est sur qu'il faut se sortir un peu les doigts pour sortir de sa zone de confort du coup je comprends que ça ne soit pas à la portée de tout le monde

Message cité 2 fois
Message édité par garath_ le 16-09-2020 à 12:38:53

---------------
HFR Links Preview | HFR Giphy

Daphne

kernel panic

Daphne a écrit :

Y'en a une petite centaine et 5 colonnes, c'est pas un gros fichier de base... Mais je vais tenter oui

Bon y'a 40 lignes et 5 colonnes dans mon excel et en fait ça plante quand je vais dans PP > Utiliser la base existante > je sélectionne le fichier et paf
C'est même pas le PP qui marche pas, j'arrive même pas à ouvrir la base...
Edit : ça plante aussi qund je fais "entrer une nouvelle liste". Ca vient de mon fichier Word. Vais tester un autre...

Message cité 1 fois
Message édité par Daphne le 16-09-2020 à 12:42:44

babylone83

Corse :o

garath_ a écrit :

Bah python est fait pour les non dev à la base.
Y a rien de bien compliqué, même tes enfants ont des notions de programmation maintenant.

Ah c'est sur qu'il faut se sortir un peu les doigts pour sortir de sa zone de confort du coup je comprends que ça ne soit pas à la portée de tout le monde

nan mais les gars faut sortir de votre cave de dev un peu,

pour l'immense majorité des gens c'est vraiment pas évident.

Comme si tu demandais à quelques qui n'a jamais parlé anglais d'apprendre, bah oui faut se sortir les doigts un peu les gars ! oui voila, il parait quand le disant les gens le font et rapidement en plus !

Message cité 1 fois

Cuistot

Maitre nageur

Daphne a écrit :

essaye un "enregistrer sous" de ton fichier word pour le recréer a nouveau

---------------
... . -. -.. -. ..- -.. . ...

garath_

babylone83 a écrit :

nan mais les gars faut sortir de votre cave de dev un peu,

pour l'immense majorité des gens c'est vraiment pas évident.

Comme si tu demandais à quelques qui n'a jamais parlé anglais d'apprendre, bah oui faut se sortir les doigts un peu les gars ! oui voila, il parait quand le disant les gens le font et rapidement en plus !

Je pense que t'as jamais vu une ligne de python pour dire ça.

Ce langage existe pour justement permettre à des gens qui ne sont pas dev de scripter des tâches.
Il y a assez peu de difficultés pour des tâches simples.

Mais bon tu le prouve bien ici c'est plus simple de dire que c'est pas ton job et de ne pas essayer d'ouvrir Google.

Quand on me demandera de tenir l'accueil d'un hôtel je ne viendrais pas dire:

Citation :

nan mais les gars faut sortir de votre cave d'hotelier un peu,

pour l'immense majorité des gens c'est vraiment pas évident.

Je vais au moins essayer...

Message cité 4 fois

---------------
HFR Links Preview | HFR Giphy

Red face

garath_ a écrit :

Je pense que t'as jamais vu une ligne de python pour dire ça.

Ce langage existe pour justement permettre à des gens qui ne sont pas dev de scripter des tâches.
Il y a assez peu de difficultés pour des tâches simples.

C'est en anglais donc pas accessible rapidement pour tout le monde.

Reviens à la réalité il faut des bases avant de pouvoir faire quelque chose en pyhton.

babylone83

Corse :o

garath_ a écrit :

Je pense que t'as jamais vu une ligne de python pour dire ça.

Ce langage existe pour justement permettre à des gens qui ne sont pas dev de scripter des tâches.
Il y a assez peu de difficultés pour des tâches simples.

Mais bon tu le prouve bien ici c'est plus simple de dire que c'est pas ton job et de ne pas essayer d'ouvrir Google.

Quand on me demandera de tenir l'accueil d'un hôtel je ne viendrais pas dire:

Citation :

nan mais les gars faut sortir de votre cave d'hotelier un peu,

pour l'immense majorité des gens c'est vraiment pas évident.

Je vais au moins essayer...

Bah viens essayer, et après tu comprendras que tu n'y arriveras pas en 30 sec justement.

Profil supprimé

J'ai justement un fichier csv trop lourd pour Excel (il fait 1,5 millions de lignes), et-ce que Python permettrait d’extraire des données relativement facilement ?

Message cité 2 fois

raclette 74

reblochon

Un bus c' est une boite, même a l'arrêt avec le soleil c'est un four.
Un camion avec le moteur sous la cabine y'a un transfert de chaleur, mais la chaleur dans un bus parcourt pas10 mètres vers l' avant.

Message cité 1 fois

Cuistot

Maitre nageur

garath_ a écrit :

Je pense que t'as jamais vu une ligne de python pour dire ça.

Ce langage existe pour justement permettre à des gens qui ne sont pas dev de scripter des tâches.
Il y a assez peu de difficultés pour des tâches simples.

Mais bon tu le prouve bien ici c'est plus simple de dire que c'est pas ton job et de ne pas essayer d'ouvrir Google.

Quand on me demandera de tenir l'accueil d'un hôtel je ne viendrais pas dire:

Citation :

nan mais les gars faut sortir de votre cave d'hotelier un peu,

pour l'immense majorité des gens c'est vraiment pas évident.

Je vais au moins essayer...

je programme en python et ce n'est pas un langage de script pour tout le monde

Message cité 1 fois

---------------
... . -. -.. -. ..- -.. . ...

zuf

Merci Moudenc

Oui.

Collioure

50kmh a écrit :

ca doit être 5 lignes en R

gsx33

Make France great again

Cuistot a écrit :

je programme en python et ce n'est pas un langage de script pour tout le monde

Ça existe le langage de script pour tout le monde ?

Message cité 1 fois

---------------
Dans la vie,il y a l'air et la chanson

true-wiwi

garath_ a écrit :

Je pense que t'as jamais vu une ligne de python pour dire ça.

Ce langage existe pour justement permettre à des gens qui ne sont pas dev de scripter des tâches.
Il y a assez peu de difficultés pour des tâches simples.

Mais bon tu le prouve bien ici c'est plus simple de dire que c'est pas ton job et de ne pas essayer d'ouvrir Google.

Quand on me demandera de tenir l'accueil d'un hôtel je ne viendrais pas dire:

Citation :

nan mais les gars faut sortir de votre cave d'hotelier un peu,

pour l'immense majorité des gens c'est vraiment pas évident.

Je vais au moins essayer...

Reviens sur terre.

Si t'as pas de notion d'algo et d'anglais, faut au moins une journée pour ne serait ce que les bases.

Si tu veux on se fait une visio en Allemand, je t'appelle dans deux heures et on voit si tu sors autre chose que ton nom prénom et si t'as un chien.

Message cité 1 fois

---------------
It's a simple mistake to make, to create love and to fall.

zuf

Merci Moudenc

true-wiwi a écrit :

Reviens sur terre.

Si t'as pas de notion d'algo et d'anglais, faut au moins une journée pour ne serait ce que les bases.

Si tu veux on se fait une visio en Allemand, je t'appelle dans deux heures et on voit si tu sors autre chose que ton nom prénom et si t'as un chien.

+1

Quand j'ai démarré python, j'avais de bonnes notions d'algo et connaissais quelques langages (C++, C#, matlab).
J'ai malgré tout eu besoin de 2 jours pour pouvoir faire ce genre d'opérations correctement dans un notebook.

pwarlk

@tous & 50km
On parle de ça quand même pour lire la valeur de la colonne 3, ligne 35.
Et python, le plus dur pour un non-dév, c'est l'installer. Ensuite, c'est assez facile de survivre à coups de C/C sur stackoverflow quand ça se complique

Code :

# -*- coding: utf-8 -*-
import csv
with open(r'C:\Users\test.csv', encoding='utf-8') as fichiercsv:
data=list(csv.reader(fichiercsv, delimiter=';'))
print(str(data[34][2]))

Oui. Perso j'utilise panda.

Code :

import pandas as pd
df = pd.read_csv(filepath_param, error_bad_lines=False, sep=';')
df.head() # pour voir à quoi ressemble ton dataframe df

et ensuite, tu as des colonnes et tu peux faire des simili-queries dessus, des graphiques, etc. Très puissant.

Naxos

\o/

tarpan66 a écrit :

Moi j'ai que la 2G, y parait que j'ai encore 2 ans de rab' pour en profiter avant de devoir changer de tèl pour un… 3G au moins [:tim_coucou]

Si quelque chose disparaît ce sera la 3G avant la 2G

Message édité par Naxos le 16-09-2020 à 13:44:22

---------------
[Folio Photos]

Cuistot

Maitre nageur

gsx33 a écrit :

Ça existe le langage de script pour tout le monde ?

oui, le python ?
sinon tex su gcos 8 est pas mal

Message cité 1 fois

---------------
... . -. -.. -. ..- -.. . ...

gsx33

Make France great again

Cuistot a écrit :

oui, le python ?
sinon tex su gcos 8 est pas mal

Je fais toujours mon backup en .bat [:piksou]

---------------
Dans la vie,il y a l'air et la chanson

XaTriX

garath_ a écrit :

Bah python est fait pour les non dev à la base.
Y a rien de bien compliqué, même tes enfants ont des notions de programmation maintenant.

Ah c'est sur qu'il faut se sortir un peu les doigts pour sortir de sa zone de confort du coup je comprends que ça ne soit pas à la portée de tout le monde

Ras le cul de cette expression "zone de confort" :fou:

Message cité 1 fois
Message édité par XaTriX le 16-09-2020 à 14:05:34

---------------
[:dawa]

GAS

Wifi filaire©

C'est ça le truc dont vous dites que c'est accessible à tout le monde ? [:kanterkro]

Nan mais vous planez complet [:ula]

Perso j'ai déjà pas tout compris à Scratch

Message cité 2 fois

---------------
On a pas attendu les pneus en 180 pour attaquer !

XaTriX

Lol des lignes cétrodur

Message cité 2 fois

---------------
[:dawa]

zuf

Merci Moudenc

XaTriX a écrit :

Ras le cul de cette expression "zone de confort" :fou:

C'est parce que t'es pas prêt à sortir de ta zone de confort

TheCreator

zwiiiii and then shbrouk tak 2

GAS a écrit :

C'est ça le truc dont vous dites que c'est accessible à tout le monde ? [:kanterkro]

https://wingware.com/images/blog/co [...] erview.png

Nan mais vous planez complet [:ula]

Perso j'ai déjà pas tout compris à Scratch

non mais "vous" c'est un seul type hein

la logique du développement est évidente, les algos c'est un principe incroyablement simple, mais la forme est imbitable

tout le monde sait comment fonctionne un if else, maintenant le faire dans un langage avec son écosysteme, ses particularités, faut 2j de recherches rien que pour un hello world

Message cité 1 fois

---------------
C'est super ! Vous pouvez arrêter ?

GAS

Wifi filaire©

XaTriX a écrit :

Lol des lignes cétrodur

Ah mais si le but c'est d'écrire des lignes sans lexique ni syntaxe, je peux le faire, pas de souci

---------------
On a pas attendu les pneus en 180 pour attaquer !

Publicité

Page : 1 2 3 4 5 .. 12624 12625 12626 .. 14962 14963 14964 14965 14966 14967

Page Suivante

Page Précédente

Haut de page

FORUM HardWare.fr

Discussions

Vie pratique

Le topic de toutes les Questions (AVFFUO)

Sujets relatifs
Quelques questions sur ma première voiture (206)	Dieudonné : l'humoriste, ses spectacles (la politique c'est à coté)
[fane de violon qui veut prendre ses ailes] Questions pour débuter	questions sur frais bancaires (viremements ,cheque)
\Topik UniK [ /!\ RTC] \ Les plus belles voitures de route sur piste	[Topik Unik] Le Mans et sa banlieue
Questions avant adoption chaton	[Topik Unique] PLACEBO - Tournée mondiale pour les 20 ans du groupe !
Quelques questions à propos de NoosTV...	[Topic Unique] Lampes Torches /!\ Addict! /!\
Plus de sujets relatifs à : Le topic de toutes les Questions (AVFFUO)

Page générée en 0.146 secondes