importation événements FB #139

Closed
opened 2024-09-10 19:05:35 +02:00 by jmtrivial · 4 comments
Owner

souvent le script d'importation d'événements FB plante. Je me demande si ça n'est pas parce que les pages sont trop lentes à se charger et qu'on n'attend pas assez.
Plusieurs solutions:

  • rallonger le temps de pause (la solution du pauvre)
  • identifier une balise qui doit être présente, et demander à chromium de l'attendre avant de servir la page, mais ça veut dire modifier un peu le downloader pour que ça soit un peu générique
souvent le script d'importation d'événements FB plante. Je me demande si ça n'est pas parce que les pages sont trop lentes à se charger et qu'on n'attend pas assez. Plusieurs solutions: - rallonger le temps de pause (la solution du pauvre) - identifier une balise qui doit être présente, et demander à chromium de l'attendre avant de servir la page, mais ça veut dire modifier un peu le downloader pour que ça soit un peu générique
jmtrivial added the
importation
bug
labels 2024-09-10 19:05:36 +02:00
Author
Owner

quand on les lance un par un, ils marchent. Peut-être un bug avec la mise en queue

quand on les lance un par un, ils marchent. Peut-être un bug avec la mise en queue
Author
Owner

une solution pourrait être de les mettre dans une chain, avec la commande link, et que la tâche prenne en entrée une liste d'url FB, qu'elle en consomme une et retourne la liste restante.
https://docs.celeryq.dev/en/stable/userguide/canvas.html#chains

une solution pourrait être de les mettre dans une chain, avec la commande link, et que la tâche prenne en entrée une liste d'url FB, qu'elle en consomme une et retourne la liste restante. https://docs.celeryq.dev/en/stable/userguide/canvas.html#chains
Author
Owner

ça semble marcher un peu mieux, mais peut-être que ça ne suffit pas (encore 2 erreurs, on verra)

ça semble marcher un peu mieux, mais peut-être que ça ne suffit pas (encore 2 erreurs, on verra)
Author
Owner

ça semble stable

ça semble stable
Sign in to join this conversation.
No description provided.