Quick App - DomoCharts - Graphiques sur NAS pour HC3

[fredokl]

Oui, j'ai mis le graph de température pour exemple afin de montrer que les données s'arrêtent au 10 novembre et sur toutes les tables.

Bon, je pense que je suis bon pour tout réinstaller?

Avec les pertes de toutes les données?

 

[Lazer]

Pourquoi tout réinstaller ?

Cela ne me semble pas nécessaire, si DomoCharts est correctement reparti après avoir résolu les problèmes de bases de données.

 

Au moins il faut conserver les tables historiques _day et _month qui n'ont aucune raison d'être supprimées.

[fredokl]

Ok, merci.

J'ai corrigé les erreurs et je vais laisser tourner quelques jours et voir l'évolution.

[fredokl]

Bon, voici ce que j'ai comme erreur maintenant:

[16.11.2023] [00:00:25] [ERROR] [QA_DOMOCHARTS_317]: DomoCharts:postAPI() Error #08S01 => SQLSTATE[08S01]: Communication link failure: 1153 Got a packet bigger than 'max_allowed_packet' bytes
[16.11.2023] [00:00:25] [ERROR] [QA_DOMOCHARTS_317]: http://192.168.1.11:80/domocharts/data.php => Error #08S01 => SQLSTATE[08S01]: Communication link failure: 1153 Got a packet bigger than 'max_allowed_packet' bytes

EDIT:

J'ai réussi à résoudre cette erreur avec ce code:

SET GLOBAL max_allowed_packet = 256 * 1024 * 1024;

Voici le lien ou je l'ai trouvé: https://bigboxcode.com/mysql-error-1153-got-a-packet-bigger-than-max_allowed_packet-bytes

 

Mais maintenant, j'ai une nouvelle erreur par rapport à l'heure:

[16.11.2023] [00:42:11] [ERROR] [QA_DOMOCHARTS_317]: DomoCharts:postAPI() Error #22007 => SQLSTATE[22007]: Invalid datetime format: 1366 Incorrect string value: '\xF0\x9F\x91\xA9\xE2\x80...' for column `domotique`.`domocharts_device`.`name` at row 1
[16.11.2023] [00:42:11] [ERROR] [QA_DOMOCHARTS_317]: http://192.168.1.11:80/domocharts/device.php => Error #22007 => SQLSTATE[22007]: Invalid datetime format: 1366 Incorrect string value: '\xF0\x9F\x91\xA9\xE2\x80...' for column `domotique`.`domocharts_device`.`name` at row 1

 

Modifié le 15 novembre 2023 par fredokl

[Lazer]

C'est quand même bizarre toutes ces erreurs que tu as sur ta base SQL.... elle est installée sur quoi ?

 

Concernant ta dernière erreur, après une rapide recherche ça serait lié au jeu de caractère utilisé par ta base de données, tu les les histoires UTF8 et compagnie... là ça me dépasse un peu.

Question simple : tu n'aurais pas un caractère spécial dans le nom d'un device ?

[TitiXsi]

il y a une heure, Lazer a dit :

C'est quand même bizarre toutes ces erreurs que tu as sur ta base SQL.... elle est installée sur quoi ?

 

Concernant ta dernière erreur, après une rapide recherche ça serait lié au jeu de caractère utilisé par ta base de données, tu les les histoires UTF8 et compagnie... là ça me dépasse un peu.

Question simple : tu n'aurais pas un caractère spécial dans le nom d'un device ?

Niveau compatibilité, ISO, UTF8 .. , si je peux aider, c'est mon dada

 

[TitiXsi]

Hello, quelle est la consommation de data par DomoCharts ?
En gros quelle taille de disque il faut accorder ?

Modifié le 16 novembre 2023 par TitiXsi

[Lazer]

ça pourrait se calculer précisément, mais pour te donner un ordre d'idée, j'ai 10 ans d'historique dans mon DomoCharts, et ça tient sur un disque de 5 Go dont seulement 1.3 Go est utilisé, sachant que ça comporte aussi d'autres bases de données...

Bref, c'est pas bien gros.

[TitiXsi]

il y a une heure, Lazer a dit :

ça pourrait se calculer précisément, mais pour te donner un ordre d'idée, j'ai 10 ans d'historique dans mon DomoCharts, et ça tient sur un disque de 5 Go dont seulement 1.3 Go est utilisé, sachant que ça comporte aussi d'autres bases de données...

Bref, c'est pas bien gros.

Vu la quantité potentielle de datas remontées, je m'attendais à plus
Impeccable !

Merci
Je vais essayer de monter tout ca sur Freebox Delta et faire un tuto si je peux.

[Bloug]

Encore merci @Lazer pour ton retour.

 

Tout est rentré dans l'ordre sans rien toucher. 

 

En fait, ma base de donné a plantée. Pour je ne sais quelle raison mon MariaDb sur mon qnap me demande régulièrement de changer les Pass .... et quand je la zappe elle s'arrête...

Je pense que Domocharts mémorise pas mal de choses meme quand la base de donnée est Hs (?) puis le jour ou la base de donnée se reconnecte il y a eu trop de "paquets" envoyé ?? d'où ma cmd  SET GLOBAL max_allowed_packet=1073741824;

 

Quand au reste "surement" une surcharge de taff au redémarrage .... bref tout est Ok 

 

Peut être est il possible lors d'une éventuelle MAJ ou une ligne de code à ajouter pour recevoir des notifications si il y a un pb de connexion avec la BDD ?

 

[henri-allauch]

Est t'il possible (oui)  mais réaliste d'utiliser une réplication de la base sur un autre serveur ? 

Domochart met à jour le serveur primaire et les données sont simultanément mises à jour sur un serveur secondaire par le serveur maître ? 

But :

1 sécuriser les données plus efficacement et en complément d'une sauvegarde journaliere

2 préparer un second serveur http et autre en le testant progressivement avant l'arrêt définitif du premier 

 

 

[Lazer]

Il y a 12 heures, Bloug a dit :

Je pense que Domocharts mémorise pas mal de choses meme quand la base de donnée est Hs (?) puis le jour ou la base de donnée se reconnecte il y a eu trop de "paquets" envoyé ??

Oui, voir la variable Memory du QuickApp. Perso chez moi je suis à 5000, car à 10000 ça posait problème avec MariaDB (mais pas la même erreur que toi)

 

Il y a 12 heures, Bloug a dit :

Peut être est il possible lors d'une éventuelle MAJ ou une ligne de code à ajouter pour recevoir des notifications si il y a un pb de connexion avec la BDD ?

Oui, c'est prévu... ça viendra

 

il y a une heure, henri-allauch a dit :

Est t'il possible (oui)  mais réaliste d'utiliser une réplication de la base sur un autre serveur ? 

Oui, avec les fonctionnalités natives de MySQL / MariaDB

 

Article au hasard qui décrit la mise en oeuvre : http://msutic.blogspot.com/2015/02/mariadbmysql-master-master-replication.html

 

Mais attention, sur NAS Syno / QNAP c'est pas évident, car on n'a pas accès direct à la config du serveur SQL, il faut bidouiller un peu, et je ne sais pas trop ce qui se passe en cas de mise à jour.
Dans ce cas, le mieux serait un serveur SQL sur une VM Linux native, indépendante.... ce que je ferai peut être un jour. Parmi la longue liste des choses à faire...

[fredokl]

Oui, je suis d'accord pour ces erreurs. Je pense que cela est dû à une mise à jour de mon Synology car je n'ai rien "bricolé" dans la BD.

Depuis mon dernier post, Domocharts fonctionne parfaitement. Les données sont bien présentes et en continues.

Sinon, j'ai des accents sur certains noms de mes devices mais c'est tout.

[TitiXsi]

Bonjour à tous,

Je m'adresse aux processeurs de Synology, n'y connaissant rien...

Pensez vous qu'un ds115j soit suffisant pour domocharts ( et de la sauvegarde maison)? (Il aura un SSD Samsung tout neuf)

Merci.

Modifié le 19 novembre 2023 par TitiXsi

[jojo]

Bonjour,

Jr viens enfin de réactiver Domocharts, mais je n'ai pas le courage de lire lles 12 pages de support => désolé pour la redite.

Voici me log du QA. Que dois-je faire ?

1.2023] [17:41:00] [TRACE] [QA_DOMOCHARTS_166]: Found 10145 previously stored datas
[21.11.2023] [17:41:00] [ERROR] [QA_DOMOCHARTS_166]: Too much data already in cache
[21.11.2023] [17:41:02] [ERROR] [QA_DOMOCHARTS_166]: http://192.168.xxx.xxx/domocharts/data.php => Error #08S01 => SQLSTATE[08S01]: Communication link failure: 1153 Got a packet bigger than 'max_allowed_packet' bytes
[21.11.2023] [17:41:02] [WARNING] [QA_DOMOCHARTS_166]: Memorize 10145 sensors data
[21.11.2023] [17:42:00] [TRACE] [QA_DOMOCHARTS_166]: Found 10145 previously stored datas
[21.11.2023] [17:42:00] [ERROR] [QA_DOMOCHARTS_166]: Too much data already in cache
[21.11.2023] [17:42:02] [ERROR] [QA_DOMOCHARTS_166]: http://192.168.xxx.xxx/domocharts/data.php => Error #08S01 => SQLSTATE[08S01]: Communication link failure: 1153 Got a packet bigger than 'max_allowed_packet' bytes
[21.11.2023] [17:42:02] [WARNING] [QA_DOMOCHARTS_166]: Memorize 10145 sensors data
[21.11.2023] [17:43:00] [DEBUG] [QA_DOMOCHARTS_166]: Total memory in use by Lua : 5758.83 KB, CPU consumed : 9454.23 ms ( 0.788 % )

Merci aux experts

[Lazer]

Il semble que la réponse à ton problème se situe sur cette même page, voir le message de fredokl qui a le meme souci.

[jojo]

Merci, en effet je n'ai pas du remonter fort loin.

J'ai donc appliqué la solution de @fredokl.

J'ai ensuite au l'erreur comme exactement décrite par @Bloug

Je n'ai donc pas commencé à chipoter, et ait détruit la DB domotique.

Après avoir relancé (sans erreur) le script /domocharts/install.php, j'ai toujours la même erreur  sur la dable energy

[21.11.2023] [22:11:02] [ERROR] [QA_DOMOCHARTS_166]: http://192.168.xxx.xxx/domocharts/data.php => Error #HY000 => SQLSTATE[HY000]: General error: 23 Out of resources when opening file './domotique/domocharts_energy.MYD' (Errcode: 24 "Too many open files")

@Bloug & @fredokl, avez-vous toujours votre erreur

[jojo]

je lis ceci dans le log

Too much data already in cache

ne pourrait ce pas être la cause de l'erreur ?

Comment vider ce cache ?

[Lazer]

Justement on en parle aussi sur la page

 

Baisser la valeur de la variable Memory du QA.

[jojo]

vue de m...

Je viens de diminuer la mémoire à 1000.

La variable max allowed packet = 268435456 (=256*1024*1024)

et j'ai toujours la même erreur : ce qui est en cache, le reste peut-être ? dois-je redémarer ma HC3pour vider le cache de DomoCharts ? (mais te connaissant, tu as du faire un truc pour que ça reste ...)

[22.11.2023] [15:47:00] [TRACE] [QA_DOMOCHARTS_166]: Found 10145 previously stored datas
[22.11.2023] [15:47:00] [ERROR] [QA_DOMOCHARTS_166]: Too much data already in cache
[22.11.2023] [15:47:02] [ERROR] [QA_DOMOCHARTS_166]: http://192.168.xxx.xxx125/domocharts/data.php => Error #HY000 => SQLSTATE[HY000]: General error: 23 Out of resources when opening file './domotique/domocharts_energy.MYD' (Errcode: 24 "Too many open files")
[22.11.2023] [15:47:02] [WARNING] [QA_DOMOCHARTS_166]: Memorize 10145 sensors data

 

[Lazer]

Le cache est vidé à chaque redémarrage du QA, donc si tu as modifié la variable, tu dois voir dans le log que le QA a redémarré et est reparti avec un cache vide.

 

Si maintenant ton SQL n'est pas capable d'absorber les données dès la première connexion, ce n'est pas du coté de la HC3 qu'il faut chercher, mais du coté du serveur SQL.

Mais que s'est il donc passé sur vos serveurs SQL pour être au moins 3 personnes à avoir des problèmes similaires en même temps ?
Une mise à jour que vous avez tous effectué et qui a tout foiré en même temps ?
Étrange tout de même...

[fredokl]

@Lazer Oui c'est vrai, on est plusieurs à avoir eu le même problème.

J'ai un Synology DS416Play en DSM 7.1.1-42962 Update 6 qui est la dernière version en 7.1.

Je ne suis pas passé en DSM 7.2 car il y a une incompatibilité avec mon NAS pour Virtual Machine.

@jojoSinon pour moi, depuis la résolution de la première erreur de Domocharts, tout fonctionne "presque" bien.

J'ai bien les remontés des différents modules mais le "presque" correspond à l'erreur: Invalid datetime format, que je n'ai pas encore résolu.

 

[jojo]

Le 16/11/2023 à 00:38, fredokl a dit :

Voici le lien ou je l'ai trouvé: https://bigboxcode.com/mysql-error-1153-got-a-packet-bigger-than-max_allowed_packet-bytes

 

Nous avons mis en place une solution temporaire, ce qui veux dire qu'à chaque redémarrage du Syno (et donc de la DB), il faudra refaire la manip. Où se trouve le fichier de config dont ils parlent ?

 

il y a 39 minutes, Lazer a dit :

donc si tu as modifié la variable, tu dois voir dans le log que le QA a redémarré et est reparti avec un cache vide.

Je savais qu'un QA redémarrait à chaque changement d'une variable. J'ai donc forcé son redémarrage, et il n'y a plus que du vert dans les logs 
 

Comme tu parlais + haut (oui, parfois je lis ...) d'un prochaine version du QA, pourrais tu y inclure l'envoie d'un mail si log erreur, car je ne regarde pas tout le temps les logs ...

il y a 49 minutes, Lazer a dit :

Si maintenant ton SQL n'est pas capable d'absorber les données dès la première connexion, ce n'est pas du coté de la HC3 qu'il faut chercher, mais du coté du serveur SQL.

mon SQL est le grand standard (MariaDB 10) sur Synology, comme dans ton tuto.

 

Je suis  en DSM 7.1.1-42962 Update 4

 

=========================================

en tout cas, merci pour votre aide, et SURTOUT votre patience 

==========================================

 

 

[fredokl]

@jojo Je viens de faire un redémarrage de mon serveur pour essayer, tout est reparti sans problème.

Il semble que la solution temporaire semble fonctionner après un redémarrage du Synology.

A surveiller de près.

[jojo]

j'allais poster quand ton message est arrivé.

J'ai donc redémarré mon serveur, et la variables est revenue à sa valeur par défaut (normal, c'est ce qui était expliqué dans ton lien), MAIS le log de mon QA est toujours vert 

Je crois donc que notre problème (comme expliqué par @Lazer),provenait du fait que la variable Memory du QA était trop élevée.