LogProxy

logProxy
Zweck / Funktion
manipulieren und ergänzen von Plotdaten
Allgemein
Typ	Hilfsmodul
Details
Dokumentation	EN / DE
Support (Forum)	Frontends
Modulname	98_logProxy.pm
Ersteller	Andre (Forum / Wiki)
Wichtig: sofern vorhanden, gilt im Zweifel immer die (englische) Beschreibung in der commandref!

Das Hilfsmodul logProxy bietet die Möglichkeit, die Daten, die in einem SVG-Plot dargestellt werden, auf die folgenden Arten zu ergänzen und zu manipulieren:

• horizontale und vertikale Linien an festen Positionen hinzufügen
• Linien an dynamischen und von anderen Plots anhängigen Positionen hinzufügen (über die SVG specials min, max, mindate, maxdate, avg, currdate und currval)
• plotten von dynamisch berechneten Kurven wie die Wochenprofile von Heating_Control und WeekdayTimer devices sowie HomeMatic und Max Thermostaten
• mischen von Plots aus unterschiedlichen Quellen (DbLog und/oder mehrere FileLog devices)
• horizontales Verschieben von plots zueinander um die Daten aus den average oder statistic Modulen auf den richtigen Tag, Woche oder Monat zu schieben
• Auffüllen am Anfang und Ende des Plots um den Plotabriss zu vermeiden ohne zusätzliche Daten zu loggen.
• Polar/'Spinnennetz'-Darstellung

Alle Funktionen die logProxy bereit stellt werden im .gplot file über #logProxy Zeilen konfiguriert. Zusätzlich muss natürlich genau wie für die #FileLog bzw. #DbLog Zeilen jeweils eine eigene Plot-Zeile vorhanden sein.

Der Plot-Editor wird (hoffentlich) so gut es geht unterstützt. Leider sind die Drop-Down Listen nicht dynamisch abhängig von einem anderen Feld konfigurierbar.

Das Modul ist seit dem 16.11.2014 eingecheckt und wir im regulären update verteilt.

Vorbereitung:

• Anlegen eines logProxy devices:

define lp logProxy

• Wenn Daten zu einem bestehenden Plot hinzugefügt werden sollen muss
  • das SVG device vom jeweiligen DbLog oder FileLog device auf das logProxy device umgestellt werden
  • im .gplot file die #FileLog bzw. #DbLog Zeilen in #logProxy geändert
  • und an den Anfang der column_spec zusätzlich FileLog:<logDevice>: bzw. DbLog:<logDevice>: eingefügt werden:

aus:

define SVG_PCA301 SVG FileLog_PCA301_076035:myGplotFile:CURRENT

wird dann:

define SVG_PCA301 SVG lp:myGplotFile:CURRENT

und aus:

#DbLog myDevice:myReading
#FileLog 4:PCA301_076035.power::
#FileLog 4:<SPEC1>.consumption::

wird:

#logProxy DbLog:myDb:myDevice:myReading
#logProxy FileLog:FileLog_PCA301_076035:4:PCA301_076035.power::
#logProxy FileLog:FileLog_<SPEC1>:4:<SPEC1>.consumption::

column-spec

in einer solchen #logProxy Zeile kann dann folgendes stehen:

• FileLog:<log device>[,<options>]:<(alte) FileLog column_spec>
  Plot mit Daten aus dem FileLog <log device>
• DbLog:<log device>,[<options>]:<(alte) DbLog column_spec>
  Plot mit Daten aus dem DbLog <log device>
• ConstX:<zeit>,<y>[,<y2>]
  Vertikale Linie zwischen <y> und <y2> am Zeitpunkt <zeit>
• ConstY:<y>[,<von>[,<bis>]]
  Horizontale Line bei <y>, optional nur zwischen <von> und <bis>
• Func:myFunc(...)
  über myFunc() dynamisch erzeugter Plot
• Polar:[polarOptions]:<values>
  Plottet das values-Array in einem 'Spinnennetz'-Diagramm. numerische Arrays werden als zu plottende Werte betrachtet und string Arrays als Achsenbeschriftung.

Für ConstX, ConstY und Func wird alles nach dem ersten : als Perl-Ausdruck mit eval ausgewertet. Es dürfen keine weiteren : in diesen Zeilen vorhanden sein. Für Polar wird alles nach dem zweiten : als Perl-Ausdruck mit eval ausgewertet.

ACHTUNG: In diesen Zeilen darf es nur direkt nach #logProxy ein Leerzeichen geben. Im Rest der Zeile nicht mehr.

Mögliche <options>

Ein oder mehrere der folgenden Optionen sind durch Komma getrennt möglich:

• predict[=<wert>]
  Verlängert den letzten Wert eines Plots bis zum Ende des Plots oder um <wert> Sekunden aber maximal bis zum aktuellen Zeitpunkt.
• offset=<wert>
  Verschiebt den Plot um <wert> Sekunden (oder um <wert> Monate wenn <wert> mit einem m endet)
• extend=<wert>
  Erweitert den aus dem log device abgefragten Bereich am Anfang und am Ende um <wert> Sekunden (oder um <wert> Monate wenn <wert> mit einem m endet)
  Damit kann ein Abriss des Plots am Anfang und Ende verhindert werden. Aktiviert automatisch auch clip.
• interpolate
  Aktiviert die Interpolation zwischen dem ersten/letzen Wert innerhalb des Plots und dem zugehörigen Wert im extend Bereich um die Werte für den Rand des Plots zu bestimmen. Sinnvoll für Plot-Type lines.
• clip
  Beschneidet die Plotdaten auf den zum Plotten ausgewählten Bereich. Nur in Verbindung mit offset=<wert> und/oder extend=<wert> sinnvoll.
• postFn='<myPostFn>'
  optionale postprocessing Funktion.

Die optionale postprocessing Funkion

Nachdem für eine Kurve alle Verarbeitungsschritte erfolgt sind wird myPostFn($devspec,$data) aufgerufen. Hierbei ist $devspec die zugehörige Zeile aus dem gplot-File und $data ein Array das alle Datenpunkte dieser Kurve enthält. Jeder Datenpunkt ist ein Trippel aus Zeitpunkt in Sekunden, Wert an diesem Punkt und Zeitpunkt als String. Die postFn muss ein Array in gleichem Format zurück liefern wobei die dritte Komponente jedes Punktes optional ist und nicht weiter ausgewertet wird.

Mögliche <polarOptions>

Ein oder mehrere der folgenden Optionen sind durch Komma getrennt möglich:

• axis
  Axen zeichnen
• noaxis
  Axen unterdrücken
• range=<wert>
  TODO
• segments=<wert>
  Die Anzahl der Segmente die der plot haben soll

Axen werden automatisch aktiviert wenn das values-Array Text enthält oder die Anzahl der segmente angegeben ist und keine values

Eigene Funktionen

Im Aufruf eigener Funktionen die Daten zum Plotten liefern kann auf $from und $to (jeweils ein String mit dem Start- bzw. End-Zeitpunkt) zugegriffen werden. Die Funktion selber muss vier Werte zurück liefern:

• Die eigentlichen Punkte des Plots als String mit durch \n getrennten Elemente der Form

yyyy-mm-dd_hh:mm:ss <wert>

• die min, max und currval werte (optional)

Ein Beispiel für eine solche Funktion ist logProxy_WeekProfile2Plot mit dem das Temperaturprofil von Heating_Control und WeekdayTimer devices sowie von HomeMatic und MAX Thermostaten geplottet werden kann.

Wenn der erste Paramter der Name eines passenden devices ist wird mit logProxy_Heating_Controll2WeekProfile, logProxy_HM2WeekProfile bzw. logProxy_MAX2WeekProfile aus den intern Daten bzw. readings ein Wochenprofil erzeugt und dieses dann geplottet. Alternativ kann statt eines device namens auch direkt das aufbereitetes Wochenprofil als hash der form {$wday}{$time}{$value} (bei dem ein $wday von 0 Sonntag entspricht) übergeben werden.

logProxy_WeekProfile2Plot hat noch einen vierten, optionalen, Paramter. Hier kann eine Regex angegeben werden um aus dem Heating_Controll oder WeekdayTimer Schaltwert den zu plottenden Wert zu extrahieren z.B. so:

logProxy_WeekProfile2Plot("myHeatingControl",$from,$to,"(\\d*)\$")

Hilfen zum Manipulieren von Zeitpunkten

• SVG_time_to_sec($time)
  Wandelt den String $time im format yyyy-mm-dd_hh:mm:ss in Sekunden um.
• logProxy_shiftTime($time,$offset)
  Verschiebt den Zeitpunkt $time (als String) um $offset Sekunden (oder um $offset Monate wenn $offset mit einem m endet).
• logProxy_Range2Zoom($seconds)

Direkt verwendbare Beispielfunktionen

• logProxy_WeekProfile2Plot($device, $from, $to [,$regex])
• logProxy_Func2Plot($from, $to, $func [,$step])

Beispiele

X-Achse bei y=0 einblenden

Für Plots mit negativen Temperaturen oder Energieerzeugung/-verbrauchs Plots:

 #logProxy DbLog:dbLog:s300ht:temperature::
 #logProxy ConstY:0

 plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l1 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 ls l5 lw 1 with lines,\

Horizontale Linie an einer dynamisch berechneten Position einblenden

 #logProxy ConstY:myFunc(123)

Horizontale Line auf y-position des Durchschnittswertes eines anderen Plots einblenden

 #logProxy DbLog:dbLog:s300ht:temperature::
 #logProxy ConstY:$data{avg1}

 plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l1 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 title 'avg' ls l3 lw 1 with lines,\

Min- und Max- Position eines Plots hervorheben

#logProxy DbLog:dbLog:s300ht_1:temperature::
#logProxy ConstY:$data{avg1}
#logProxy ConstX:$data{mindate1},$data{min1}
#logProxy ConstX:$data{maxdate1},$data{max1}
#logProxy ConstX:$data{mindate1},$data{min1},$data{avg1} 
#logProxy ConstX:$data{maxdate1},$data{max1},$data{avg1} 
 
plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l2 lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'avg' ls l5 lw 1 with lines,\
     "<IN>" using 1:2 axes x1y1 ls l0 lw 1 with points,\
     "<IN>" using 1:2 axes x1y1 ls l0 lw 1 with points,\
     "<IN>" using 1:2 axes x1y1 ls l0 lw 1 with lines,\
     "<IN>" using 1:2 axes x1y1 ls l0 lw 1 with lines,\

Punkt ans Ende des geplottenden Bereiches eines anderen Plots setzen

 #logProxy DbLog:dbLog:s300ht:temperature::
 #logProxy ConstX:logProxy_shiftTime($data{currdate1},0),$data{currval1}+0.00001

 plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l1 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 ls l0 lw 1 with points,\

Vertikale Line zwischen Min- und Max Wert eines anderen Plots 60 Minuten nach Plotanfang zeichnen

 #logProxy DbLog:dbLog:s300ht:temperature::
 #logProxy ConstX:logProxy_shiftTime($from,60*60),$data{min1},$data{max1}
 #logProxy ConstX:logProxy_shiftTime($from,60*60),$data{min1},$data{max1}

 plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l1 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 title 'minmax' ls l0 lw 1 with lines,\
      "<IN>" using 1:2 axes x1y1 ls l0 lw 1 with points,\

Plotten von dynamisch erzeugten Werten aus einer eigenen Funktion

 #logProxy Func:myFunc($from,$to)

 plot "<IN>" using 1:2 axes x1y1 title 'avg' ls l1 lw 1 with lines,\

Plotten eines Weekday_Timer Wochenprofils

 #logProxy Func:logProxy_WeekProfile2Plot("myHeatingTimer",$from,$to)

 plot "<IN>" using 1:2 axes x1y1 title 'profile' ls l2 lw 1 with steps,\

Verschieben der avg_day Werte aus dem average Modul um -24 Stunden um sie auf den richtigen Tag zu bekommen

 #logProxy DbLog:dbLog:s300ht_1:temperature::
 #logProxy DbLog:dbLog:s300ht_1:temperature_avg_day::
 #logProxy DbLog:dbLog,offset=-60*60*24:s300ht_1:temperature_avg_day::
 #logProxy ConstY:$data{avg1}

 plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l2 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 title 'avg_day' ls l4 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 title 'avg_day_shifted' ls l0 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 title 'avg' ls l5 lw 1 with lines,\

Der Effekt ist auf dem Screenshot am besten 21. März zu sehen. Ohne die Verschiebung wäre der Wert für den 21. erst am 22. zu sehen (dunkel rot), mit Verschiebung ist er korrekt am 21. zu sehen (hell rot).

Mischen von Daten aus mehreren Quellen

Hier zwei FileLogs mit je zwei readings über plotfunction konfiguriert, ein reading aus einem DbLog und ein dynamisch erzeugtes Wochenprofil direkt aus einem HM Thermostaten:

 #logProxy FileLog:FileLog_<SPEC1>:4:<SPEC1>.consumption::
 #logProxy FileLog:FileLog_<SPEC1>:4:<SPEC1>.power::
 #logProxy FileLog:FileLog_<SPEC2>:4:<SPEC2>.consumption::
 #logProxy FileLog:FileLog_<SPEC2>:4:<SPEC2>.power::
 #logProxy DbLog:dbLog:s300ht:temperature::
 #logProxy Func:logProxy_WeekProfile2Plot("myTcClimate",$from,$to)

Darstellung des aktuell aufgelaufenen Wertes zusätzlich zu historischen Monats oder Wochen Daten aus einem Log

Die zugrunde liegende Idee hierbei ist zusätzlich zu den geloggten historischen Werten den bis jetzt für den aktuellen Zeitraum aufgelaufenen Wert, der noch nicht geloggt ist, direkt aus dem entsprechenden Reading zu holen und ebenfalls zu plotten.

Hierzu wird in einer sub ähnlich der folgenden geprüft ob der Timestamp des entsprechen Readings innerhalb des gerade dargestellten Bereiches liegt und dieses dann zum Plotten zurückgegeben:

sub
current2Plot($$$$)
{
  my($from,$to,$device,$reading) = @_;
  my $fromsec = SVG_time_to_sec($from);
  my $tosec   = SVG_time_to_sec($to);

  my $ret = "";

  my $rt = ReadingsTimestamp( $device, $reading, undef );
  return $ret if( !$rt );

  my $sec = time_str2num($rt);
  return $ret if ( $sec < $fromsec || $sec > $tosec );

  my $val = ReadingsVal( $device, $reading, undef );

  my @t = localtime($sec);
  my $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $t[5]+1900, $t[4]+1, $t[3], $t[2], $t[1], $t[0]);

  $ret .= "$timestamp $val\n";
  $ret .= "#plotCurrent: $device:$reading\n";

  return $ret;
}

je nach Zoomfaktor und Intervall der Darstellung muss das ganze eventuell angepasst werden in dem nur mit Tages-Genauigkeit verglichen und angezeigt wird.

zusätzlich zur #logProxy zeile die die historischen daten plottet wird jetzt noch eine Zeile für den aktuellen Wert und die zugehörige Plot-Anweisung ins gplot File eingebaut:

#logProxy Func:current2Plot($from,$to,"meinDevice","meinReading")
plot "<IN>" using 1:2 axes x1y2 title 'Aktuell' ls l0fill lw 0.5 with bars

Erweitern des zu plottenden Bereichs um ausserhalb liegende Anfangs- und End- Werte

#logProxy DbLog:dbLog:s300ht_1:temperature::              
#logProxy DbLog:dbLog:s300ht_1:temperature_avg_day::   
#logProxy DbLog:dbLog,offset=-60*60*24,extend=60*60*24:s300ht_1:temperature_avg_day::
#logProxy ConstY:$data{avg1}                              
                                                          
plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l2 lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'avg_day' ls l4 lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'avg_day_shifted' ls l0 lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'avg' ls l5 lw 1 with lines,\

vorher:

nachher:

Auf dem untern Bild ist vor allem links noch zu sehen das die mit extend erweiterte Kurve aus dem Plotbereich hinausläuft. Das ist in der aktuellen Version behoben.

Sonnenauf- und -untergangszeiten plotten

logProxy_Func2Plot() ist eine Funktion die eine beliebige übergebene Funktion jeweils für unterschiedliche Zeitpunkte auswertet um die zu plottenden Daten zu bestimmen. Das 'Zeitraster' in dem die Werte bestimmt werden ist konfigurierbar und dynamisch von der aktuellen Zoomstufe abhängig. Der default für Jahres- und Monatsplots sind tägliche, für Wochen- und Tagesplots stündliche, usw. aufrufe.

Anbei ein Beispiel das auf dieser Basis die Idee zum Plotten von Sonnenauf- und -untergangzeiten die im Forum vorgestellt wurde durch 'live' berechnete (statt täglich geloggte) Daten umsetzt.

 #logProxy Func:logProxy_Func2Plot($from,$to,'{logProxy_hms2dec(sunrise_abs_dat($sec))}')
 #logProxy Func:logProxy_Func2Plot($from,$to,'{logProxy_hms2dec(sunset_abs_dat($sec))}')
                                                             
 plot "<IN>" using 1:2 axes x1y1 title 'Sonnenaufgang' ls l2 lw 1 with steps,\
 plot "<IN>" using 1:2 axes x1y2 title 'Somnnenuntergang' ls l0 lw 1 with steps,

Plotten in Polar-Koardinaten, Spinnennetz Darstellung

Das Plot-Fenster quadratisch machen:

attr <mySVG> plotsize 340,400

Die automatische Achsenbschriftung ausschalten, das Kooardinatensystem auf X/Y-Achsen schalten, und die zu plottenden Daten jeweils in einem Perl Array bereitstellen. In diesem Beispiel die temperature und desiredTemperature Werte alles MAX-Devices.

set xtics ()
set ytics ()
set y2tics ()

set xrange [-40:40]
set yrange [-40:40]

#logProxy Polar::{[map{ReadingsVal($_,"temperature",0)}devspec2array("MAX.*")]}
#logProxy Polar::{[map{ReadingsVal($_,"desiredTemperature",0)}devspec2array("MAX.*")]}
#logProxy Polar::{[map{ReadingsVal($_,"temperature",0)}devspec2array("MAX.*")]}
#logProxy Polar::{[devspec2array("MAX.*")]}

plot "<IN>" using 1:2 axes x1y1 title 'Ist' ls l0 lw 1 with lines,\
plot "<IN>" using 1:2 axes x1y1 title 'Soll' ls l1fill lw 1 with lines,\
plot "<IN>" using 1:2 axes x1y1 notitle ls l0 lw 1 with points,\
plot "<IN>" using 1:2 axes x1y1 notitle  ls l2 lw 1 with lines,\

Um statt den Device-Namen den Device-Alias zu verwenden kann die vierte logProxy zeile durch die folgende ersetzt werden

 #logProxy Polar::{[map{AttrVal($_,"alias",$_)}devspec2array("MAX.*")]}

Um den Plot für HomeMatic Thermostate zu verwenden sind die Reading-Namen tempererature und desiredTemperature jeweils durch measured-temp und desired-temp zu ersetzen und der reguläre ausdruck zum finden der devices entsprechend anzupassen. Je nach installation zum Beispiel auf .*Climate.

Für ein paar Devices und für ein paar mehr: