LogProxy

logProxy
Zweck / Funktion
manipulieren und ergänzen von Plotdaten
Allgemein
Typ	Hilfsmodul
Details
Dokumentation	EN / DE
Support (Forum)	Frontends
Modulname	98_logProxy.pm
Ersteller	Andre (Forum / Wiki)
Wichtig: sofern vorhanden, gilt im Zweifel immer die (englische) Beschreibung in der commandref!

Das Hilfsmodul logProxy bietet die Möglichkeit, die Daten, die in einem SVG-Plot dargestellt werden, auf die folgenden Arten zu ergänzen und zu manipulieren:

• horizontale und vertikale Linien an festen Positionen hinzufügen
• Linien an dynamischen und von anderen Plots abhängigen Positionen hinzufügen (über die SVG specials min, max, mindate, maxdate, avg, currdate und currval)
• plotten von dynamisch berechneten Kurven wie die Wochenprofile von Heating Control und WeekdayTimer Devices sowie HomeMatic und Max Thermostaten
• mischen von Plots aus unterschiedlichen Quellen (DbLog und/oder mehrere FileLog Devices)
• horizontales Verschieben von Plots zueinander, um die Daten aus den Average oder Statistic Modulen auf den richtigen Tag, Woche oder Monat zu schieben
• Auffüllen am Anfang und Ende des Plots, um den Plotabriss zu vermeiden ohne zusätzliche Daten zu loggen.
• Polar-/'Spinnennetz'-Darstellung

Alle Funktionen, die logProxy bereitstellt, werden im .gplot file über #logProxy Zeilen konfiguriert. Zusätzlich muss natürlich genau wie für die #FileLog bzw. #DbLog Zeilen jeweils eine eigene Plot-Zeile vorhanden sein.

Der Plot-Editor wird (hoffentlich) so gut es geht unterstützt. Leider sind die Dropdown Listen nicht dynamisch abhängig von einem anderen Feld konfigurierbar.

Das Modul ist seit dem 16.11.2014 eingecheckt und wir im regulären Update verteilt.

Vorbereitung

• Anlegen eines logProxy devices:

define lp logProxy

• Wenn Daten zu einem bestehenden Plot hinzugefügt werden sollen muss
  • das SVG device vom jeweiligen DbLog oder FileLog device auf das logProxy device umgestellt werden
  • im .gplot file die #FileLog bzw. #DbLog Zeilen in #logProxy geändert
  • und an den Anfang der column_spec zusätzlich FileLog:<logDevice>: bzw. DbLog:<logDevice>: eingefügt werden:

aus:

define SVG_PCA301 SVG FileLog_PCA301_076035:myGplotFile:CURRENT

wird dann:

define SVG_PCA301 SVG lp:myGplotFile:CURRENT

und aus:

#DbLog myDevice:myReading
#FileLog 4:PCA301_076035.power::
#FileLog 4:<SPEC1>.consumption::

wird:

#logProxy DbLog:myDb:myDevice:myReading
#logProxy FileLog:FileLog_PCA301_076035:4:PCA301_076035.power::
#logProxy FileLog:FileLog_<SPEC1>:4:<SPEC1>.consumption::

column-spec

In einer solchen #logProxy Zeile kann dann Folgendes stehen:

• FileLog:<log device>[,<options>]:<(alte) FileLog column_spec>
  Plot mit Daten aus dem FileLog <log device>
• DbLog:<log device>,[<options>]:<(alte) DbLog column_spec>
  Plot mit Daten aus dem DbLog <log device>
• ConstX:<zeit>,<y>[,<y2>]
  Vertikale Linie zwischen <y> und <y2> am Zeitpunkt <zeit>
• ConstY:<y>[,<von>[,<bis>]]
  Horizontale Line bei <y>, optional nur zwischen <von> und <bis>
• Func:myFunc(...)
  über myFunc() dynamisch erzeugter Plot
• Polar:[polarOptions]:<values>
  Plottet das values-Array in einem 'Spinnennetz'-Diagramm. numerische Arrays werden als zu plottende Werte betrachtet und String Arrays als Achsenbeschriftung.

Für ConstX, ConstY und Func wird alles nach dem ersten : als Perl-Ausdruck mit eval ausgewertet. Es dürfen keine weiteren : in diesen Zeilen vorhanden sein. Für Polar wird alles nach dem zweiten : als Perl-Ausdruck mit eval ausgewertet.

ACHTUNG: In diesen Zeilen darf es nur direkt nach #logProxy ein Leerzeichen geben. Im Rest der Zeile nicht mehr.

Mögliche <options>

Eine oder mehrere der folgenden Optionen sind durch Komma getrennt möglich:

• predict[=<wert>]
  Verlängert den letzten Wert eines Plots bis zum Ende des Plots oder um <wert> Sekunden aber maximal bis zum aktuellen Zeitpunkt.
• offset=<wert>
  Verschiebt den Plot um <wert> Sekunden (oder um <wert> Monate wenn <wert> mit einem m endet)
• extend=<wert>
  Erweitert den aus dem log device abgefragten Bereich am Anfang und am Ende um <wert> Sekunden (oder um <wert> Monate wenn <wert> mit einem m endet)
  Damit kann ein Abriss des Plots am Anfang und Ende verhindert werden. Aktiviert automatisch auch clip.
• interpolate
  Aktiviert die Interpolation zwischen dem ersten/letzen Wert innerhalb des Plots und dem zugehörigen Wert im extend Bereich um die Werte für den Rand des Plots zu bestimmen. Sinnvoll für Plot-Type lines.
• clip
  Beschneidet die Plotdaten auf den zum Plotten ausgewählten Bereich. Nur in Verbindung mit offset=<wert> und/oder extend=<wert> sinnvoll.
• postFn='<myPostFn>'
  optionale postprocessing Funktion.

Die optionale Postprocessing Funktion

Nachdem für eine Kurve alle Verarbeitungsschritte erfolgt sind wird myPostFn($devspec,$data) aufgerufen. Hierbei ist $devspec die zugehörige Zeile aus dem gplot-File und $data ein Array, das alle Datenpunkte dieser Kurve enthält. Jeder Datenpunkt ist ein Triplet aus Zeitpunkt in Sekunden, Wert an diesem Punkt und Zeitpunkt als String. Die postFn muss ein Array in gleichem Format zurückliefern, wobei die dritte Komponente jedes Punktes optional ist und nicht weiter ausgewertet wird. Das zurückgegebene Array muss nicht die gleiche Anzahl an Punkten enthalten wie das ursprüngliche.

Mögliche <polarOptions>

Eine oder mehrere der folgenden Optionen sind durch Komma getrennt möglich:

• axis
  Axen zeichnen
• noaxis
  Axen unterdrücken
• range=<wert>
  TODO
• segments=<wert>
  Die Anzahl der Segmente die der plot haben soll

Achsen werden automatisch aktiviert, wenn das values-Array Text enthält oder die Anzahl der segmente angegeben ist und keine values.

Eigene Funktionen

Im Aufruf eigener Funktionen, die Daten zum Plotten liefern, kann auf $from und $to (jeweils ein String mit dem Start- bzw. End-Zeitpunkt) zugegriffen werden. Die Funktion selber muss vier Werte zurückliefern:

• Die eigentlichen Punkte des Plots als String mit durch \n getrennten Elemente der Form

yyyy-mm-dd_hh:mm:ss <wert>

• die min, max und currval werte (optional)

Ein Beispiel für eine solche Funktion ist logProxy_WeekProfile2Plot, mit dem das Temperaturprofil von Heating_Control und WeekdayTimer devices sowie von HomeMatic und MAX Thermostaten geplottet werden kann.

Wenn der erste Paramter der Name eines passenden Devices ist, wird mit logProxy_Heating_Controll2WeekProfile, logProxy_HM2WeekProfile bzw. logProxy_MAX2WeekProfile aus den internen Daten bzw. Readings ein Wochenprofil erzeugt und dieses dann geplottet. Alternativ kann statt eines Devicenamen auch direkt das aufbereitete Wochenprofil als Hash der Form {$wday}{$time}{$value} (bei dem ein $wday von 0 Sonntag entspricht) übergeben werden.

logProxy_WeekProfile2Plot hat noch einen vierten, optionalen, Paramter. Hier kann ein regulärer Ausdruck (Regex) angegeben werden, um aus dem Heating_Control oder WeekdayTimer Schaltwert den zu plottenden Wert zu extrahieren, z.B. so:

logProxy_WeekProfile2Plot("myHeatingControl",$from,$to,"(\\d*)\$")

Hilfen zum Manipulieren von Zeitpunkten

• SVG_time_to_sec($time)
  Wandelt den String $time im format yyyy-mm-dd_hh:mm:ss in Sekunden um.
• logProxy_shiftTime($time,$offset)
  Verschiebt den Zeitpunkt $time (als String) um $offset Sekunden (oder um $offset Monate wenn $offset mit einem m endet).
• logProxy_Range2Zoom($seconds)

Direkt verwendbare Beispielfunktionen

• logProxy_WeekProfile2Plot($device, $from, $to [,$regex])
• logProxy_Func2Plot($from, $to, $func [,$step])
• logProxy_xy2Plot(\@xyPoints)

Beispiele

X-Achse bei y=0 einblenden

Für Plots mit negativen Temperaturen oder Energieerzeugung/-verbrauchs Plots:

 #logProxy DbLog:dbLog:s300ht:temperature::
 #logProxy ConstY:0

 plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l1 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 ls l5 lw 1 with lines,\

Horizontale Linie an einer dynamisch berechneten Position einblenden

 #logProxy ConstY:myFunc(123)

Horizontale Line auf y-position des Durchschnittswertes eines anderen Plots einblenden

 #logProxy DbLog:dbLog:s300ht:temperature::
 #logProxy ConstY:$data{avg1}

 plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l1 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 title 'avg' ls l3 lw 1 with lines,\

Min- und Max- Position eines Plots hervorheben

#logProxy DbLog:dbLog:s300ht_1:temperature::
#logProxy ConstY:$data{avg1}
#logProxy ConstX:$data{mindate1},$data{min1}
#logProxy ConstX:$data{maxdate1},$data{max1}
#logProxy ConstX:$data{mindate1},$data{min1},$data{avg1} 
#logProxy ConstX:$data{maxdate1},$data{max1},$data{avg1} 
 
plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l2 lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'avg' ls l5 lw 1 with lines,\
     "<IN>" using 1:2 axes x1y1 ls l0 lw 1 with points,\
     "<IN>" using 1:2 axes x1y1 ls l0 lw 1 with points,\
     "<IN>" using 1:2 axes x1y1 ls l0 lw 1 with lines,\
     "<IN>" using 1:2 axes x1y1 ls l0 lw 1 with lines,\

Punkt ans Ende des geplottenden Bereiches eines anderen Plots setzen

 #logProxy DbLog:dbLog:s300ht:temperature::
 #logProxy ConstX:logProxy_shiftTime($data{currdate1},0),$data{currval1}+0.00001

 plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l1 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 ls l0 lw 1 with points,\

Vertikale Line zwischen Min- und Max Wert eines anderen Plots 60 Minuten nach Plotanfang zeichnen

 #logProxy DbLog:dbLog:s300ht:temperature::
 #logProxy ConstX:logProxy_shiftTime($from,60*60),$data{min1},$data{max1}
 #logProxy ConstX:logProxy_shiftTime($from,60*60),$data{min1},$data{max1}

 plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l1 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 title 'minmax' ls l0 lw 1 with lines,\
      "<IN>" using 1:2 axes x1y1 ls l0 lw 1 with points,\

Plotten von dynamisch erzeugten Werten aus einer eigenen Funktion

 #logProxy Func:myFunc($from,$to)

 plot "<IN>" using 1:2 axes x1y1 title 'avg' ls l1 lw 1 with lines,\

Plotten eines Weekday_Timer Wochenprofils

 #logProxy Func:logProxy_WeekProfile2Plot("myHeatingTimer",$from,$to)

 plot "<IN>" using 1:2 axes x1y1 title 'profile' ls l2 lw 1 with steps,\

Verschieben der avg_day Werte aus dem average Modul um -24 Stunden, um sie auf den richtigen Tag zu bekommen

 #logProxy DbLog:dbLog:s300ht_1:temperature::
 #logProxy DbLog:dbLog:s300ht_1:temperature_avg_day::
 #logProxy DbLog:dbLog,offset=-60*60*24:s300ht_1:temperature_avg_day::
 #logProxy ConstY:$data{avg1}

 plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l2 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 title 'avg_day' ls l4 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 title 'avg_day_shifted' ls l0 lw 1 with steps,\
      "<IN>" using 1:2 axes x1y1 title 'avg' ls l5 lw 1 with lines,\

Der Effekt ist auf dem Screenshot am besten 21. März zu sehen. Ohne die Verschiebung wäre der Wert für den 21. erst am 22. zu sehen (dunkel rot), mit Verschiebung ist er korrekt am 21. zu sehen (hell rot).

Mischen von Daten aus mehreren Quellen

Hier zwei FileLogs mit je zwei readings über plotfunction konfiguriert, ein reading aus einem DbLog und ein dynamisch erzeugtes Wochenprofil direkt aus einem HM Thermostaten:

 #logProxy FileLog:FileLog_<SPEC1>:4:<SPEC1>.consumption::
 #logProxy FileLog:FileLog_<SPEC1>:4:<SPEC1>.power::
 #logProxy FileLog:FileLog_<SPEC2>:4:<SPEC2>.consumption::
 #logProxy FileLog:FileLog_<SPEC2>:4:<SPEC2>.power::
 #logProxy DbLog:dbLog:s300ht:temperature::
 #logProxy Func:logProxy_WeekProfile2Plot("myTcClimate",$from,$to)

Darstellung des aktuell aufgelaufenen Wertes, zusätzlich zu historischen Monats- oder Wochendaten aus einem Log

Die zugrunde liegende Idee hierbei ist, zusätzlich zu den geloggten historischen Werten den bis jetzt für den aktuellen Zeitraum aufgelaufenen Wert, der noch nicht geloggt ist, direkt aus dem entsprechenden Reading zu holen und ebenfalls zu plotten.

Hierzu wird in einer sub ähnlich der folgenden geprüft, ob der Timestamp des entsprechen Readings innerhalb des gerade dargestellten Bereiches liegt und dieses dann zum Plotten zurückgegeben:

sub
current2Plot($$$$)
{
  my($from,$to,$device,$reading) = @_;
  my $fromsec = SVG_time_to_sec($from);
  my $tosec   = SVG_time_to_sec($to);

  my $ret = "";

  my $rt = ReadingsTimestamp( $device, $reading, undef );
  return $ret if( !$rt );

  my $sec = time_str2num($rt);
  return $ret if ( $sec < $fromsec || $sec > $tosec );

  my $val = ReadingsVal( $device, $reading, undef );

  my @t = localtime($sec);
  my $timestamp = sprintf("%04d-%02d-%02d_%02d:%02d:%02d", $t[5]+1900, $t[4]+1, $t[3], $t[2], $t[1], $t[0]);

  $ret .= "$timestamp $val\n";
  $ret .= "#plotCurrent: $device:$reading\n";

  return $ret;
}

Je nach Zoomfaktor und Intervall der Darstellung muss das Ganze eventuell angepasst werden, indem nur mit Tages-Genauigkeit verglichen und angezeigt wird.

Zusätzlich zur #logProxy Zeile, die die historischen Daten plottet, wird jetzt noch eine Zeile für den aktuellen Wert und die zugehörige Plot-Anweisung ins gplot File eingebaut:

#logProxy Func:current2Plot($from,$to,"meinDevice","meinReading")
plot "<IN>" using 1:2 axes x1y2 title 'Aktuell' ls l0fill lw 0.5 with bars

Erweitern des zu plottenden Bereichs um ausserhalb liegende Anfangs- und Endwerte

#logProxy DbLog:dbLog:s300ht_1:temperature::              
#logProxy DbLog:dbLog:s300ht_1:temperature_avg_day::   
#logProxy DbLog:dbLog,offset=-60*60*24,extend=60*60*24:s300ht_1:temperature_avg_day::
#logProxy ConstY:$data{avg1}                              
                                                          
plot "<IN>" using 1:2 axes x1y1 title 'temp' ls l2 lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'avg_day' ls l4 lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'avg_day_shifted' ls l0 lw 1 with steps,\
     "<IN>" using 1:2 axes x1y1 title 'avg' ls l5 lw 1 with lines,\

vorher:

nachher:

Auf dem unteren Bild ist vor allem links noch zu sehen, dass die mit "extend" erweiterte Kurve aus dem Plotbereich hinausläuft. Das ist in der aktuellen Version behoben.

Sonnenauf- und -untergangszeiten plotten

logProxy_Func2Plot() ist eine Funktion, die eine beliebige übergebene Funktion jeweils für unterschiedliche Zeitpunkte auswertet, um die zu plottenden Daten zu bestimmen. Das 'Zeitraster', in dem die Werte bestimmt werden, ist konfigurierbar und dynamisch von der aktuellen Zoomstufe abhängig. Der Default für Jahres- und Monatsplots sind tägliche, für Wochen- und Tagesplots stündliche, usw. Aufrufe.

Anbei ein Beispiel, das auf dieser Basis die Idee zum Plotten von Sonnenauf- und -untergangzeiten, die im Forum vorgestellt wurde, durch 'live' berechnete (statt täglich geloggte) Daten umsetzt.

#logProxy Func:logProxy_Func2Plot($from,$to,'{logProxy_hms2dec(sunrise_abs_dat($sec))}')
#logProxy Func:logProxy_Func2Plot($from,$to,'{logProxy_hms2dec(sunset_abs_dat($sec))}')
#logProxy ConstX:TimeNow(),4,10  
                                                             
plot "<IN>" using 1:2 axes x1y1 title 'Sonnenaufgang' ls l2 lw 1 with steps,\
plot "<IN>" using 1:2 axes x1y2 title 'Somnnenuntergang' ls l0 lw 1 with steps,
plot "<IN>" using 1:2 axes x1y1 title notitle ls l5 lw 1 with steps,\

Daten aus x,y-Kordinatenpaaren plotten

Mit der Hilfsfunktion logProxy_xy2Data lässt sich direkt ein Array aus x,y-Korrdinatenpaaren als Quelle für die Punkte eines Plots verwenden. In folgendem Beispiel sind alle Daten fest im Plotfile angegeben. Normalerweise würde zumindest der eigentliche Datenpunkt aus den Temperatur- und Feuchte-Readings eines FHEM-Device kommen.

#lp Func:{logProxy_xy2Plot([[18,40],[24,33],[22,65],[17,75],[18,40]])}
#lp Func:{logProxy_xy2Plot([[19,20],[25,18],[27,32],[24,60],[21,80],[17,85],[16,75],[17,35],[19,20]])}
#lp Func:{logProxy_xy2Plot([[22,40]])}
                                 
plot "<IN>" using 1:2 axes x1y1 title 'Behaglich' ls l1fill lw 1 with lines,\
     "<IN>" using 1:2 axes x1y1 title 'Noch Behaglich' ls l5 lw 1 with lines
     "<IN>" using 1:2 axes x1y1 title 'Wert' ls l0 lw 1 with points

Die Koordinaten der beiden Polygone sind aus einer Grafik auf der Seite raumluft.org nur grob abgelesen und nur beispielhaft zu verstehen.

Plotten in Polar-Koardinaten, Spinnennetz Darstellung

Das Plot-Fenster quadratisch machen:

attr <mySVG> plotsize 340,400

Die automatische Achsenbschriftung ausschalten, das Kooardinatensystem auf X/Y-Achsen schalten und die zu plottenden Daten jeweils in einem Perl Array bereitstellen. In diesem Beispiel die "temperature" und "desiredTemperature" Werte aller MAX-Devices.

set xtics ()
set ytics ()
set y2tics ()

set xrange [-40:40]
set yrange [-40:40]

#logProxy Polar::{[map{ReadingsVal($_,"temperature",0)}devspec2array("MAX.*")]}
#logProxy Polar::{[map{ReadingsVal($_,"desiredTemperature",0)}devspec2array("MAX.*")]}
#logProxy Polar::{[map{ReadingsVal($_,"temperature",0)}devspec2array("MAX.*")]}
#logProxy Polar::{[devspec2array("MAX.*")]}

plot "<IN>" using 1:2 axes x1y1 title 'Ist' ls l0 lw 1 with lines,\
plot "<IN>" using 1:2 axes x1y1 title 'Soll' ls l1fill lw 1 with lines,\
plot "<IN>" using 1:2 axes x1y1 notitle ls l0 lw 1 with points,\
plot "<IN>" using 1:2 axes x1y1 notitle  ls l2 lw 1 with lines,\

Um statt den Device-Namen den Device-Alias zu verwenden, kann die vierte logProxy Zeile durch die folgende ersetzt werden

#logProxy Polar::{[map{AttrVal($_,"alias",$_)}devspec2array("MAX.*")]}

Um den Plot für HomeMatic Thermostate zu verwenden, sind die Reading-Namen temperature und desiredTemperature jeweils durch measured-temp und desired-temp zu ersetzen und der reguläre Ausdruck zum Finden der Devices entsprechend anzupassen. Je nach Installation zum Beispiel auf .*Climate.

Für ein paar Devices und für ein paar mehr:

Plot Daten verändern

Das folgende (nicht sehr sinnvolle) Beispiel verschiebt alle Werte einer Kurve um 10 nach oben.

Eine sinnvollere Anwendung wäre es z.B., Ausreißer zu filtern, Mittelwerte über einzelne Intervalle zu berechnen

sub    
myPostFn($$)
{      
  my($devspec,$array) = @_; 
      
  foreach my $point ( @{$array} ) { 
    $point->[1] += 10;
  }    

  return $array;
}

#logProxy DbLog:dbLog,postFn='myPostFn':s300ht_1:temperature::