IPv6 support: step 1. prometheus.conf + hosts parsing
[svn/Prometheus-QoS/.git] / prometheus.c
index 814da9e..70bea1f 100644 (file)
@@ -1,13 +1,13 @@
-  /* - - - - - - - - - - - - - - - - - - - - - - - - - - - - -  */\r
- /*     Prometheus QoS - you can "steal fire" from your ISP     */\r
-/*      "fair-per-IP" quality of service (QoS) utility          */\r
-/*      requires Linux 2.4.x or 2.6.x with HTB support          */\r
-/*      Copyright(C) 2005-2012 Michael Polak, Arachne Labs      */\r
-/*    iptables-restore support Copyright(C) 2007-2008 ludva     */\r
-/*  Credit: CZFree.Net,Martin Devera,Netdave,Aquarius,Gandalf  */\r
-/* - - - - - - - - - - - - - - - - - - - - - - - - - - - - -  */\r
-\r
-/* Modified by: xChaos, 20121011\r
+/* - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - */\r
+/* Prometheus QoS - you can "steal fire" from your ISP         */\r
+/* "fair-per-IP" quality of service (QoS) utility              */\r
+/* requires Linux 2.4.x or 2.6.x with HTB support              */\r
+/* Copyright(C) 2005-2013 Michael Polak, Arachne Aerospace     */\r
+/* iptables-restore support Copyright(C) 2007-2008 ludva       */\r
+/* Credit: CZFree.Net,Martin Devera,Netdave,Aquarius,Gandalf  */\r
+/* - - - - - - - - - - - - - - - - - - - - - - - - - - - - - */\r
+\r
+/* Modified by: xChaos, 20130116\r
                  ludva, 20080415\r
  \r
    Prometheus QoS is free software; you can redistribute it and/or\r
    \r
    GNU General Public License is located in file COPYING */\r
 \r
-#define STRLEN 512\r
-#undef DEBUG\r
-\r
 #include "cll1-0.6.2.h"\r
 #include "ipstruct.h"\r
 \r
-const char *version = "0.8.3-g";\r
+const char *version = "0.8.3-h";\r
 \r
-/* Version numbers: 0.8.3 is development releases ("beta"), 0.8.4 will be "stable" */\r
-/* Debian(RPM) package versions/patchlevels: 0.7.9-2, 0.8.0-1, 0.8.0-2, etc. */\r
-/* C source code development versions ("beta"): 0.7.9-a, 0.8.1-b, etc. */\r
-/* C source code release versions: 0.8.0, 0.8.2, 0.8.4, etc. */\r
+/* - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - */\r
+/* Versions: 0.8.3 is development release, 0.8.4 will be "stable"  */\r
+/* Official Trac URL: https://dev.arachne.cz/svn/prometheus        */\r
+/* Official SVN URL: https://dev.arachne.cz/repos/prometheus       */\r
+/* BTC donations account: 19rriLx8vR19wGefPaMhakqnCYNYwjLvxq       */\r
+/* CZK donations account: 2900242944/2010 (transparent account)    */\r
+/* Warning: unofficial Github mirror is not supported by author!  */\r
+/* - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - */\r
 \r
-const char *stats_html_signature = "<span class=\"small\">Statistics generated by Prometheus QoS version %s<br />GPL+Copyright(C)2005-2012 Michael Polak, <a target=\"_blank\" href=\"http://www.arachne.cz/\">Arachne Labs</a></span>\n";\r
+const char *stats_html_signature = "<span class=\"small\">Statistics generated by Prometheus QoS version %s<br />GPL+Copyright(C)2005-2013 Michael Polak, <a target=\"_blank\" href=\"http://www.arachne.cz/\">Arachne Labs</a></span>\n";\r
 \r
-/* ======= Help screen is hopefuly self-documenting part of code :-) ======= */\r
-\r
-void help(void)\r
-{\r
- puts("Command line switches:\n\\r
-\n\\r
--d   Dry run (preview tc and iptables commands on stdout)\n\\r
--r   Run (reset all statistics and start shaping - daily usage)\n\\r
--p   just generate Preview of data transfer statistics and exit (after -r)\n\\r
--s   start Shaping FUP limits (keeps data transfer stat like -p) (after -r)\n\\r
--n   run Now (like -r delay - overrides qos-free-delay keyword, after boot)\n\\r
--f   just Flush iptables and tc classes and exit (stop shaping, no QiS)\n\\r
--9   emergency iptables flush (like -f, but dumps data transfer statistics)\n\\r
-\n\\r
--c filename  force alternative /etc/prometheus/prometheus.conf filename\n\\r
--h filename  force alternative /etc/hosts filename (overrides hosts keyword)\n\\r
--l Mmm YYYY  generate HTML summary of Logged traffic (Mmm=Jan-Dec) (and exit)\n\\r
--m           generate HTML summary of traffic for yesterday's Month (and exit)\n\\r
--y           generate HTML summary of traffic for yesterday's Year (and exit)\n\\r
--? --help    show this help scree (and exit)\n\\r
--v --version show Version number of this utility (and exit)\n");\r
-}\r
+#define STRLEN 512\r
+#undef DEBUG\r
 \r
 /* ======= All path names are defined here (for RPM patch) =======  */\r
 \r
-const char        *tc = "/sbin/tc"; /* requires tc with HTB support */\r
-const char  *iptables = "/sbin/iptables"; /* requires iptables utility */\r
-const char *iptablessave = "/sbin/iptables-save"; /* not yet required */\r
-const char *iptablesrestore = "/sbin/iptables-restore";  /* requires iptables-restore */\r
-const char        *ls = "/bin/ls"; /* this is not user configurable :-) */\r
+const char               *tc = "/sbin/tc"; /* requires tc with HTB support */\r
+const char         *iptables = "/sbin/iptables"; /* requires iptables utility */\r
+const char        *ip6tables = "/sbin/ip6tables"; /* requires iptables utility */\r
+const char     *iptablessave = "/sbin/iptables-save"; /* not yet required */\r
+const char  *iptablesrestore = "/sbin/iptables-restore";  /* requires iptables-restore */\r
+const char    *ip6tablessave = "/sbin/ip6tables-save"; /* not yet required */\r
+const char *ip6tablesrestore = "/sbin/ip6tables-restore";  /* requires iptables-restore */\r
+const char               *ls = "/bin/ls"; /* this is not user configurable :-) */\r
 \r
 char          *config = "/etc/prometheus/prometheus.conf"; /* main configuration file */\r
 char           *hosts = "/etc/prometheus/hosts"; /* per-IP bandwidth definition file */\r
-\r
 char    *iptablesfile = "/var/spool/prometheus.iptables"; /* temporary file for iptables-restore*/\r
+char   *ip6tablesfile = "/var/spool/prometheus.ip6tables"; /* temporary file for ip6tables-restore*/\r
 char          *credit = "/var/lib/misc/prometheus.credit"; /* credit log file */\r
 char        *classmap = "/var/lib/misc/prometheus.classes"; /* credit log file */\r
 char            *html = "/var/www/traffic.html"; /* hall of fame - html version */\r
@@ -89,7 +73,7 @@ char    *html_log_dir = "/var/www/logs/html/";
 \r
 char      *jquery_url = "http://code.jquery.com/jquery-latest.js";\r
 char         *lms_url = "/lms/?m=customerinfo&amp;id=";\r
-int use_jquery_popups = 1;\r
+int use_jquery_popups = TRUE;\r
 int      row_odd_even = 0; /*<tr class="odd/even"> */\r
  \r
 /* === Configuraration file values defaults - stored in global variables ==== */\r
@@ -97,22 +81,23 @@ int      row_odd_even = 0; /*<tr class="odd/even"> */
 int        filter_type = 1; /*1 mark, 2 classify*/\r
 char             *mark = "MARK";\r
 char    *mark_iptables = "MARK --set-mark ";\r
-int            dry_run = 0; /* preview - use puts() instead of system() */\r
+int            dry_run = FALSE; /* preview - use puts() instead of system() */\r
 char *iptablespreamble = "*mangle\n:PREROUTING ACCEPT [0:0]\n:POSTROUTING ACCEPT [0:0]\n:INPUT ACCEPT [0:0]\n:OUTPUT ACCEPT [0:0]\n:FORWARD ACCEPT [0:0]";\r
 FILE    *iptables_file = NULL;\r
-int      enable_credit = 1; /* enable credit file */\r
-int         use_credit = 0; /* use credit file (if enabled)*/\r
+int      enable_credit = TRUE; /* enable credit file */\r
+int         use_credit = FALSE; /* use credit file (if enabled)*/\r
 char            *title = "Hall of Fame - Greatest Suckers"; /* hall of fame title */\r
-int       hall_of_fame = 1; /* enable hall of fame */\r
+int       hall_of_fame = TRUE; /* enable hall of fame */\r
 char              *lan = "eth0"; /* LAN interface */\r
 char       *lan_medium = "100Mbit"; /* 10Mbit/100Mbit ethernet */\r
 char              *wan = "eth1"; /* WAN/ISP interface */\r
+char        *ip6prefix = NULL; /* Prefix for global /48 IPv6 subnet */\r
 char       *wan_medium = "100Mbit"; /* 10Mbit/100Mbit ethernet */\r
 char         *qos_leaf = "sfq perturb 5"; /* leaf discipline */\r
 char    *qos_free_zone = NULL; /* QoS free zone */\r
-int          qos_proxy = 1; /* include proxy port to QoS */\r
-int        found_lmsid = 0; /* show links to users in LMS information system */\r
-int     include_upload = 1; /* upload+download=total traffic */\r
+int          qos_proxy = TRUE; /* include proxy port to QoS */\r
+int        found_lmsid = FALSE; /* show links to users in LMS information system */\r
+int     include_upload = TRUE; /* upload+download=total traffic */\r
 char         *proxy_ip = "192.168.1.1/32"; /* our IP with proxy port */\r
 int         proxy_port = 3128; /* proxy port number */\r
 long long int     line = 1024; /* WAN/ISP download in kbps */\r
@@ -128,8 +113,8 @@ int         burst_main = 64;
 int        burst_group = 32;\r
 int     magic_treshold = 8; /* reduce ceil by X*magic_treshhold kbps (hard shaping) */\r
 int       keywordcount = 0;\r
-int class_count        = 0;\r
-int ip_count           = 0;\r
+int        class_count = 0;\r
+int           ip_count = 0;\r
 /* not yet implemented:\r
 int      fixed_packets = 0; maximum number of pps per IP address (not class!) \r
 int       packet_limit = 5; maximum number of pps to htn CEIL, not rate !!! \r
@@ -148,6 +133,12 @@ struct IP *ips = NULL, *ip, *sharedip;
 struct Group *groups = NULL, *group;\r
 struct Keyword *keyword, *defaultkeyword=NULL, *keywords=NULL;\r
 \r
+void help(void);\r
+/* implemented in help.c */
+\r
+void get_traffic_statistics(const char *whichiptables);\r
+/* implemented in parseiptables.c */\r
+\r
 void parse_ip_log(int argc, char **argv);\r
 /* implemented in parselog.c */\r
 \r
@@ -157,6 +148,9 @@ void parse_hosts(char *hosts);
 void write_json_traffic(char *json);\r
 /* implemented in json.c */\r
 \r
+void write_htmlandlogs(char *html, char *d, int total, int just_preview);\r
+/* implemented in htmlandlogs.c */\r
+\r
 const char *tr_odd_even(void)\r
 {\r
  row_odd_even = 1 - row_odd_even;\r
@@ -171,6 +165,7 @@ const char *tr_odd_even(void)
 }\r
 \r
 /* ==== This is C<<1 stuff - learn C<<1 first! https://dev.arachne.cz/svn/cll1h ==== */\r
+/* (except that this code uses obsolete, archaic version of this header file...)     */\r
 \r
 struct Index\r
 {\r
@@ -182,8 +177,6 @@ struct Index
  list(Index);\r
 } *idxs=NULL, *idx, *metaindex;\r
 \r
-void TheIP(void);\r
-/* function implemented in parsehosts.c */\r
 \r
 /* ====== iptables indexes are used to reduce complexity to log8(N) ===== */\r
 \r
@@ -229,7 +222,10 @@ void get_config(char *config_filename)
    keyword->leaf_discipline="";\r
 \r
    push(keyword,keywords);\r
-   if(!defaultkeyword) defaultkeyword=keyword;\r
+   if(!defaultkeyword)\r
+   {\r
+    defaultkeyword=keyword;\r
+   }\r
    keywordcount++;\r
    \r
    kwd=NULL;\r
@@ -268,12 +264,17 @@ void get_config(char *config_filename)
 \r
   option("tc",tc);\r
   option("iptables",iptables);\r
-  option("iptables-save",iptablessave); /* new */\r
-  option("iptables-restore",iptablesrestore); /* new */\r
-  option("iptables-in-filename",iptablesfile); /* new */\r
+  option("iptables-save",iptablessave);\r
+  option("iptables-restore",iptablesrestore);\r
+  option("ip6tables",ip6tables);\r
+  option("ip6tables-save",ip6tablessave);\r
+  option("ip6tables-restore",ip6tablesrestore);\r
+  option("iptables-in-filename",iptablesfile);\r
+  option("ip6tables-in-filename",ip6tablesfile);\r
   option("hosts",hosts);\r
   option("lan-interface",lan);\r
   option("wan-interface",wan);\r
+  option("ip6-prefix",ip6prefix);\r
   option("lan-medium",lan_medium);\r
   option("wan-medium",wan_medium);\r
   lloption("wan-download",line);\r
@@ -353,155 +354,6 @@ void get_config(char *config_filename)
  }\r
 }\r
 \r
-/* ===================== traffic analyser - uses iptables  ================ */ \r
-\r
-void get_traffic_statistics(void)\r
-{\r
- char *str,*cmd;\r
- int downloadflag=0;\r
-\r
- textfile(Pipe,str) *line,*lines=NULL;\r
- string(str,STRLEN);\r
- string(cmd,STRLEN);\r
-\r
- sprintf(cmd,"%s -L -v -x -n -t mangle",iptables);\r
- shell(cmd);\r
- input(str,STRLEN)\r
- {\r
-  create(line,Pipe);\r
-  line->str=str;\r
-  string(str,STRLEN);\r
-  append(line,lines);\r
- }\r
-\r
- for_each(line,lines)\r
- {\r
-  int col, accept=0,proxyflag=0,valid=1,setchainname=0,commonflag=0; \r
-  unsigned long long traffic=0;\r
-  unsigned long pkts=0;\r
-  char *ipaddr=NULL,*ptr;\r
-  \r
-  /* debug puts(line->str); */\r
-  valid_columns(ptr,line->str,' ',col) \r
-  if(valid) switch(col)\r
-  { \r
-   case 1: if(eq(ptr,"Chain"))\r
-           {\r
-            setchainname=1;\r
-           }\r
-           else if(eq(ptr,"pkts")) \r
-           {\r
-            valid=0;\r
-           }\r
-           else\r
-           {\r
-            sscanf(ptr,"%lu",&pkts); \r
-           }\r
-           break;\r
-   case 2: if(setchainname)\r
-           {\r
-            if(!strncmp(ptr,"post_",5) || eq(ptr,"POSTROUTING"))\r
-            {\r
-             downloadflag = 1;            \r
-            }\r
-            else \r
-            {\r
-             if(!strncmp(ptr,"forw_",5) || eq(ptr,"FORWARD"))\r
-             {\r
-              downloadflag = 0;\r
-             }\r
-            }            \r
-            if(eq(ptr,"post_common") || eq(ptr,"forw_common"))\r
-            {\r
-             commonflag = 1;\r
-            }\r
-           }\r
-           else\r
-           {\r
-            sscanf(ptr,"%Lu",&traffic); \r
-            traffic += (1<<19);\r
-            traffic >>= 20;\r
-           }\r
-           break;\r
-   case 3: if((strncmp(ptr,"post_",5) && strncmp(ptr,"forw_",5)) || commonflag)\r
-           {\r
-            accept=eq(ptr,mark);\r
-           }\r
-            /*if(filter_type==1) accept=eq(ptr,"MARK"); else accept=eq(ptr,"CLASSIFY");*/\r
-           break;\r
-   case 8: if(downloadflag)\r
-           { \r
-            if(strstr(proxy_ip,ptr))\r
-            {\r
-             proxyflag=1; \r
-            }\r
-           }\r
-           else\r
-           {\r
-            ipaddr=ptr; \r
-           }\r
-           break;\r
-   case 9: if(downloadflag)ipaddr=ptr;break;\r
-  }\r
-  \r
-    if(accept && traffic>0 && ipaddr)\r
-    {\r
-     if(proxyflag)\r
-     {\r
-      printf("(proxy) ");\r
-     }\r
-     else if(!downloadflag)\r
-     {\r
-      printf("(upload) ");\r
-     }\r
-     printf("IP %s: %Lu MB (%ld pkts)\n", ipaddr, traffic, pkts);\r
-\r
-     if_exists(ip,ips,eq(ip->addr,ipaddr)); \r
-     else \r
-     {\r
-      TheIP();\r
-      ip->addr=ipaddr;\r
-      if(eq(ip->addr,"0.0.0.0/0"))\r
-      {\r
-       ip->name="(unregistered)";\r
-       ip->min=free_min;\r
-       ip->max=ip->desired=free_max;\r
-      }\r
-     }\r
-     \r
-     if(downloadflag)\r
-     {\r
-      if(proxyflag)\r
-      {\r
-       ip->proxy=traffic;\r
-      }\r
-      else\r
-      {\r
-       ip->traffic+=traffic;\r
-      }\r
-      ip->direct=ip->traffic-ip->upload-ip->proxy;\r
-      ip->pktsdown=pkts;\r
-     }\r
-     else\r
-     {\r
-      ip->upload=traffic;\r
-      ip->pktsup=pkts;\r
-      if(include_upload)\r
-      {\r
-       ip->traffic+=traffic;\r
-      }\r
-      else \r
-      {\r
-       if(traffic>ip->traffic)\r
-       {\r
-        ip->traffic=traffic;     \r
-       }\r
-      }\r
-     }\r
-    }  \r
-  }\r
-  free(cmd);\r
-}\r
  \r
 /* ========== This function executes, logs OR ALSO prints command ========== */\r
 \r
@@ -568,27 +420,6 @@ char *parse_datafile_line(char *str)
  }\r
 }\r
 \r
-void append_log(struct IP *self) /*using global variables*/\r
-{\r
- char *d, *str;\r
- FILE *f; \r
-\r
- date(d); /* this is typical cll1.h macro - prints current date */ \r
- string(str,STRLEN); \r
- sprintf(str,"%s/%s.log", log_dir, self->name);\r
- f=fopen(str,"a");\r
- if(f > 0)\r
- {\r
-  fprintf(f,"%ld\t%s\t%Lu\t%Lu\t%Lu\t%Lu\t%d\t%d\t%d\t%d\t%s",\r
-            time(NULL), self->name, self->traffic, self->direct, self->proxy,\r
-            self->upload, self->min, self->max, self->desired, self->lmsid, d); /* d = date*/\r
-  fclose(f);\r
- }\r
- else\r
- {\r
-  perror(str);\r
- }\r
-}\r
 \r
 /*-----------------------------------------------------------------*/\r
 /* Are you looking for int main(int argc, char **argv) ? :-))      */\r
@@ -601,14 +432,14 @@ program
  char *str, *ptr, *d;        /* LET A$=B$ :-) */\r
  char *substring;\r
 \r
- int parent=1;\r
- int just_flush=FALSE;       /* deactivates all previous actions */\r
- int nodelay=FALSE;\r
- int just_preview=FALSE;     /* preview - generate just stats */\r
- int start_shaping=FALSE;    /* apply FUP - requires classmap file */\r
- int just_logs=FALSE;        /* just parse logs */\r
- int run=FALSE;\r
- int total=0;\r
+ int parent        = 1;\r
+ int just_flush    = FALSE;       /* deactivates all previous actions */\r
+ int nodelay       = FALSE;\r
+ int just_preview  = FALSE;       /* preview - generate just stats */\r
+ int start_shaping = FALSE;       /* apply FUP - requires classmap file */\r
+ int just_logs     = FALSE;       /* just parse logs */\r
+ int run           = FALSE;\r
+ int total         = 0;\r
  \r
  char *chain_forward, *chain_postrouting;\r
  char *althosts=NULL;\r
@@ -673,7 +504,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   /*-----------------------------------------------------------------*/\r
   puts("Parsing iptables verbose output ...");\r
   /*-----------------------------------------------------------------*/\r
-  get_traffic_statistics();\r
+  get_traffic_statistics(iptables);\r
  }\r
 \r
  /*-----------------------------------------------------------------*/\r
@@ -731,17 +562,17 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   puts("Initializing iptables and tc classes ...");\r
   /*-----------------------------------------------------------------*/\r
   \r
-  iptables_file=fopen(iptablesfile,"w");\r
+  iptables_file = fopen(iptablesfile, "w");\r
   if(iptables_file == NULL)\r
   {\r
-    puts("Cannot open iptablesfile!");\r
+    perror(iptablesfile);\r
     exit(-1);\r
   }\r
   \r
-  log_file=fopen(cmdlog,"w");\r
+  log_file = fopen(cmdlog, "w");\r
   if(log_file == NULL) \r
   {\r
-    puts("Cannot open logfile!");\r
+    perror(cmdlog);\r
     exit(-1);\r
   }\r
   \r
@@ -785,7 +616,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
    save_line(str);\r
   }\r
   \r
-  if(ip_count>idxtable_treshold1 && !just_flush)\r
+  if(ip_count > idxtable_treshold1 && !just_flush)\r
   {\r
    int idxcount=0, bitmask=32-idxtable_bitmask1; /* default net mask: 255.255.255.240 */\r
    char *subnet, *buf;\r
@@ -796,7 +627,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
    save_line(":post_common - [0:0]");\r
    save_line(":forw_common - [0:0]");\r
 \r
-   for_each(ip,ips) if(ip->addr && *(ip->addr) && !eq(ip->addr,"0.0.0.0/0"))\r
+   for_each(ip,ips) if(ip->addr && *(ip->addr) && !eq(ip->addr,"0.0.0.0/0") && !strchr(ip->addr,':')) /* only IPv4 */\r
    {\r
     buf=index_id(ip->addr,bitmask);\r
     if_exists(idx,idxs,eq(idx->id,buf))\r
@@ -817,14 +648,14 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
    }\r
 \r
    /* brutal perfomance optimalization */\r
-   while(idxcount>idxtable_treshold2 && bitmask>2*idxtable_bitmask2)\r
+   while(idxcount > idxtable_treshold2 && bitmask > 2*idxtable_bitmask2)\r
    {\r
-    bitmask-=idxtable_bitmask2;\r
-    idxcount=0;\r
+    bitmask -= idxtable_bitmask2;\r
+    idxcount = 0;\r
 \r
     for_each(idx,idxs) if(idx->parent == NULL)\r
     {\r
-     buf=index_id(idx->addr,bitmask);\r
+     buf = index_id(idx->addr,bitmask);\r
      if_exists(metaindex,idxs,eq(metaindex->id,buf))\r
      {\r
       metaindex->children++;\r
@@ -844,7 +675,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
     }\r
    }\r
 \r
-   /* this should slightly optimize throughout ... */\r
+   /* this should slightly optimize throughput ... */\r
    sort(idx,idxs,desc_order_by,children);\r
    sort(idx,idxs,order_by,bitmask);\r
 \r
@@ -998,13 +829,14 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
     \r
     for_each(ip, ips) if(ip->min == group->min && ip->max > ip->min)\r
     {\r
-     if(    ip->keyword->data_limit && !ip->fixedprio \r
-         && (   ip->traffic>ip->credit\r
-              + (ip->min*ip->keyword->data_limit+(ip->keyword->fixed_limit<<20))) )\r
+     ip->realquota=ip->credit+(ip->min*ip->keyword->data_limit+(ip->keyword->fixed_limit<<20));\r
+     if(     ip->keyword->data_limit \r
+         and not ip->fixedprio \r
+         and ip->traffic > ip->realquota )\r
      {\r
-      if(group_rate<ip->max)\r
+      if(group_rate < ip->max)\r
       {\r
-       ip->max=group_rate;\r
+       ip->max = group_rate;\r
       }\r
       group_rate+=magic_treshold;\r
       ip->prio=lowest_priority;\r
@@ -1100,384 +932,10 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   write_json_traffic(json_traffic);\r
  }\r
 \r
- f=fopen(html,"w");\r
- if(f > 0)\r
- {\r
-  int count=1;\r
-  i=0;\r
-\r
-  /*-----------------------------------------------------------------*/\r
-  printf("Sorting data and generating statistics page %s ...\n", html);\r
-  /*-----------------------------------------------------------------*/\r
-\r
-  if(use_jquery_popups)\r
-  {\r
-   fprintf(f,"<script type=\"text/javascript\" src=\"%s\"></script>\n", jquery_url);\r
-  }\r
-  fputs("<table class=\"decorated last\">\n\\r
-<caption>Bandwidth classes</caption>\n\\r
-<thead><tr>\n\\r
-<th style=\"text-align: right\">#</th>\n\\r
-<th style=\"text-align: right\">group</th>\n\\r
-<th style=\"text-align: right\">IPs</th>\n\\r
-<th style=\"text-align: right\">requested</th>\n",f);\r
-  fprintf(f,"<th colspan=\"%d\">data limits</th>\n", keywordcount);\r
-  fputs("</tr></thead><tbody>\n",f);\r
-\r
-  row_odd_even = 0;\r
-  for_each(group, groups) \r
-  { \r
-#ifdef DEBUG\r
-   printf("%d kb/s group: %d bandwidth requested: %d kb/s\n",group->min,group->count,group->desired);\r
-#endif\r
-   fprintf(f, "%s<td style=\"text-align: right\">%d</td><td style=\"text-align: right\">%d&nbsp;kb/s</td>",\r
-              tr_odd_even(), count, group->min);\r
-   fprintf(f, "<td style=\"text-align: right\">%d</td><td style=\"text-align: right\">%d&nbsp;kb/s</td>",\r
-              group->count, group->desired);\r
-\r
-   for_each(keyword, keywords) if(keyword->ip_count)\r
-   {\r
-    fprintf(f,"<td style=\"text-align: right\"><span style=\"color:#%s\">%d&nbsp;MB</span></td>",\r
-              keyword->html_color, group->min*keyword->data_limit);\r
-   }   \r
-   i += group->desired; \r
-   total += group->count;\r
-   count++; \r
-  }\r
-#ifdef DEBUG\r
-   printf("Total groups: %d Total bandwidth requested: %d kb/s\nAGGREGATION: 1/%d\n",\r
-          count, i, i/line);\r
-#endif\r
-   fprintf(f,"</tr></tbody>\n\\r
-<thead><tr>\n\\r
-<th colspan=\"2\" style=\"text-align: left\">Line %Ld kb/s</td>",line);\r
-   fprintf(f,"<th style=\"text-align: right\">%d</td><th style=\"text-align: right\">%d kb/s</td>",total,i);\r
-\r
-   for_each(keyword, keywords) if(keyword->ip_count)\r
-   {\r
-    fprintf(f,"<th style=\"text-align: right\">%d IPs</th>",keyword->ip_count);\r
-   }\r
-   fprintf(f,"</tr><tr><th colspan=\"4\">Aggregation 1/%d</th>\n", (int)(0.5+i/line));\r
-   fprintf(f,"<th colspan=\"%d\">%d traffic classes</th></tr>\n", keywordcount, total);\r
-\r
-   fputs("</thead></table>\n",f);\r
- }\r
- else if(!dry_run && !just_flush)\r
- {\r
-  perror(html);\r
- }\r
-\r
- i=0;\r
- if(f > 0)\r
- {\r
-  unsigned long long total_traffic=0, total_direct=0, total_proxy=0, total_upload=0, tmp_sum=0;\r
-  int active_classes=0;\r
-  int colspan=12;\r
-  struct Sum {unsigned long long l; int i; list(Sum);} *sum,*sums=NULL;\r
-  int limit_count=0, prio_count=0;\r
-  int popup_button=0;\r
-\r
-  if(qos_proxy)\r
-  {\r
-   colspan++;\r
-  }\r
-  \r
-  fprintf(f,"<p><table class=\"decorated last\">\n<caption>%s",title);\r
-  fprintf(f," (%s)</caption>\n", d);\r
-  fputs("<thead><tr>\n<th colspan=\"3\">&nbsp;</th>\n",f);\r
-  fputs("<th style=\"text-align: right\">credit</th>\n\\r
-<th style=\"text-align: right\">FUP</th>\n\\r
-<th style=\"text-align: right\">total</th>\n\\r
-<th style=\"text-align: right\">down</th>\n",f);\r
-  if(qos_proxy)\r
-  {\r
-   fputs("<th style=\"text-align: right\">proxy</th>\n",f);\r
-  }\r
-  fputs("<th style=\"text-align: right\">up</th>\n\\r
-<th style=\"text-align: right\">min</th>\n\\r
-<th style=\"text-align: right\">max</th>\n\\r
-<th style=\"text-align: right\">limit</th>\n\\r
-<th>&nbsp;</th>\n\\r
-</tr><tr>\n\\r
-<th style=\"text-align: right\">#</th>\n\\r
-<th>hostname [+sharing]</th>\n\\r
-<th style=\"text-align: right\">LMS</th>\n\\r
-<th style=\"text-align: right\">MB</th>\n\\r
-<th style=\"text-align: right\">MB</th>\n\\r
-<th style=\"text-align: right\">MB</th>\n\\r
-<th style=\"text-align: right\">MB</th>\n\\r
-<th style=\"text-align: right\">MB</th>\n\\r
-<th style=\"text-align: right\">kb/s</th>\n\\r
-<th style=\"text-align: right\">kb/s</th>\n\\r
-<th style=\"text-align: right\">kb/s</th>\n\\r
-<th>prio</th>\n\\r
-</tr></thead><tbody>\n",f);    \r
-\r
-  row_odd_even = 0;\r
-  for_each(ip,ips) if(!use_jquery_popups || !ip->sharing)\r
-  {\r
-   char *f1="", *f2="";\r
-   i++;\r
-\r
-   if(ip->max < ip->desired) \r
-   { \r
-    f1="<span style=\"color:red\">"; \r
-    f2="</span>"; \r
-    limit_count++; \r
-   } \r
-   else if(ip->prio > highest_priority+1) \r
-   { \r
-    f1="<span style=\"color:brown\">"; \r
-    f2="</span>"; \r
-    prio_count++; \r
-   }       \r
-\r
-#ifdef DEBUG\r
-   printf("%03d. %-22s %10Lu (%d/%d)\n",i ,ip->name, ip->traffic, ip->min, ip->max); \r
-#endif\r
-   /* hostnames -------------------------------------- */\r
-   fprintf(f,"%s<td style=\"text-align: right\"><a name=\"%s\"></a>%d</td><td><a class=\"blue\" target=\"_blank\" href=\"%s%s.log\">%s</a>\n", \r
-              tr_odd_even(), ip->name, i, log_url, ip->name, ip->name);\r
-\r
-   if(use_jquery_popups)\r
-   {\r
-     fprintf(f,"<span id=\"sharing_%d\" style=\"display:none\">",i);\r
-     popup_button=0;\r
-     for_each(sharedip, ips) if(eq(ip->name, sharedip->sharing))\r
-     {\r
-      fprintf(f,"<br /><a class=\"blue\" target=\"_blank\" href=\"%s%s.log\">%s</a>\n", log_url, sharedip->name, sharedip->name);\r
-      popup_button++;\r
-     }\r
-     fputs("</span>\n",f);\r
-     if(popup_button)\r
-     {\r
-      fprintf(f,"<span>[<a class=\"blue\" href=\"#\" onClick=\"$(this).parent().hide();$(\'#sharing_%d\').show();$(\'#download_%d\').show();$(\'#upload_%d\').show();return(false);\" style=\"cursor: pointer;\">+%d</a>]</span>",\r
-                i, i, i, popup_button);\r
-     }\r
-   }\r
-   fputs("</td>\n",f);\r
-   /* ----------------------------------------------- */\r
-\r
-   if(found_lmsid)\r
-   {\r
-    fputs("<td style=\"text-align: right\">",f);\r
-    if(ip->lmsid > 0)\r
-    {\r
-     fprintf(f,"<a class=\"blue\" target=\"_blank\" href=\"%s%d\">%04d</a>\n", lms_url, ip->lmsid, ip->lmsid);\r
-    }\r
-    else if(ip->lmsid == 0)\r
-    {\r
-     fputs("-------",f);\r
-    }\r
-    fputs("</td>\n",f);\r
-   }\r
-   fprintf(f,"<td style=\"text-align: right\">%Lu</td>\n", ip->credit);\r
-   fprintf(f,"<td style=\"text-align: right\"><span style=\"color:#%s\">%Lu</span></td>",\r
-             ip->keyword->html_color,\r
-             ip->credit+(ip->min*ip->keyword->data_limit+(ip->keyword->fixed_limit<<20)));\r
-   fprintf(f,"<td style=\"text-align: right\">%s%Lu%s", f1, ip->traffic, f2);\r
-\r
-   /* download --------------------------------------- */\r
-   fprintf(f,"</td><td style=\"text-align: right\">%Lu", ip->direct);\r
-   if(use_jquery_popups)\r
-   {\r
-     fprintf(f,"<span id=\"download_%d\" style=\"display:none\">",i);\r
-     for_each(sharedip, ips) if(eq(ip->name, sharedip->sharing))\r
-     {\r
-      fprintf(f,"<br />%Lu", sharedip->direct);\r
-     }\r
-     fputs("</span>\n",f);\r
-   }\r
-   fputs("</td>\n",f);\r
-   /* ----------------------------------------------- */\r
-\r
-   if(qos_proxy)\r
-   {\r
-    fprintf(f,"<td style=\"text-align: right\">%Lu</td>\n", ip->proxy);\r
-   }\r
-   /* upload ---------------------------------------- */\r
-   fprintf(f,"<td style=\"text-align: right\">%Lu", ip->upload);\r
-   if(use_jquery_popups)\r
-   {\r
-     fprintf(f,"<span id=\"upload_%d\" style=\"display:none\">",i);\r
-     for_each(sharedip,ips) if(eq(ip->name, sharedip->sharing))\r
-     {\r
-      fprintf(f,"<br />%Lu", sharedip->upload);\r
-     }\r
-     fputs("</span>\n",f);\r
-   }\r
-   fputs("</td>\n",f);\r
-   /* ----------------------------------------------- */\r
-\r
-   fprintf(f,"<td style=\"text-align: right\">%d</td>\n\\r
-<td style=\"text-align: right\">%d</td>\n\\r
-<td style=\"text-align: right\">%s%d%s</td>\n\\r
-<td>%s%d%s</td></tr>\n",\r
-             ip->min, ip->desired, \r
-             f1, ip->max, f2, \r
-             f1, ip->prio, f2);\r
-\r
-   total_traffic+=ip->traffic;\r
-   total_direct+=ip->direct;\r
-   total_proxy+=ip->proxy;\r
-   total_upload+=ip->upload;\r
-   if(ip->traffic>0)\r
-   {\r
-    active_classes++;\r
-    tmp_sum+=ip->traffic;\r
-    create(sum,Sum);\r
-    sum->l=tmp_sum;\r
-    sum->i=active_classes;\r
-    insert(sum,sums,order_by,i);\r
-   }\r
-\r
-   if(!just_preview)\r
-   {\r
-    append_log(ip);\r
-    for_each(sharedip,ips) if(eq(ip->name, sharedip->sharing))\r
-    {\r
-     append_log(sharedip);\r
-    }\r
-   }\r
-  }\r
-  fprintf(f,"</tbody><thead><tr>\n\\r
-<th colspan=\"%d\" style=\"text-align: left\">%d CLASSES</th>", colspan-7, i);\r
-  fprintf(f,"<th style=\"text-align: right\">%Lu</th><th style=\"text-align: right\">%Lu</th>\n", total_traffic, total_direct);\r
-  if(qos_proxy)\r
-  {\r
-   fprintf(f,"<th style=\"text-align: right\">%Lu</th>\n", total_proxy);\r
-  }\r
-  fprintf(f,"<th style=\"text-align: right\">%Lu</th>", total_upload);\r
-  fprintf(f,"<th colspan=\"4\"><span style=\"color:red\">LIMIT %dx</span> <span style=\"color:brown\">LOW-PRIO %dx</span></th></tr>\n</thead></table>\n",limit_count,prio_count);\r
-\r
-  row_odd_even = 0;\r
-  if(active_classes>10)\r
-  {\r
-   int top20_count=0,top20_perc1=0;\r
-   long long top20_perc2=0;\r
-   unsigned long long top20_sum=0l;\r
-  \r
-   fputs("<a name=\"erp\"></a><p><table class=\"decorated last\"><caption>Enterprise Resource Planning (ERP)</caption>\n",f);\r
-   fputs("<thead><tr>\n\\r
-<th>Analytic category</th>\n\\r
-<th colspan=\"2\" style=\"text-align: center\">Active Classes</th>\n\\r
-<th colspan=\"2\" style=\"text-align: center\">Data transfers</th>\n\\r
-</tr></thead><tbody>\n",f);\r
-\r
-   if_exists(sum,sums,sum->l>=total_traffic/4)\r
-   {\r
-    fprintf(f,"%s<td>Top 25%% of traffic</td>\n", tr_odd_even());\r
-    fprintf(f,"<td style=\"text-align: right\">%d</td>\n\\r
-<td style=\"text-align: right\">%d %%</td>\n\\r
-<td style=\"text-align: right\">%Lu MB</td>\n\\r
-<td style=\"text-align: right\">%Ld %%</td></tr>\n",\r
-              sum->i, (100*sum->i+50)/active_classes, sum->l, (100*sum->l+50)/total_traffic);\r
-   }\r
-   \r
-   if_exists(sum,sums,sum->i==10)\r
-   {\r
-    fprintf(f,"%s<td>Top 10 downloaders</td>\n", tr_odd_even());\r
-    fprintf(f,"<td style=\"text-align: right\"><strong>10</strong></td>\n\\r
-<td style=\"text-align: right\">%d %%</td>\n\\r
-<td style=\"text-align: right\">%Lu MB</td>\n\\r
-<td style=\"text-align: right\">%Ld %%</td></tr>\n",\r
-              (100*sum->i+50)/active_classes, sum->l, (100*sum->l+50)/total_traffic);\r
-   }\r
-\r
-   if_exists(sum,sums,sum->l>=total_traffic/2)\r
-   {\r
-    fprintf(f,"%s<td>Top 50%% of traffic</td>\n", tr_odd_even());\r
-    fprintf(f,"<td style=\"text-align: right\">%d</td>\n\\r
-<td style=\"text-align: right\">%d %%</td>\n\\r
-<td style=\"text-align: right\">%Lu MB</td>\n\\r
-<td style=\"text-align: right\"><strong>%Ld %%</strong></td></tr>\n",\r
-              sum->i,(100*sum->i+50)/active_classes,sum->l,(100*sum->l+50)/total_traffic);\r
-   }\r
-\r
-   if_exists(sum,sums,sum->l>=4*total_traffic/5)\r
-   {\r
-    fprintf(f,"%s<td>Top 80%% of traffic</td>\n", tr_odd_even());\r
-    fprintf(f,"<td style=\"text-align: right\">%d</td>\n\\r
-<td style=\"text-align: right\">%d %%</td>\n\\r
-<td style=\"text-align: right\">%Lu MB</td>\n\\r
-<td style=\"text-align: right\"><strong>%Ld %%</strong></td></tr>\n",\r
-              sum->i,(100*sum->i+50)/active_classes,sum->l,(100*sum->l+50)/total_traffic);\r
-   }\r
-\r
-   if_exists(sum,sums,sum->i>=(active_classes+1)/5)\r
-   {\r
-    fprintf(f,"%s<td>Top 20%% downloaders</td>\n", tr_odd_even());\r
-    top20_count=sum->i;\r
-    top20_perc1=(100*sum->i+50)/active_classes;\r
-    top20_sum=sum->l;\r
-    top20_perc2=(100*sum->l+50)/total_traffic;\r
-    fprintf(f,"<td style=\"text-align: right\">%d</td>\n\\r
-<td style=\"text-align: right\"><strong>%d %%</strong></td>\n\\r
-<td style=\"text-align: right\">%Lu MB</td>\n\\r
-<td style=\"text-align: right\">%Ld %%</td></tr>\n",\r
-              top20_count,top20_perc1,top20_sum,top20_perc2);\r
-   }\r
-\r
-   if_exists(sum,sums,sum->i>=(active_classes+1)/4)\r
-   {\r
-    fprintf(f,"%s<td>Top 25%% downloaders</td>\n", tr_odd_even());\r
-    fprintf(f,"<td style=\"text-align: right\">%d</td>\n\\r
-<td style=\"text-align: right\">%d %%</td>\n\\r
-<td style=\"text-align: right\">%Lu MB</td>\n\\r
-<td style=\"text-align: right\">%Ld %%</td></tr>\n",\r
-              sum->i,(100*sum->i+50)/active_classes,sum->l,(100*sum->l+50)/total_traffic);\r
-   }\r
-\r
-   if_exists(sum,sums,sum->i>=(active_classes+1)/2)\r
-   {\r
-    fprintf(f,"%s<td>Top 50%% downloaders</td>\n", tr_odd_even());\r
-    fprintf(f,"<td style=\"text-align: right\">%d</td>\n\\r
-<td style=\"text-align: right\"><strong>%d %%</strong></td>\n\\r
-<td style=\"text-align: right\">%Lu MB</td>\n\\r
-<td style=\"text-align: right\">%Ld %%</td></tr>\n",\r
-              sum->i,(100*sum->i+50)/active_classes,sum->l,(100*sum->l+50)/total_traffic);\r
-   }\r
-\r
-   if_exists(sum,sums,sum->i>=4*(active_classes+1)/5)\r
-   {\r
-    fprintf(f,"%s<td>Top 80%% downloaders</td>\n", tr_odd_even());\r
-    fprintf(f,"<td style=\"text-align: right\">%d</td>\n\\r
-<td style=\"text-align: right\">%d %%</td>\n\\r
-<td style=\"text-align: right\">%Lu MB</td>\n\\r
-<td style=\"text-align: right\">%Ld %%</td></tr></tbody>\n",\r
-              sum->i,(100*sum->i+50)/active_classes,sum->l,(100*sum->l+50)/total_traffic);\r
-   }\r
-\r
-   fprintf(f,"<thead><tr><th><a class=\"blue\" target=\"_blank\" href=\"%sERP.log\">All users, all traffic</a></th>\n", log_url);\r
-   fprintf(f,"<th style=\"text-align: right\">%d</th>\n\\r
-<th style=\"text-align: right\">100 %%</th>\n\\r
-<th style=\"text-align: right\">%Lu MB</th>\n\\r
-<th style=\"text-align: right\">100 %%</th></tr>\n",active_classes,total_traffic);\r
-   fputs("</thead></table>\n", f);\r
-\r
-   /* write basic ERP data to log directory */\r
-   if(!just_preview)\r
-   {\r
-    FILE *iplog;\r
-    sprintf(str,"%s/ERP.log",log_dir);\r
-    iplog=fopen(str,"a");\r
-    if(iplog)\r
-    {\r
-     fprintf(iplog,"%ld\t%d\t%d %%\t%Lu M\t%Ld %%\tACTIVE %d\tTRAFFIC %Lu M\tCLASSES %d\tFUP-LIMIT %d\tLOW-PRIO %d\t%s",\r
-                   time(NULL), top20_count, top20_perc1, top20_sum, top20_perc2, \r
-                   active_classes, total_traffic, i, limit_count, prio_count, d); /* d = date*/\r
-     fclose(iplog);\r
-    }\r
-    else\r
-    {\r
-     perror(str);\r
-    }\r
-   }\r
-  }\r
-\r
-  fprintf(f, stats_html_signature, version);\r
-  fclose(f);\r
- }\r
+ /*-----------------------------------------------------------------*/\r
+ printf("Writing statistics into HTML page %s ...\n", html);\r
+ /*-----------------------------------------------------------------*/\r
+ write_htmlandlogs(html, d,total, just_preview);\r
 \r
  if(just_preview)\r
  {\r
@@ -1506,7 +964,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
  puts("Generating iptables and tc classes ... ");\r
  /*-----------------------------------------------------------------*/\r
 \r
- for_each(ip, ips) if(ip->mark > 0)\r
+ for_each(ip, ips) if(ip->mark > 0 && !strchr(ip->addr,':')) /* works only for IPv4 so far */\r
  {\r
   if(idxs)\r
   {\r
This page took 0.380922 seconds and 4 git commands to generate.