minor bugfixes (#ifdef MONITORINGTRHU)
[svn/Prometheus-QoS/.git] / prometheus.c
index 70b0953b5da168e415953e3ca0a418fabdbb37bf..4cc02a02543b8c2c23c1070fcb09a3b6807362da 100644 (file)
@@ -2,12 +2,12 @@
 /* Prometheus QoS - you can "steal fire" from your ISP         */\r
 /* "fair-per-IP" quality of service (QoS) utility              */\r
 /* requires Linux 2.4.x or 2.6.x with HTB support              */\r
-/* Copyright(C) 2005-2013 Michael Polak, Arachne Aerospace     */\r
+/* Copyright(C) 2005-2020 Michael Polak, Arachne Aerospace     */\r
 /* iptables-restore support Copyright(C) 2007-2008 ludva       */\r
 /* Credit: CZFree.Net,Martin Devera,Netdave,Aquarius,Gandalf  */\r
 /* - - - - - - - - - - - - - - - - - - - - - - - - - - - - - */\r
 \r
-/* Modified by: xChaos, 20130124\r
+/* Modified by: xChaos, 20200107\r
                  ludva, 20080415\r
  \r
    Prometheus QoS is free software; you can redistribute it and/or\r
 #include "cll1-0.6.2.h"\r
 #include "ipstruct.h"\r
 \r
-const char *version = "0.8.3-i";\r
+const char *version = "1.0.0-a";\r
 \r
 /* - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - */\r
-/* Versions: 0.8.3 is development release, 0.8.4 will be "stable"  */\r
+/* Versions: 0.9.0 is development release, 1.0 will be "stable"    */\r
 /* Official Trac URL: https://dev.arachne.cz/svn/prometheus        */\r
 /* Official SVN URL: https://dev.arachne.cz/repos/prometheus       */\r
 /* BTC donations account: 19rriLx8vR19wGefPaMhakqnCYNYwjLvxq       */\r
@@ -40,7 +40,7 @@ const char *version = "0.8.3-i";
 /* Warning: unofficial Github mirror is not supported by author!  */\r
 /* - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - */\r
 \r
-const char *stats_html_signature = "<span class=\"small\">Statistics generated by Prometheus QoS version %s<br />GPL+Copyright(C)2005-2013 Michael Polak, <a target=\"_blank\" href=\"http://www.arachne.cz/\">Arachne Labs</a></span>\n";\r
+const char *stats_html_signature = "<span class=\"small\">Statistics generated by Prometheus QoS version %s<br />GPL+Copyright(C)2005-2020 Michael Polak, <a target=\"_blank\" href=\"http://www.arachne.cz/\">Arachne Labs</a></span>\n";\r
 \r
 #define STRLEN 512\r
 #undef DEBUG\r
@@ -58,7 +58,12 @@ const char               *ls = "/bin/ls"; /* this is not user configurable :-) *
 \r
 char          *config = "/etc/prometheus/prometheus.conf"; /* main configuration file */\r
 char           *hosts = "/etc/prometheus/hosts"; /* per-IP bandwidth definition file */\r
+char      *macrosfile = "/etc/prometheus/prometheus.macros"; /* rewrite rules for most common tariffs */\r
+char    *upstreamfile = "/etc/prometheus/upstream.interfaces"; /* list of interfaces to manage */\r
+char  *downstreamfile = "/etc/prometheus/downstream.interfaces"; /* list of interfaces to manage */\r
+char     *qosfreefile = "/etc/prometheus/qosfree.interfaces"; /* list of interfaces to manage */\r
 char    *iptablesfile = "/var/spool/prometheus.iptables"; /* temporary file for iptables-restore*/\r
+char    *iptablesdump = "/var/spool/prometheus.iptables-dump"; /* temporary file for iptables -L -v -x -n -t mangle */\r
 char   *ip6tablesfile = "/var/spool/prometheus.ip6tables"; /* temporary file for ip6tables-restore*/\r
 char          *credit = "/var/lib/misc/prometheus.credit"; /* credit log file */\r
 char        *classmap = "/var/lib/misc/prometheus.classes"; /* credit log file */\r
@@ -91,25 +96,28 @@ int      enable_credit = TRUE; /* enable credit file */
 int         use_credit = FALSE; /* use credit file (if enabled)*/\r
 char            *title = "Hall of Fame - Greatest Suckers"; /* hall of fame title */\r
 int       hall_of_fame = TRUE; /* enable hall of fame */\r
-char              *lan = "eth0"; /* LAN interface */\r
-char       *lan_medium = "100Mbit"; /* 10Mbit/100Mbit ethernet */\r
-char              *wan = "eth1"; /* WAN/ISP interface */\r
+char           *medium = "1000Mbit"; /* 10Mbit/100Mbit ethernet */\r
+//obsolete: char              *lan = "eth0"; /* LAN interface */\r
+//obsolete: char       *lan_medium = "1000Mbit"; /* 10Mbit/100Mbit ethernet */\r
 char        *ip6prefix = NULL; /* Prefix for global /48 IPv6 subnet */\r
-char       *wan_medium = "100Mbit"; /* 10Mbit/100Mbit ethernet */\r
 char         *qos_leaf = "sfq perturb 5"; /* leaf discipline */\r
 char    *qos_free_zone = NULL; /* QoS free zone */\r
-int          qos_proxy = TRUE; /* include proxy port to QoS */\r
+char *qos_free_dst_ipset = NULL; /* QoS free zone - dst match ipset name, must be prepared outside prometheus */\r
+char *qos_free_src_ipset = NULL; /* QoS free zone - src match ipset name, must be prepared outside prometheus */\r
+/* int          qos_proxy = TRUE; include proxy port to QoS */\r
 int        found_lmsid = FALSE; /* show links to users in LMS information system */\r
 int     include_upload = TRUE; /* upload+download=total traffic */\r
-char         *proxy_ip = "192.168.1.1/32"; /* our IP with proxy port */\r
-int         proxy_port = 3128; /* proxy port number */\r
-long long int     line = 1024; /* WAN/ISP download in kbps */\r
-long long int       up = 1024; /* WAN/ISP upload in kbps */\r
+/* char         *proxy_ip = "192.168.1.1/32";  our IP with proxy port */\r
+/* int         proxy_port = 3128; proxy port number */\r
+//obsolete: long long int     line = 1024; /* WAN/ISP download in kbps */\r
+//obsolete: long long int       up = 1024; /* WAN/ISP upload in kbps */\r
 int           free_min = 256; /* minimum guaranted bandwidth for all undefined hosts */\r
 int           free_max = 512; /* maximum allowed bandwidth for all undefined hosts */\r
+int      overlimit_min = 256; /* minimum guaranted bandwidth for all undefined hosts */\r
+int      overlimit_max = 512; /* maximum allowed bandwidth for all undefined hosts */\r
 int     qos_free_delay = 0; /* seconds to sleep before applying new QoS rules */\r
 int     digital_divide = 2; /* controls digital divide weirdness ratio, 1...3 */ \r
-int        max_nesting = 3; /* maximum nesting of HTB clases, built-in maximum seems to be 4 */\r
+int        max_nesting = 5; /* /include/uapi/linux/pkt_sched.h: #define TC_HTB_MAXDEPTH 8 [... - 3 parent classes] */\r
 int            htb_r2q = 256; /* should work for leaf values 512 kbps to 8 Mbps */\r
 int              burst = 8; /* HTB burst (in kbits) */\r
 int         burst_main = 64;\r
@@ -118,23 +126,26 @@ int     magic_treshold = 8; /* reduce ceil by X*magic_treshhold kbps (hard shapi
 int       keywordcount = 0;\r
 int        class_count = 0;\r
 int           ip_count = 0;\r
-/* not yet implemented:\r
-int      fixed_packets = 0; maximum number of pps per IP address (not class!) \r
-int       packet_limit = 5; maximum number of pps to htn CEIL, not rate !!! \r
-*/\r
 FILE         *log_file = NULL;\r
 char              *kwd = "via-prometheus"; /* /etc/hosts comment, eg. #qos-64-128 */\r
 \r
 const int highest_priority   = 0; /* highest HTB priority (HTB built-in value is 0) */\r
-const int lowest_priority    = 7; /* lowest HTB priority (HTB built-in value is 7) */\r
+const int lowest_priority    = 7; /* lowest HTB priority /include/uapi/linux/pkt_sched.h: #define TC_HTB_NUMPRIO 8 */\r
 const int idxtable_treshold1 = 24;      /* this is no longer configurable */\r
 const int idxtable_treshold2 = 12;      /* this is no longer configurable */\r
 const int idxtable_bitmask1  = 3;        /* this is no longer configurable */\r
 const int idxtable_bitmask2  = 3;        /* this is no longer configurable */\r
 \r
-struct IP *ips = NULL, *ip, *sharedip;\r
+struct IP *ips = NULL, *networks = NULL, *ip, *sharedip;\r
 struct Group *groups = NULL, *group;\r
-struct Keyword *keyword, *defaultkeyword=NULL, *keywords=NULL;\r
+struct Keyword *keyword, *defaultkeyword=NULL, *keywords = NULL;\r
+struct Macro *macro, *macros = NULL;\r
+struct Index *idxs = NULL, *idx, *metaindex;\r
+struct Interface *interfaces = NULL, *interface;\r
+struct QosFreeInterface *qosfreeinterfaces = NULL, *qosfreeinterface;\r
+\r
+#define FREE_CLASS      3\r
+#define OVERLIMIT_CLASS 4\r
 \r
 void help(void);\r
 /* implemented in help.c */
@@ -154,6 +165,15 @@ void write_json_traffic(char *json);
 void write_htmlandlogs(char *html, char *d, int total, int just_preview);\r
 /* implemented in htmlandlogs.c */\r
 \r
+void analyse_topology(char *traceroute);\r
+/* implemented in networks.c */\r
+\r
+char *parse_datafile_line(char *str);\r
+/* implemented in utils.c */\r
+\r
+time_t get_mtime(const char *path);\r
+/* implemented in utils.c */\r
+\r
 const char *tr_odd_even(void)\r
 {\r
  row_odd_even = 1 - row_odd_even;\r
@@ -167,20 +187,6 @@ const char *tr_odd_even(void)
  }\r
 }\r
 \r
-/* ==== This is C<<1 stuff - learn C<<1 first! https://dev.arachne.cz/svn/cll1h ==== */\r
-/* (except that this code uses obsolete, archaic version of this header file...)     */\r
-\r
-struct Index\r
-{\r
- char *addr;\r
- char *id;\r
- struct Index *parent;\r
- int bitmask;\r
- int children;\r
- int ipv6;\r
- list(Index);\r
-} *idxs=NULL, *idx, *metaindex;\r
-\r
 \r
 /* ====== iptables indexes are used to reduce complexity to log8(N) ===== */\r
 \r
@@ -217,24 +223,26 @@ void get_config(char *config_filename)
    printf("%s ",kwd);\r
 \r
    create(keyword,Keyword);\r
-   keyword->key=kwd;\r
-   keyword->asymetry_ratio=1;          /* ratio for ADSL-like upload */\r
-   keyword->asymetry_fixed=0;          /* fixed treshold for ADSL-like upload */\r
-   keyword->data_limit=8;              /* hard shaping: apply magic_treshold if max*data_limit MB exceeded */\r
-   keyword->data_prio=4;               /* soft shaping (qos): reduce HTB prio if max*data_prio MB exceeded */\r
-   keyword->fixed_limit=0;             /* fixed data limit for setting lower HTB ceil */\r
-   keyword->fixed_prio=0;              /* fixed data limit for setting lower HTB prio */\r
-   keyword->reserve_min=8;            /* bonus for nominal HTB rate bandwidth (in kbps) */\r
-   keyword->reserve_max=0;            /* malus for nominal HTB ceil (in kbps) */\r
-   keyword->default_prio=highest_priority+1;\r
-   keyword->html_color="000000";\r
-   keyword->ip_count=0;\r
-   keyword->leaf_discipline="";\r
-\r
-   push(keyword,keywords);\r
+   keyword->key = kwd;\r
+   keyword->asymetry_ratio = 1;          /* ratio for ADSL-like upload */\r
+   keyword->asymetry_fixed = 0;          /* fixed treshold for ADSL-like upload */\r
+   keyword->data_limit = 8;              /* hard shaping: apply magic_treshold if max*data_limit MB exceeded */\r
+   keyword->data_prio = 4;               /* soft shaping (qos): reduce HTB prio if max*data_prio MB exceeded */\r
+   keyword->fixed_limit = 0;             /* fixed data limit for setting lower HTB ceil */\r
+   keyword->fixed_prio = 0;              /* fixed data limit for setting lower HTB prio */\r
+   keyword->reserve_min = 8;            /* bonus for nominal HTB rate bandwidth (in kbps) */\r
+   keyword->reserve_max = 0;            /* malus for nominal HTB ceil (in kbps) */\r
+   keyword->default_prio = highest_priority+1;\r
+   keyword->download_aggregation = keyword->upload_aggregation = 0; /* disable by default */\r
+   keyword->html_color = "000000";\r
+   keyword->ip_count = 0;\r
+   keyword->leaf_discipline = "";\r
+   keyword->allowed_avgmtu = 0;\r
+\r
+   push(keyword, keywords);\r
    if(!defaultkeyword)\r
    {\r
-    defaultkeyword=keyword;\r
+    defaultkeyword = keyword;\r
    }\r
    keywordcount++;\r
    \r
@@ -250,17 +258,20 @@ void get_config(char *config_filename)
      {\r
       char *tmptr=_; /*  <---- l+1 ----> */\r
       _+=l+1;        /*  via-prometheus-asymetry-ratio, etc. */\r
-      ioption("asymetry-ratio",keyword->asymetry_ratio);\r
-      ioption("asymetry-treshold",keyword->asymetry_fixed);\r
-      ioption("magic-relative-limit",keyword->data_limit);\r
-      ioption("magic-relative-prio",keyword->data_prio);\r
-      loption("magic-fixed-limit",keyword->fixed_limit);\r
-      loption("magic-fixed-prio",keyword->fixed_prio);\r
-      ioption("htb-default-prio",keyword->default_prio);\r
-      ioption("htb-rate-bonus",keyword->reserve_min);\r
-      ioption("htb-ceil-malus",keyword->reserve_max);\r
-      option("leaf-discipline",keyword->leaf_discipline);\r
-      option("html-color",keyword->html_color);\r
+      foption("asymetry-ratio", keyword->asymetry_ratio);\r
+      ioption("asymetry-treshold", keyword->asymetry_fixed);\r
+      ioption("magic-relative-limit", keyword->data_limit);\r
+      ioption("magic-relative-prio", keyword->data_prio);\r
+      loption("magic-fixed-limit", keyword->fixed_limit);\r
+      loption("magic-fixed-prio", keyword->fixed_prio);\r
+      ioption("htb-default-prio", keyword->default_prio);\r
+      ioption("htb-rate-bonus", keyword->reserve_min);\r
+      ioption("htb-ceil-malus", keyword->reserve_max);\r
+      ioption("download-aggregation", keyword->download_aggregation);\r
+      ioption("upload-aggregation", keyword->upload_aggregation);\r
+      option("leaf-discipline", keyword->leaf_discipline);\r
+      option("html-color", keyword->html_color);\r
+      ioption("allowed-avgmtu" ,keyword->allowed_avgmtu);\r
       _=tmptr;\r
       \r
       if(keyword->data_limit || keyword->fixed_limit || \r
@@ -280,16 +291,17 @@ void get_config(char *config_filename)
   option("ip6tables-save",ip6tablessave);\r
   option("ip6tables-restore",ip6tablesrestore);\r
   option("iptables-in-filename",iptablesfile);\r
+  option("iptables-dump-filename",iptablesdump);\r
   option("ip6tables-in-filename",ip6tablesfile);\r
   option("hosts",hosts);\r
-  option("lan-interface",lan);\r
-  option("wan-interface",wan);\r
+  option("downstream-interfaces-list-filename",downstreamfile);\r
+  option("upstream-interfaces-list-filename",upstreamfile);\r
+  option("qos-free-interfaces-list-filename",qosfreefile);\r
+  option("macros-filename",macrosfile);\r
   option("ip6-prefix",ip6prefix);\r
-  option("lan-medium",lan_medium);\r
-  option("wan-medium",wan_medium);\r
-  lloption("wan-download",line);\r
-  lloption("wan-upload",up);\r
+  option("medium",medium);\r
   ioption("hall-of-fame-enable",hall_of_fame);\r
+  ioption("digital-divide-weirdness-ratio",digital_divide);\r
   option("hall-of-fame-title",title);\r
   option("hall-of-fame-filename",html);\r
   option("json-filename",json_traffic);\r
@@ -306,13 +318,17 @@ void get_config(char *config_filename)
   option("lms-url",lms_url);\r
   ioption("use-jquery-popups",use_jquery_popups);\r
   option("qos-free-zone",qos_free_zone);\r
+  option("qos-free-dst-ipset",qos_free_dst_ipset);\r
+  option("qos-free-src-ipset",qos_free_src_ipset);\r
   ioption("qos-free-delay",qos_free_delay);\r
-  ioption("qos-proxy-enable",qos_proxy);\r
-  option("qos-proxy-ip",proxy_ip);\r
+/*  ioption("qos-proxy-enable",qos_proxy); */\r
+/*  option("qos-proxy-ip",proxy_ip);*/\r
   option("htb-leaf-discipline",qos_leaf);\r
-  ioption("qos-proxy-port",proxy_port);\r
+/*  ioption("qos-proxy-port",proxy_port); */\r
   ioption("free-rate",free_min);\r
   ioption("free-ceil",free_max);\r
+  ioption("overlimit-rate",overlimit_min);\r
+  ioption("overlimit-ceil",overlimit_max);\r
   ioption("htb-burst",burst);\r
   ioption("htb-burst-main",burst_main);\r
   ioption("htb-burst-group",burst_group);\r
@@ -337,10 +353,10 @@ void get_config(char *config_filename)
  /* leaf discipline for keywords */\r
  for_each(keyword,keywords)\r
  {\r
-    if(!strcmpi(keyword->leaf_discipline, ""))\r
-    {\r
-        keyword->leaf_discipline = qos_leaf;\r
-    }\r
+  if(!strcmpi(keyword->leaf_discipline, ""))\r
+  {\r
+   keyword->leaf_discipline = qos_leaf;\r
+  }\r
  }\r
 \r
  if(strcmpi(cnf, "mark"))\r
@@ -355,13 +371,6 @@ void get_config(char *config_filename)
   mark = "MARK";\r
   mark_iptables = "MARK --set-mark ";\r
  }\r
-\r
- /* are supplied values meaningful ?*/\r
- if(line<=0 || up<=0)\r
- {\r
-  puts("Illegal value of LAN or WAN bandwidth: 0 kbps.");\r
-  reject_config_and_exit(config_filename);\r
- }\r
 }\r
 \r
  \r
@@ -395,16 +404,20 @@ void iptables_save_line(char *line, int ipv6)
  }\r
 }\r
 \r
+#define IPv4 FALSE\r
+#define IPv6 TRUE\r
+\r
+\r
 void run_iptables_restore(void)\r
 {\r
  char *restor;\r
- string(restor,STRLEN);\r
+ string(restor, STRLEN);\r
 \r
  /*-----------------------------------------------------------------*/\r
  printf("Running %s <%s ...\n", iptablesrestore, iptablesfile);\r
  /*-----------------------------------------------------------------*/\r
 \r
- iptables_save_line("COMMIT", FALSE);\r
+ iptables_save_line("COMMIT", IPv4);\r
  fclose(iptables_file);\r
  if(dry_run) \r
  {\r
@@ -423,7 +436,7 @@ void run_iptables_restore(void)
   /*-----------------------------------------------------------------*/\r
   printf("Running %s <%s ...\n", ip6tablesrestore, ip6tablesfile);\r
   /*-----------------------------------------------------------------*/\r
-  iptables_save_line("COMMIT", TRUE);\r
+  iptables_save_line("COMMIT", IPv6);\r
   fclose(ip6tables_file);\r
   if(dry_run) \r
   {\r
@@ -439,22 +452,10 @@ void run_iptables_restore(void)
  free(restor);\r
 }\r
 \r
-char *parse_datafile_line(char *str)\r
-{\r
- char *ptr=strchr(str,' ');\r
-\r
- if(ptr)\r
- {\r
-  *ptr=0;\r
-  ptr++;\r
-  return ptr;\r
- } \r
- else \r
- {\r
-  return NULL;\r
- }\r
-}\r
+/**/\r
 \r
+char *parse_datafile_line(char *str);\r
+time_t get_mtime(const char *path);\r
 \r
 /*-----------------------------------------------------------------*/\r
 /* Are you looking for int main(int argc, char **argv) ? :-))      */\r
@@ -465,24 +466,25 @@ program
  int i=0;                    /* just plain old Fortran style integer :-) */\r
  FILE *f=NULL;               /* everything is just stream of bytes... */\r
  char *str, *ptr, *d;        /* LET A$=B$ :-) */\r
- char *substring;\r
+ char *substring, *limit_pkts;\r
 \r
  int parent        = 1;\r
+ int just_networks = FALSE;  \r
  int just_flush    = FALSE;       /* deactivates all previous actions */\r
  int nodelay       = FALSE;\r
  int just_preview  = FALSE;       /* preview - generate just stats */\r
  int start_shaping = FALSE;       /* apply FUP - requires classmap file */\r
- int stop_shaping  = FALSE;       /* apply FUP - requires classmap file */\r
+ int stop_shaping  = FALSE;       /* lift FUP - requires classmap file */\r
+ int reduce_ceil     = 0;           /* allow only rate+(ceil-rate)/2, /4, etc. */\r
  int just_logs     = FALSE;       /* just parse logs */\r
  int run           = FALSE;\r
  int total         = 0;\r
  \r
- char *chain_forward, *chain_postrouting;\r
  char *althosts=NULL;\r
   \r
  printf("\n\\r
 Prometheus QoS - \"fair-per-IP\" Quality of Service setup utility.\n\\r
-Version %s - Copyright (C)2005-2013 Michael Polak, Arachne Labs\n\\r
+Version %s - Copyright (C)2005-2017 Michael Polak, Arachne Labs\n\\r
 iptables-restore & burst tunning & classify modification by Ludva\n\\r
 Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);\r
 \r
@@ -496,9 +498,12 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   argument("-9") { run=TRUE; just_flush=9; }\r
   argument("-p") { run=TRUE; just_preview=TRUE; }\r
   argument("-q") { run=TRUE; just_preview=TRUE; stop_shaping=TRUE; }\r
+  argument("-2") { run=TRUE; just_preview=TRUE; reduce_ceil=2; }\r
+  argument("-4") { run=TRUE; just_preview=TRUE; reduce_ceil=4; }\r
   argument("-s") { run=TRUE; just_preview=TRUE; start_shaping=TRUE; }\r
   argument("-r") { run=TRUE; }\r
   argument("-n") { run=TRUE; nodelay=TRUE; }\r
+  argument("-a") { run=TRUE; just_networks=TRUE; }\r
   argument("-l") { just_logs=TRUE; }\r
   argument("-m") { just_logs=TRUE; }\r
   argument("-y") { just_logs=TRUE; }\r
@@ -519,6 +524,57 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
  printf("Parsing configuration file %s ...\n", config);\r
  /*-----------------------------------------------------------------*/\r
  get_config(config);\r
+ /*-----------------------------------------------------------------*/\r
+ printf("Parsing upstream interfaces list %s ...\n", upstreamfile);\r
+ /*-----------------------------------------------------------------*/\r
+ parse(upstreamfile)\r
+ {\r
+  ptr = parse_datafile_line(_);\r
+  if(ptr)\r
+  {\r
+   create(interface, Interface);\r
+   interface->name = _;\r
+   interface->speed = (long long)atol(ptr);\r
+   /* is supplied value meaningful ?*/\r
+   if(interface->speed <= 0)\r
+   {\r
+    printf("Illegal value of %s interface bandwidth.\n", interface->name);\r
+    reject_config_and_exit(upstreamfile);\r
+   }\r
+   interface->is_upstream = TRUE;\r
+   interface->chain = "FORWARD";\r
+   interface->idxprefix = "forw";\r
+   push(interface, interfaces);\r
+   printf("Upstream interface %s: medium %s capacity %ld kbps\n", interface->name, medium, interface->speed);\r
+  }\r
+ }\r
+ done; /* ugly macro end */\r
+\r
+ /*-----------------------------------------------------------------*/\r
+ printf("Parsing downstream interfaces list %s ...\n", downstreamfile);\r
+ /*-----------------------------------------------------------------*/\r
+ parse(downstreamfile)\r
+ {\r
+  ptr = parse_datafile_line(_);\r
+  if(ptr)\r
+  {\r
+   create(interface, Interface);\r
+   interface->name = _;\r
+   interface->speed = (long long)atol(ptr);\r
+   /* is supplied value meaningful ?*/\r
+   if(interface->speed <= 0)\r
+   {\r
+    printf("Illegal value of %s interface bandwidth.\n", interface->name);\r
+    reject_config_and_exit(downstreamfile);\r
+   }\r
+   interface->is_upstream = FALSE;\r
+   interface->chain = "POSTROUTING";\r
+   interface->idxprefix = "post";\r
+   push(interface, interfaces);\r
+   printf("Downstream interface %s: medium %s capacity %ld kbps\n", interface->name, medium, interface->speed);\r
+  }\r
+ }\r
+ done; /* ugly macro end */\r
  \r
  if(just_logs)\r
  {\r
@@ -533,7 +589,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
 \r
  if(althosts)\r
  {\r
-  hosts=althosts;\r
+  hosts = althosts;\r
  }\r
 \r
  if(just_flush<9)\r
@@ -552,26 +608,100 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
  }\r
 \r
  /*-----------------------------------------------------------------*/\r
- printf("Parsing class defintion file %s ...\n", hosts);\r
+ /* cll1.h - let's allocate brand new character buffer...           */\r
  /*-----------------------------------------------------------------*/\r
- parse_hosts(hosts);\r
+ string(str, STRLEN); \r
+ string(limit_pkts, STRLEN);\r
 \r
  /*-----------------------------------------------------------------*/\r
- /* cll1.h - let's allocate brand new character buffer...           */\r
+ printf("Parsing qos free interfaces file %s ...\n", qosfreefile);\r
+ /*-----------------------------------------------------------------*/\r
+ load(qosfreeinterface, qosfreeinterfaces,\r
+      qosfreefile, QosFreeInterface, name);\r
+\r
+ /*-----------------------------------------------------------------*/\r
+ printf("Parsing macro definition file %s ...\n", macrosfile);\r
+ /*-----------------------------------------------------------------*/\r
+ parse(macrosfile)\r
+ {\r
+  ptr = parse_datafile_line(_);\r
+  if(ptr)\r
+  {\r
+   create(macro, Macro);\r
+   macro->rewrite_from = _;\r
+   macro->rewrite_to = ptr;\r
+   push(macro, macros);\r
+   printf("%s -> %s\n", macro->rewrite_from, macro->rewrite_to);\r
+  }\r
+ }\r
+ done; /* ugly macro end */\r
+\r
+\r
+\r
+ /*-----------------------------------------------------------------*/\r
+ printf("Parsing class defintion file %s ...\n", hosts);\r
  /*-----------------------------------------------------------------*/\r
- string(str,STRLEN); \r
+ parse_hosts(hosts);\r
+\r
+#ifdef MONITORINGTRHU_CTU\r
+//special hack only to generate certain required CSV statistics for www.ctu.cz (regulation body)\r
+//not required for everyday use, requires special syntax sugar in hosts file, see parsehosts.c\r
+ for_each(technology, technologies)\r
+ {\r
+  char *filename;\r
+  FILE *f;\r
+  string(filename, strlen(log_dir) + strlen(technology->filename) + 5);\r
+  strcpy(filename, log_dir);\r
+  strcat(filename, technology->filename); \r
+  strcat(filename, ".csv");\r
+  /*-----------------------------------------------------------------*/\r
+  printf("Writing report file %s ...\n", filename);\r
+  /*-----------------------------------------------------------------*/\r
+  f = fopen(filename, "w");\r
+  if(f)\r
+  {\r
+   for_each(ip, ips) if(eq(technology->filename, ip->technology_str))\r
+   {\r
+    fprintf(f,"%d,%s,%d\n", ip->lmsid, ip->ruian_id_str, ip->max);\r
+   }\r
+   fclose(f);\r
+  }\r
+  else\r
+   perror(filename); \r
+ } \r
+#endif\r
 \r
  /*-----------------------------------------------------------------*/\r
  puts("Resolving shared connections ...");\r
  /*-----------------------------------------------------------------*/\r
- for_each(ip,ips) if(ip->sharing)\r
+ for_each(ip, ips) if(ip->sharing)\r
  {\r
-  for_each(sharedip,ips) if(eq(sharedip->name, ip->sharing))\r
+  for_each(sharedip, ips) if(eq(sharedip->name, ip->sharing))\r
   {\r
    sharedip->traffic += ip->traffic;\r
+   sharedip->traffic_down += ip->direct;\r
+   sharedip->traffic_up += ip->upload;\r
    ip->traffic = 0;\r
    ip->mark = sharedip->mark; \r
    ip->lmsid = sharedip->lmsid;\r
+   ip->pps_limit = sharedip->pps_limit; /* no other way to do this */\r
+\r
+   /* Ugly hack: append IPv4 addresses of sharedip to IPv6 uplinks */\r
+   ptr = strchr(ip->addr, '+');\r
+   if(ptr && ptr-ip->addr > 1 && !sharedip->v6)\r
+   {\r
+    *(--ptr) = 0;\r
+    concatenate(ip->addr, sharedip->addr, ptr);\r
+    ip->name = ip->addr = ptr;\r
+    ptr = strchr(ip->addr, '.');\r
+    while(ptr && *ptr)\r
+    {\r
+     *ptr = ':';\r
+     ptr = strchr(ptr, '.');\r
+    }\r
+    ip->mask += 64;\r
+   }\r
+\r
    break;\r
   }\r
   if(not sharedip)\r
@@ -588,7 +718,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   /*-----------------------------------------------------------------*/\r
   parse(credit)\r
   {\r
-   ptr=parse_datafile_line(_);\r
+   ptr = parse_datafile_line(_);\r
    if(ptr)\r
    {\r
     if_exists(ip,ips,eq(ip->addr,_))\r
@@ -600,6 +730,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   done; /* ugly macro end */\r
  }\r
 \r
+\r
  if(!just_preview)\r
  {\r
   /*-----------------------------------------------------------------*/\r
@@ -612,7 +743,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
     perror(iptablesfile);\r
     exit(-1);\r
   }\r
-  iptables_save_line(iptablespreamble, FALSE);\r
+  iptables_save_line(iptablespreamble, IPv4);\r
 \r
   if(ip6prefix)\r
   {\r
@@ -622,8 +753,8 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
      perror(ip6tablesfile);\r
      exit(-1);\r
    }\r
-   iptables_save_line(iptablespreamble, TRUE);\r
-   iptables_save_line(ip6preamble, TRUE);\r
+   iptables_save_line(iptablespreamble, IPv6);\r
+   iptables_save_line(ip6preamble, IPv6);\r
   }\r
 \r
   run_iptables_restore();\r
@@ -635,47 +766,56 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
     exit(-1);\r
   }  \r
   \r
-  sprintf(str,"%s qdisc del dev %s root 2>/dev/null",tc,lan);\r
-  safe_run(str);\r
-\r
-  sprintf(str,"%s qdisc del dev %s root 2>/dev/null",tc,wan);\r
-  safe_run(str);\r
+  for_each(interface, interfaces)\r
+  {\r
+   sprintf(str,"%s qdisc del dev %s root 2>/dev/null", tc, interface->name);\r
+   safe_run(str);\r
+  }\r
   \r
   iptables_file=fopen(iptablesfile,"w");\r
-  iptables_save_line(iptablespreamble, FALSE);\r
+  iptables_save_line(iptablespreamble, IPv4);\r
   if(ip6prefix)\r
   {\r
    ip6tables_file=fopen(ip6tablesfile,"w");\r
-   iptables_save_line(iptablespreamble, TRUE);\r
-   iptables_save_line(ip6preamble, TRUE);\r
+   iptables_save_line(iptablespreamble, IPv6);\r
+   iptables_save_line(ip6preamble, IPv6);\r
   }\r
 \r
-  if(qos_free_zone && *qos_free_zone!='0') /* this is currently supported only for IPv4 */\r
+  if(qos_free_zone && *qos_free_zone != '0') /* this is currently supported only for IPv4 */\r
   {\r
-   char *chain;\r
-   \r
-   sprintf(str,"-A FORWARD -d %s -o %s -j ACCEPT", qos_free_zone, wan);\r
-   iptables_save_line(str, FALSE); /* this is currently supported only for IPv4 */\r
-   \r
-   if(qos_proxy)\r
+   for_each(interface, interfaces)\r
    {\r
-    iptables_save_line(":post_noproxy - [0:0]", FALSE);\r
-    sprintf(str,"-A POSTROUTING ! -p tcp -o %s -j post_noproxy", lan);\r
-    iptables_save_line(str , FALSE);\r
-    sprintf(str,"-A POSTROUTING ! -s %s -o %s -j post_noproxy", proxy_ip, lan);\r
-    iptables_save_line(str, FALSE);\r
-    sprintf(str,"-A POSTROUTING -s %s -p tcp ! --sport %d -o %s -j post_noproxy", proxy_ip, proxy_port, lan);\r
-    iptables_save_line(str, FALSE);\r
-\r
-    chain="post_noproxy";    \r
+    sprintf(str,"-A %s -%c %s -o %s -j ACCEPT", interface->chain, (interface->is_upstream?'d':'s'), qos_free_zone, interface->name);\r
+    iptables_save_line(str, IPv4);\r
    }\r
-   else\r
+  }\r
+\r
+  if(qos_free_dst_ipset && *qos_free_dst_ipset != '0') /* this is currently supported only for IPv4 */\r
+  {\r
+   for_each(interface, interfaces)\r
    {\r
-    chain="POSTROUTING";\r
+    sprintf(str,"-A %s -m set --match-set %s %s -o %s -j ACCEPT", interface->chain, qos_free_dst_ipset, (interface->is_upstream?"dst":"src"), interface->name);\r
+    iptables_save_line(str, IPv4);\r
+   }\r
+  }\r
+\r
+  if(qos_free_src_ipset && *qos_free_src_ipset != '0') /* this is currently supported only for IPv4 */\r
+  {\r
+   for_each(interface, interfaces)\r
+   {\r
+    sprintf(str,"-A %s -m set --match-set %s %s -o %s -j ACCEPT", interface->chain, qos_free_src_ipset, (interface->is_upstream?"src":"dst"), interface->name);\r
+    iptables_save_line(str, IPv4);\r
    }\r
-    \r
-   sprintf(str,"-A %s -s %s -o %s -j ACCEPT", chain, qos_free_zone, lan);\r
-   iptables_save_line(str, FALSE);\r
+  }\r
+  \r
+  for_each(qosfreeinterface, qosfreeinterfaces)\r
+  {\r
+    sprintf(str,"-A FORWARD -i %s -j ACCEPT", qosfreeinterface->name);\r
+    iptables_save_line(str, IPv4);  \r
+    iptables_save_line(str, IPv6);\r
+    sprintf(str,"-A POSTROUTING -o %s -j ACCEPT", qosfreeinterface->name);\r
+    iptables_save_line(str, IPv4);\r
+    iptables_save_line(str, IPv6);\r
   }\r
   \r
   if(ip_count > idxtable_treshold1 && !just_flush)\r
@@ -686,12 +826,12 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
    printf("Detected %d addresses - indexing iptables rules to improve performance...\n",ip_count);\r
    /*-----------------------------------------------------------------*/\r
 \r
-   iptables_save_line(":post_common - [0:0]", FALSE);\r
-   iptables_save_line(":forw_common - [0:0]", FALSE);\r
+   iptables_save_line(":post_common - [0:0]", IPv4);\r
+   iptables_save_line(":forw_common - [0:0]", IPv4);\r
    if(ip6prefix)\r
    {\r
-    iptables_save_line(":post_common - [0:0]", TRUE);\r
-    iptables_save_line(":forw_common - [0:0]", TRUE);\r
+    iptables_save_line(":post_common - [0:0]", IPv6);\r
+    iptables_save_line(":forw_common - [0:0]", IPv6);\r
    }\r
 \r
    for_each(ip,ips) if(ip->addr && *(ip->addr) && !eq(ip->addr,"0.0.0.0/0")) \r
@@ -764,7 +904,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
    sort(idx,idxs,order_by,bitmask);\r
 \r
    i=0;\r
-   for_each(idx,idxs)\r
+   for_each(idx, idxs)\r
    {\r
     if(idx->ipv6)\r
     {\r
@@ -782,53 +922,38 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
     sprintf(str,":forw_%s - [0:0]", idx->id);\r
     iptables_save_line(str, idx->ipv6);\r
 \r
-    if(idx->parent)\r
+    for_each(interface, interfaces)\r
     {\r
-     string(buf,strlen(idx->parent->id)+6);\r
-     sprintf(buf,"post_%s", idx->parent->id);\r
-    }\r
-    else\r
-    {\r
-     buf="POSTROUTING";\r
-    }\r
-\r
-    sprintf(str,"-A %s -d %s/%d -o %s -j post_%s", buf, subnet, idx->bitmask, lan, idx->id);\r
-    iptables_save_line(str, idx->ipv6);\r
+     if(idx->parent)\r
+     {\r
+      string(buf, strlen(idx->parent->id)+6);\r
+      sprintf(buf, "%s_%s", interface->idxprefix, idx->parent->id);\r
+     }\r
+     else\r
+     {\r
+      buf = interface->chain;\r
+     }\r
 \r
-    sprintf(str,"-A %s -d %s/%d -o %s -j post_common", buf, subnet, idx->bitmask, lan);\r
-    iptables_save_line(str, idx->ipv6);\r
+     sprintf(str, "-A %s -%c %s/%d -o %s -j %s_%s", \r
+                  buf, (interface->is_upstream?'s':'d'), subnet, idx->bitmask, interface->name, interface->idxprefix, idx->id);\r
+     iptables_save_line(str, idx->ipv6);\r
 \r
-    if(idx->parent)\r
-    {\r
-     string(buf,strlen(idx->parent->id)+6);\r
-     sprintf(buf,"forw_%s",idx->parent->id);\r
-    }\r
-    else\r
-    {\r
-     buf="FORWARD";\r
+     sprintf(str, "-A %s -%c %s/%d -o %s -j %s_common",\r
+                  buf, (interface->is_upstream?'s':'d'), subnet, idx->bitmask, interface->name, interface->idxprefix);\r
+     iptables_save_line(str, idx->ipv6);\r
     }\r
-\r
-    sprintf(str,"-A %s -s %s/%d -o %s -j forw_%s", buf, subnet, idx->bitmask, wan, idx->id);\r
-    iptables_save_line(str, idx->ipv6);\r
-\r
-    sprintf(str,"-A %s -s %s/%d -o %s -j forw_common", buf, subnet, idx->bitmask, wan);\r
-    iptables_save_line(str, idx->ipv6);\r
    }\r
    printf("Total indexed iptables chains created: %d\n", i);\r
 \r
-   sprintf(str,"-A FORWARD -o %s -j forw_common", wan);\r
-   iptables_save_line(str, FALSE);\r
-   \r
-   sprintf(str,"-A POSTROUTING -o %s -j post_common", lan);\r
-   iptables_save_line(str, FALSE);\r
-\r
-   if(ip6prefix)\r
+   for_each(interface, interfaces)\r
    {\r
-    sprintf(str,"-A FORWARD -o %s -j forw_common", wan);\r
-    iptables_save_line(str, TRUE);\r
-    \r
-    sprintf(str,"-A POSTROUTING -o %s -j post_common", lan);\r
-    iptables_save_line(str, TRUE);\r
+    sprintf(str,"-A %s -o %s -j %s_common", interface->chain, interface->name, interface->idxprefix);\r
+    iptables_save_line(str, IPv4);\r
+    if(ip6prefix)\r
+    {\r
+     sprintf(str,"-A %s -o %s -j %s_common", interface->chain, interface->name, interface->idxprefix);\r
+     iptables_save_line(str, IPv6);\r
+    }\r
    }\r
   }\r
  }\r
@@ -848,32 +973,24 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
  {\r
   if(!dry_run && !nodelay && qos_free_delay)\r
   {\r
-   printf("Flushed iptables and tc classes - now sleeping for %d seconds...\n",qos_free_delay);\r
+   printf("Flushed iptables and tc classes - now sleeping for %d seconds...\n", qos_free_delay);\r
    sleep(qos_free_delay);\r
   }\r
 \r
-  sprintf(str,"%s qdisc add dev %s root handle 1: htb r2q %d default 1",\r
-              tc,lan,htb_r2q);\r
-  safe_run(str);\r
-\r
-  sprintf(str, "%s class add dev %s parent 1: classid 1:2 htb rate %s ceil %s burst %dk prio %d",\r
-               tc,lan,lan_medium,lan_medium,burst_main,highest_priority);\r
-  safe_run(str);\r
-\r
-  sprintf(str, "%s class add dev %s parent 1:2 classid 1:1 htb rate %Ldkbit ceil %Ldkbit burst %dk prio %d",\r
-                tc,lan,line,line,burst_main,highest_priority);\r
-  safe_run(str);\r
-\r
-  sprintf(str,"%s qdisc add dev %s root handle 1: htb r2q %d default 1",tc,wan,htb_r2q);\r
-  safe_run(str);\r
+  for_each(interface, interfaces)\r
+  {\r
+   sprintf(str, "%s qdisc add dev %s root handle 1: htb r2q %d default 1",\r
+                tc, interface->name, htb_r2q);\r
+   safe_run(str);\r
 \r
-  sprintf(str, "%s class add dev %s parent 1: classid 1:2 htb rate %s ceil %s burst %dk prio %d",\r
-               tc,wan,wan_medium,wan_medium,burst_main,highest_priority);\r
-  safe_run(str);\r
+   sprintf(str, "%s class add dev %s parent 1: classid 1:2 htb rate %s ceil %s burst %dk prio %d",\r
+                tc, interface->name, medium, medium, burst_main, highest_priority);\r
+   safe_run(str);\r
 \r
-  sprintf(str, "%s class add dev %s parent 1:2 classid 1:1 htb rate %Ldkbit ceil %Ldkbit burst %dk prio %d",\r
-               tc,wan,up,up,burst_main,highest_priority);\r
-  safe_run(str);\r
+   sprintf(str, "%s class add dev %s parent 1:2 classid 1:1 htb rate %Ldkbit ceil %Ldkbit burst %dk prio %d",\r
+                tc, interface->name, interface->speed, interface->speed, burst_main, highest_priority);\r
+   safe_run(str);\r
+  }\r
  }\r
 \r
  /*-----------------------------------------------------------------*/\r
@@ -882,38 +999,32 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
  sort(ip,ips,desc_order_by,traffic); \r
 \r
  /*-----------------------------------------------------------------*/\r
- /* sub-scope - local variables */  \r
+ for_each(interface, interfaces)\r
  {\r
-  long long int rate = line;\r
-  long long int max = line;\r
+  long long int rate = interface->speed;\r
+  long long int max = interface->speed;\r
   int group_count = 0;\r
-  FILE *credit_file = NULL;\r
//obsolete: FILE *credit_file = NULL;\r
   \r
-  if(!just_preview && !dry_run && enable_credit)\r
-  {\r
-   credit_file = fopen(credit,"w");\r
-  }\r
-    \r
//obsolete:  if(!just_preview && !dry_run && enable_credit)\r
//obsolete:  {\r
//obsolete:   credit_file = fopen(credit,"w");\r
//obsolete:  }\r
+\r
   for_each(group,groups)\r
   {\r
    if(!just_preview)\r
    {\r
-    //download\r
-    sprintf(str,"%s class add dev %s parent 1:%d classid 1:%d htb rate %Ldkbit ceil %Ldkbit burst %dk prio %d #down desired %d", \r
-                 tc, lan, parent, group->id, rate, max, burst_group, highest_priority+1, group->desired);\r
-    safe_run(str);\r
-    \r
-    //upload\r
-    sprintf(str,"%s class add dev %s parent 1:%d classid 1:%d htb rate %Ldkbit ceil %Ldkbit burst %dk prio %d #up desired %d", \r
-                 tc, wan, parent, group->id, rate*up/line, max*up/line, burst_group, highest_priority+1, group->desired);\r
+    sprintf(str, "%s class add dev %s parent 1:%d classid 1:%d htb rate %Ldkbit ceil %Ldkbit burst %dk prio %d #down desired %d", \r
+                  tc, interface->name, parent, group->id, rate, max, burst_group, highest_priority+1, group->desired);\r
     safe_run(str);\r
    }\r
-   \r
+\r
    if(group_count++ < max_nesting)\r
    {\r
     parent = group->id;\r
    }\r
-   \r
+\r
    rate -= digital_divide*group->min;\r
    if(rate < group->min)\r
    {\r
@@ -921,6 +1032,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
    }\r
     \r
    /*shaping of aggresive downloaders, with credit file support */\r
+   /* obsolete\r
    if(use_credit)\r
    {\r
     int group_rate = group->min, priority_sequence = lowest_priority;\r
@@ -947,8 +1059,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
      {\r
       if(    ip->keyword->data_prio \r
           && !ip->fixedprio \r
-          && (   ip->traffic>ip->credit\r
-               + (ip->min*ip->keyword->data_prio+(ip->keyword->fixed_prio<<20))) )\r
+          && (   ip->traffic >   ip->credit + (ip->min*ip->keyword->data_prio+(ip->keyword->fixed_prio<<20))) )\r
       {\r
        ip->prio=priority_sequence--;\r
        if(ip->prio<highest_priority+1)\r
@@ -969,19 +1080,22 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
       }\r
      }\r
     }        \r
-   }\r
+   } obsolete */\r
   }\r
+  /* obsolete \r
   if(credit_file)\r
   {\r
    fclose(credit_file);\r
-  }\r
+  } obsolete */\r
  }\r
 \r
  if(just_preview)\r
  {\r
-  if(start_shaping || stop_shaping)\r
+  if(start_shaping || stop_shaping || reduce_ceil)\r
   {\r
-   printf("Reading %s and applying Fair Use Policy rules ... \n", classmap);\r
+   time_t how_much_seconds = time(NULL) - get_mtime(classmap); /* sice start of daily aggregation session */\r
+   printf("Reading %s (%ld seconds old) and applying Fair Use Policy and Aggregation rules... \n", classmap, how_much_seconds);\r
+     \r
    parse(classmap)\r
    {\r
     ptr=strchr(_,' ');\r
@@ -991,29 +1105,115 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
      ptr++;\r
      if_exists(ip,ips,eq(ip->addr,_))\r
      {\r
-      ip->mark=atoi(ptr);\r
-      if(ip->max < ip->desired || stop_shaping) /* apply or disable FUP limit immediately.... */\r
+      int unshape_this_ip = 0;\r
+      long avg_mbps_down = ip->traffic_down * 8 / how_much_seconds; \r
+      long avg_mbps_up = ip->traffic_up * 8 / how_much_seconds;\r
+      int agreg = 1, print_stats = 1;\r
+      \r
+      if(ip->keyword->download_aggregation)\r
+      {\r
+       int min_mbps = (ip->min/ip->keyword->download_aggregation)>>10;\r
+       if(min_mbps < 1)\r
+       {\r
+        min_mbps = 1;\r
+       }\r
+  \r
+       if(min_mbps <= avg_mbps_down)\r
+       {\r
+        unshape_this_ip = 0;\r
+        agreg = (int)((float)(avg_mbps_down+1)/min_mbps+.5);\r
+        ip->max /= agreg;\r
+        ip->pps_limit /= agreg;\r
+        printf("Download aggregation 1:%d for %s (min: %lu Mbps avg: %ld Mbps)\n", agreg, ip->name, min_mbps, avg_mbps_down);\r
+       }\r
+       else\r
+       {\r
+        unshape_this_ip = 1;\r
+       }\r
+      }\r
+      else if(ip->keyword->upload_aggregation)\r
+      {\r
+       int min_mbps = (ip->min/ip->keyword->upload_aggregation)>>10;\r
+       if(min_mbps < 1)\r
+       {\r
+        min_mbps = 1;\r
+       }\r
+\r
+       if(min_mbps <= avg_mbps_up)\r
+       {\r
+        unshape_this_ip = 0;\r
+        agreg = (int)((float)(avg_mbps_up+1)/min_mbps+.5);\r
+        ip->max /= agreg;\r
+        printf("Upload aggregation 1:%d for %s: (min: %lu Mbps avg: %ld Mbps)\n", agreg, ip->name, min_mbps, avg_mbps_up);\r
+       }\r
+       else\r
+       {\r
+        unshape_this_ip = 1;\r
+       }\r
+      }\r
+      if(stop_shaping)\r
+      {\r
+       unshape_this_ip = 1;\r
+      }\r
+      ip->aggregated = agreg;      \r
+      ip->mark = atoi(ptr);\r
+      if(ip->max < ip->desired || unshape_this_ip || reduce_ceil) /* apply or disable FUP limit immediately.... */\r
       {\r
-       if(stop_shaping)\r
+       if(unshape_this_ip)\r
        {\r
         ip->max = ip->desired;\r
-        printf("Removing limit for %-22s %-16s %04d ", ip->name, ip->addr, ip->mark);               \r
+        if(stop_shaping) /* all limits removed, but not printed with -s (start_shaping) switch */\r
+        {\r
+         printf("Removing limit for %s (%s) ", ip->name, ip->addr);\r
+        }\r
+        else\r
+        {\r
+         print_stats = 0;\r
+        }\r
        }\r
        else\r
        {\r
-        printf("Applying limit for %-22s %-16s %04d ", ip->name, ip->addr, ip->mark);       \r
+        printf("Updating %s (%s) ", ip->name, ip->addr);\r
+        if(reduce_ceil)\r
+        {\r
+         ip->max = ip->min + (ip->desired-ip->min)/reduce_ceil;\r
+        }\r
+        else if(ip->max < ip->min)\r
+        {\r
+         ip->max = ip->min;\r
+        }        \r
+       }\r
+       for_each(interface, interfaces)\r
+       {\r
+        if(!interface->is_upstream)\r
+        {\r
+         if(print_stats)\r
+         {\r
+          printf("[down %s: %dk-%dk wants %d]", interface->name, ip->min, ip->max, ip->desired);\r
+         }\r
+         sprintf(str, "%s class change dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d", \r
+                      tc, interface->name, ip->group, ip->mark, ip->min, ip->max, burst, ip->prio);\r
+         safe_run(str);\r
+        }\r
+        else\r
+        {\r
+         if(print_stats)\r
+         {\r
+          printf("[up %s: %dk-%dk wants %dk]", interface->name, (int)((ip->min/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed), \r
+                                             (int)((ip->desired/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed),\r
+                                             (int)((ip->desired/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed));\r
+         }\r
+         sprintf(str,"%s class change dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
+                      tc, interface->name, ip->group, ip->mark,\r
+                      (int)((ip->min/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed),\r
+                      (int)((ip->max/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed), burst, ip->prio);\r
+         safe_run(str);\r
+        }\r
+       }\r
+       if(print_stats)\r
+       {\r
+        printf("\n");\r
        }\r
-       printf("(down: %dk-%dk ", ip->min, ip->max); \r
-       sprintf(str, "%s class change dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d", \r
-                    tc, lan, ip->group, ip->mark,ip->min,ip->max, burst, ip->prio);\r
-       safe_run(str);\r
-       printf("up: %dk-%dk)\n", (int)((ip->min/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed), \r
-                                (int)((ip->max/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed));\r
-       sprintf(str,"%s class change dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
-                    tc, wan, ip->group, ip->mark,\r
-                    (int)((ip->min/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed),\r
-                    (int)((ip->max/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed), burst, ip->prio);\r
-       safe_run(str);\r
       }\r
      }\r
     }\r
@@ -1042,6 +1242,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   printf("Writing statistics into HTML page %s ...\n", html);\r
   /*-----------------------------------------------------------------*/\r
   write_htmlandlogs(html, d, total, just_preview);\r
+  printf("\n");\r
  }\r
 \r
  if(just_preview)\r
@@ -1051,6 +1252,10 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   {\r
    swchar='s';\r
   }\r
+  else if(reduce_ceil)\r
+  {\r
+   swchar='0'+reduce_ceil; /* -2, -4 */\r
+  }\r
   else if(stop_shaping)\r
   {\r
    swchar='q';\r
@@ -1076,223 +1281,176 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
  printf(" + generating iptables and tc classes ... ");\r
  /*-----------------------------------------------------------------*/\r
 \r
- for_each(ip, ips) if(ip->mark > 0) /* works only for IPv4 so far */\r
+ for_each(ip, ips) if(ip->mark > 0)\r
  {\r
-  if(idxs)\r
+  for_each(interface, interfaces)\r
   {\r
-   char *buf;\r
-   duplicate(ip->addr,buf);\r
-   if(ip->v6)\r
+   char *chain;\r
+   if(idxs)\r
    {\r
-    buf=index6_id(ip->addr,64-idxtable_bitmask1);\r
+    char *buf;\r
+    duplicate(ip->addr,buf);\r
+    if(ip->v6)\r
+    {\r
+     buf=index6_id(ip->addr,64-idxtable_bitmask1);\r
+    }\r
+    else\r
+    {\r
+     buf=index_id(ip->addr,32-idxtable_bitmask1);\r
+    }\r
+    \r
+    string(chain, 6+strlen(buf));\r
+    sprintf(chain, "%s_", interface->idxprefix);\r
+    strcat(chain, buf);\r
+\r
+    free(buf);\r
    }\r
    else\r
    {\r
-    buf=index_id(ip->addr,32-idxtable_bitmask1);\r
+    chain = interface->chain;\r
    }\r
-   \r
-   string(chain_forward,6+strlen(buf));\r
-   strcpy(chain_forward,"forw_");\r
-   strcat(chain_forward,buf);\r
-\r
-   string(chain_postrouting,6+strlen(buf));\r
-   strcpy(chain_postrouting,"post_");\r
-   strcat(chain_postrouting,buf);\r
-   \r
-   free(buf);\r
-  }\r
-  else\r
-  {\r
-   chain_forward="FORWARD";\r
-   chain_postrouting="POSTROUTING";\r
-  }\r
 \r
-#ifdef DEBUG\r
-  printf("%-22s %-16s %04d ", ip->name, ip->addr, ip->mark); \r
-#endif\r
+   /* packet limits - this will be optional in future */\r
+   if(ip->pps_limit)\r
+   {\r
+    sprintf(limit_pkts, "-m limit --limit %d/s --limit-burst %d ", \r
+                        ip->pps_limit, ip->pps_limit);\r
+   }\r
+   else\r
+   {\r
+    *limit_pkts = 0;\r
+   }  \r
 \r
-  /* -------------------------------------------------------- mark download */\r
-  \r
-  sprintf(str, "-A %s -d %s/%d -o %s -j %s%d",\r
-               chain_postrouting, ip->addr, 32*(1+ip->v6), lan, mark_iptables, ip->mark);\r
-  /* -m limit --limit 1/s */  \r
-  iptables_save_line(str, ip->v6);\r
+ #ifdef DEBUG\r
+   printf("%-22s %-16s %04d %d/s\n", ip->name, ip->addr, ip->mark, ip->pps_limit); \r
+ #endif\r
 \r
-  if(qos_proxy)\r
-  {\r
-   sprintf(str, "-A %s -s %s -p tcp --sport %d -d %s/%d -o %s -j %s%d",\r
-                chain_postrouting, proxy_ip, proxy_port, ip->addr, 32*(1+ip->v6), lan, mark_iptables, ip->mark);\r
+   /* ------------------------------------------------ iptables classify */\r
+   sprintf(str, "-A %s -%c %s/%d -o %s -j %s%d",\r
+                chain, (interface->is_upstream?'s':'d'), ip->addr, ip->mask,\r
+                interface->name, mark_iptables, ip->mark);\r
    iptables_save_line(str, ip->v6);\r
-  }\r
-\r
-  sprintf(str, "-A %s -d %s/%d -o %s -j ACCEPT",\r
-               chain_postrouting, ip->addr, 32*(1+ip->v6), lan);\r
-  iptables_save_line(str, ip->v6);\r
-\r
-  /* -------------------------------------------------------- mark upload */\r
-  sprintf(str, "-A %s -s %s/%d -o %s -j %s%d", \r
-               chain_forward, ip->addr, 32*(1+ip->v6), wan, mark_iptables, ip->mark);\r
-  iptables_save_line(str, ip->v6);\r
-\r
-  sprintf(str, "-A %s -s %s/%d -o %s -j ACCEPT",\r
-               chain_forward, ip->addr, 32*(1+ip->v6), wan);\r
-  iptables_save_line(str, ip->v6);\r
-\r
-  if(ip->min)\r
-  {\r
-   /* -------------------------------------------------------- download class */\r
-#ifdef DEBUG\r
-   printf("(down: %dk-%dk ", ip->min, ip->max); \r
-#endif\r
 \r
-   sprintf(str, "%s class add dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d", \r
-                tc, lan, ip->group, ip->mark,ip->min,ip->max, burst, ip->prio);\r
-   safe_run(str);\r
+   sprintf(str, "-A %s -%c %s/%d -o %s %s-j ACCEPT",\r
+                chain, (interface->is_upstream?'s':'d'),ip->addr, ip->mask,\r
+                interface->name, limit_pkts);\r
+   iptables_save_line(str, ip->v6);\r
 \r
-   if(strcmpi(ip->keyword->leaf_discipline, "none"))\r
+   if(*limit_pkts) /* non-empty string?*/\r
    {\r
-    sprintf(str, "%s qdisc add dev %s parent 1:%d handle %d %s", \r
-                 tc, lan, ip->mark, ip->mark, ip->keyword->leaf_discipline); /*qos_leaf*/\r
-    safe_run(str);\r
+    /* classify overlimit packets to separate overlimit class */\r
+    sprintf(str, "-A %s -%c %s/%d -o %s -j %s%d",\r
+                 chain, (interface->is_upstream?'s':'d'), ip->addr, ip->mask,\r
+                 interface->name, mark_iptables, OVERLIMIT_CLASS);\r
+    iptables_save_line(str, ip->v6);\r
+\r
+    sprintf(str, "-A %s -%c %s/%d -o %s -j ACCEPT",\r
+                 chain, (interface->is_upstream?'s':'d'), ip->addr, ip->mask,\r
+                 interface->name);\r
+    iptables_save_line(str, ip->v6);\r
    }\r
 \r
-   if(filter_type == 1)\r
+   if(ip->min)\r
    {\r
-    sprintf(str, "%s filter add dev %s parent 1:0 protocol ip handle %d fw flowid 1:%d",\r
-                 tc, lan, ip->mark, ip->mark);\r
-    safe_run(str);\r
-   }\r
-\r
-   /* -------------------------------------------------------- upload class */\r
-#ifdef DEBUG\r
-   printf("up: %dk-%dk)\n", (int)((ip->min/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed), \r
-                            (int)((ip->max/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed));\r
-#endif\r
-\r
-   sprintf(str,"%s class add dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
-                tc, wan, ip->group, ip->mark,\r
-                (int)((ip->min/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed),\r
-                (int)((ip->max/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed), burst, ip->prio);\r
-   safe_run(str);\r
+    //TODO - min and max should not exceed interface->speed\r
    \r
-   if(strcmpi(ip->keyword->leaf_discipline, "none"))\r
-   {\r
-    sprintf(str, "%s qdisc add dev %s parent 1:%d handle %d %s",\r
-                 tc, wan, ip->mark, ip->mark, ip->keyword->leaf_discipline); /*qos_leaf*/\r
-    safe_run(str);\r
-   }   \r
+    /* -------------------------------------------------------- tc class */\r
+ #ifdef DEBUG\r
+    printf("[down: %dk-%dk]", ip->min, ip->max);\r
+ #endif\r
 \r
-   if(filter_type == 1)\r
-   {\r
-    sprintf(str, "%s filter add dev %s parent 1:0 protocol ip handle %d fw flowid 1:%d",\r
-                 tc, wan, ip->mark, ip->mark);\r
+    sprintf(str, "%s class add dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d", \r
+                 tc, interface->name, ip->group, ip->mark, ip->min, ip->max, burst, ip->prio);\r
     safe_run(str);\r
+\r
+    if(strcmpi(ip->keyword->leaf_discipline, "none"))\r
+    {\r
+     sprintf(str, "%s qdisc add dev %s parent 1:%d handle %d %s", \r
+                  tc, interface->name, ip->mark, ip->mark, ip->keyword->leaf_discipline); /*qos_leaf*/\r
+     safe_run(str);\r
+    }\r
+\r
+    if(filter_type == 1)\r
+    {\r
+     sprintf(str, "%s filter add dev %s parent 1:0 protocol ip handle %d fw flowid 1:%d",\r
+                  tc, interface->name, ip->mark, ip->mark);\r
+     safe_run(str);\r
+    }\r
    }\r
-  \r
-   if(f > 0)\r
+   else\r
    {\r
-    fprintf(f, "%s %d\n", ip->addr, ip->mark);\r
+ #ifdef DEBUG\r
+    printf("(sharing %s)\n", ip->sharing);\r
+ #endif\r
    }\r
+   i++;\r
   }\r
-  else\r
+  if(ip->min && f > 0)\r
   {\r
-#ifdef DEBUG\r
-   printf("(sharing %s)\n", ip->sharing);\r
-#endif\r
+   fprintf(f, "%s %d\n", ip->addr, ip->mark);\r
   }\r
-  i++;\r
  }\r
  if(f > 0)\r
  {\r
   puts("done.");\r
   fclose(f);\r
  }\r
\r
- if(idxs)\r
- {\r
-  chain_forward = "forw_common";\r
-  chain_postrouting = "post_common";\r
- }\r
- else\r
- {\r
-  chain_forward = "FORWARD";\r
-  chain_postrouting = "POSTROUTING";\r
- }\r
-\r
- if(free_min)\r
- {\r
-  final_chain = "ACCEPT";\r
- }\r
 \r
if(qos_proxy)\r
for_each(interface, interfaces)\r
  {\r
-  if(free_min) \r
+  char *chain;\r
+  if(idxs)\r
   {\r
-   sprintf(str, "-A %s -s %s -p tcp --sport %d -o %s -j %s%d",\r
-                chain_postrouting,proxy_ip,proxy_port,lan,mark_iptables, 3);\r
-   iptables_save_line(str, FALSE); /* only for IPv4 */\r
+   string(chain, STRLEN);\r
+   sprintf(chain, "%s_common", interface->idxprefix);\r
+  }\r
+  else\r
+  {\r
+   chain = interface->chain;\r
   }\r
-  sprintf(str, "-A %s -s %s -p tcp --sport %d -o %s -j %s",\r
-               chain_postrouting,proxy_ip,proxy_port,lan,final_chain);\r
-  iptables_save_line(str, FALSE); /* only for IPv4 */\r
- }\r
-\r
- if(free_min)\r
- {\r
-  sprintf(str, "-A %s -o %s -j %s%d",\r
-               chain_postrouting, lan, mark_iptables, 3);\r
-  iptables_save_line(str, FALSE); /* only for IPv4 */\r
- }\r
 \r
- sprintf(str,"-A %s -o %s -j %s", chain_postrouting, lan, final_chain);\r
- iptables_save_line(str, FALSE);\r
- if(ip6prefix)\r
- {\r
-  sprintf(str,"-A %s -o %s -j %s", chain_postrouting, lan, final_chain);\r
-  iptables_save_line(str, TRUE);\r
- }\r
+  if(free_min)\r
+  {\r
+   final_chain = "ACCEPT";\r
 \r
- if(free_min)\r
- {\r
-  sprintf(str,"-A %s -o %s -j %s%d", chain_forward, wan, mark_iptables, 3);\r
-  iptables_save_line(str, FALSE); /* only for IPv4 */\r
- }\r
+   sprintf(str, "-A %s -o %s -j %s%d",\r
+                chain, interface->name, mark_iptables, FREE_CLASS);\r
+   iptables_save_line(str, IPv4); /* only for IPv4 */\r
+  }\r
 \r
sprintf(str,"-A %s -o %s -j %s", chain_forward, wan, final_chain);\r
iptables_save_line(str, FALSE);\r
- if(ip6prefix)\r
- {\r
-  sprintf(str,"-A %s -o %s -j %s", chain_postrouting, lan, final_chain);\r
-  iptables_save_line(str, TRUE);\r
- }\r
 sprintf(str,"-A %s -o %s -j %s", chain, interface->name, final_chain);\r
 iptables_save_line(str, IPv4);\r
 if(ip6prefix)\r
 {\r
+   sprintf(str,"-A %s -o %s -j %s", chain, interface->name, final_chain);\r
+   iptables_save_line(str, IPv6);\r
 }\r
 \r
- if(free_min) /* allocate free bandwith if it is not zero... */ \r
- {\r
 if(free_min) /* allocate free bandwith if it is not zero... */ \r
 {\r
    /*-----------------------------------------------------------------*/\r
-   puts("Generating free bandwith classes ...");\r
+   puts("Generating free bandwith class ...");\r
    /*-----------------------------------------------------------------*/\r
-   sprintf(str, "%s class add dev %s parent 1:%d classid 1:3 htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
-                tc, lan, parent, free_min, free_max,burst, lowest_priority);\r
-   safe_run(str);\r
-   sprintf(str, "%s class add dev %s parent 1:%d classid 1:3 htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
-                tc, wan, parent, free_min, free_max, burst, lowest_priority);\r
+   sprintf(str, "%s class add dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
+                tc, interface->name, parent, FREE_CLASS, free_min, free_max,burst, lowest_priority);\r
    safe_run(str);\r
    /* tc SFQ */\r
    if(strcmpi(qos_leaf, "none"))\r
    {\r
-     sprintf(str,"%s qdisc add dev %s parent 1:3 handle 3 %s", tc, lan, qos_leaf);\r
-     safe_run(str);\r
-   \r
-     sprintf(str,"%s qdisc add dev %s parent 1:3 handle 3 %s", tc, wan, qos_leaf);\r
+     sprintf(str,"%s qdisc add dev %s parent 1:%d handle %d %s", tc, interface->name, FREE_CLASS, FREE_CLASS, qos_leaf);\r
      safe_run(str);\r
    }   \r
    /* tc handle 1 fw flowid */\r
-   sprintf(str,"%s filter add dev %s parent 1:0 protocol ip handle 3 fw flowid 1:3", tc, lan);\r
-   safe_run(str);\r
-\r
-   sprintf(str,"%s filter add dev %s parent 1:0 protocol ip handle 3 fw flowid 1:3", tc, wan);\r
+   sprintf(str,"%s filter add dev %s parent 1:0 protocol ip handle %d fw flowid 1:%d", tc, interface->name, FREE_CLASS, FREE_CLASS);\r
    safe_run(str);\r
- }\r
+  }\r
+  /*-----------------------------------------------------------------*/\r
+  puts("Generating bandwith class for overlimit packets...");\r
+  /*-----------------------------------------------------------------*/\r
+  sprintf(str, "%s class add dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
+               tc, interface->name, parent, OVERLIMIT_CLASS, overlimit_min, overlimit_max, burst, lowest_priority);\r
+  safe_run(str);\r
+ } \r
  printf("Total IP count: %d\n", i);\r
  run_iptables_restore();\r
  if(log_file)\r
This page took 0.586187 seconds and 4 git commands to generate.