digital-divide, total avg.speed was nonsense
[svn/Prometheus-QoS/.git] / prometheus.c
index 70b0953b5da168e415953e3ca0a418fabdbb37bf..993b185aeda82202bc4a85313c847e8c11a677dc 100644 (file)
@@ -2,12 +2,12 @@
 /* Prometheus QoS - you can "steal fire" from your ISP         */\r
 /* "fair-per-IP" quality of service (QoS) utility              */\r
 /* requires Linux 2.4.x or 2.6.x with HTB support              */\r
-/* Copyright(C) 2005-2013 Michael Polak, Arachne Aerospace     */\r
+/* Copyright(C) 2005-2015 Michael Polak, Arachne Aerospace     */\r
 /* iptables-restore support Copyright(C) 2007-2008 ludva       */\r
 /* Credit: CZFree.Net,Martin Devera,Netdave,Aquarius,Gandalf  */\r
 /* - - - - - - - - - - - - - - - - - - - - - - - - - - - - - */\r
 \r
-/* Modified by: xChaos, 20130124\r
+/* Modified by: xChaos, 20160622\r
                  ludva, 20080415\r
  \r
    Prometheus QoS is free software; you can redistribute it and/or\r
 #include "cll1-0.6.2.h"\r
 #include "ipstruct.h"\r
 \r
-const char *version = "0.8.3-i";\r
+const char *version = "0.8.5-e";\r
 \r
 /* - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - */\r
-/* Versions: 0.8.3 is development release, 0.8.4 will be "stable"  */\r
+/* Versions: 0.8.5 is development release, 0.8.6 will be "stable"  */\r
 /* Official Trac URL: https://dev.arachne.cz/svn/prometheus        */\r
 /* Official SVN URL: https://dev.arachne.cz/repos/prometheus       */\r
 /* BTC donations account: 19rriLx8vR19wGefPaMhakqnCYNYwjLvxq       */\r
@@ -40,7 +40,7 @@ const char *version = "0.8.3-i";
 /* Warning: unofficial Github mirror is not supported by author!  */\r
 /* - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - */\r
 \r
-const char *stats_html_signature = "<span class=\"small\">Statistics generated by Prometheus QoS version %s<br />GPL+Copyright(C)2005-2013 Michael Polak, <a target=\"_blank\" href=\"http://www.arachne.cz/\">Arachne Labs</a></span>\n";\r
+const char *stats_html_signature = "<span class=\"small\">Statistics generated by Prometheus QoS version %s<br />GPL+Copyright(C)2005-2015 Michael Polak, <a target=\"_blank\" href=\"http://www.arachne.cz/\">Arachne Labs</a></span>\n";\r
 \r
 #define STRLEN 512\r
 #undef DEBUG\r
@@ -58,6 +58,7 @@ const char               *ls = "/bin/ls"; /* this is not user configurable :-) *
 \r
 char          *config = "/etc/prometheus/prometheus.conf"; /* main configuration file */\r
 char           *hosts = "/etc/prometheus/hosts"; /* per-IP bandwidth definition file */\r
+char      *macrosfile = "/etc/prometheus/prometheus.macros"; /* rewrite rules for most common tariffs */\r
 char    *iptablesfile = "/var/spool/prometheus.iptables"; /* temporary file for iptables-restore*/\r
 char   *ip6tablesfile = "/var/spool/prometheus.ip6tables"; /* temporary file for ip6tables-restore*/\r
 char          *credit = "/var/lib/misc/prometheus.credit"; /* credit log file */\r
@@ -98,18 +99,20 @@ char        *ip6prefix = NULL; /* Prefix for global /48 IPv6 subnet */
 char       *wan_medium = "100Mbit"; /* 10Mbit/100Mbit ethernet */\r
 char         *qos_leaf = "sfq perturb 5"; /* leaf discipline */\r
 char    *qos_free_zone = NULL; /* QoS free zone */\r
-int          qos_proxy = TRUE; /* include proxy port to QoS */\r
+/* int          qos_proxy = TRUE; include proxy port to QoS */\r
 int        found_lmsid = FALSE; /* show links to users in LMS information system */\r
 int     include_upload = TRUE; /* upload+download=total traffic */\r
-char         *proxy_ip = "192.168.1.1/32"; /* our IP with proxy port */\r
-int         proxy_port = 3128; /* proxy port number */\r
+/* char         *proxy_ip = "192.168.1.1/32";  our IP with proxy port */\r
+/* int         proxy_port = 3128; proxy port number */\r
 long long int     line = 1024; /* WAN/ISP download in kbps */\r
 long long int       up = 1024; /* WAN/ISP upload in kbps */\r
 int           free_min = 256; /* minimum guaranted bandwidth for all undefined hosts */\r
 int           free_max = 512; /* maximum allowed bandwidth for all undefined hosts */\r
+int      overlimit_min = 256; /* minimum guaranted bandwidth for all undefined hosts */\r
+int      overlimit_max = 512; /* maximum allowed bandwidth for all undefined hosts */\r
 int     qos_free_delay = 0; /* seconds to sleep before applying new QoS rules */\r
 int     digital_divide = 2; /* controls digital divide weirdness ratio, 1...3 */ \r
-int        max_nesting = 3; /* maximum nesting of HTB clases, built-in maximum seems to be 4 */\r
+int        max_nesting = 5; /* /include/uapi/linux/pkt_sched.h: #define TC_HTB_MAXDEPTH 8 [... - 3 parent classes] */\r
 int            htb_r2q = 256; /* should work for leaf values 512 kbps to 8 Mbps */\r
 int              burst = 8; /* HTB burst (in kbits) */\r
 int         burst_main = 64;\r
@@ -118,23 +121,23 @@ int     magic_treshold = 8; /* reduce ceil by X*magic_treshhold kbps (hard shapi
 int       keywordcount = 0;\r
 int        class_count = 0;\r
 int           ip_count = 0;\r
-/* not yet implemented:\r
-int      fixed_packets = 0; maximum number of pps per IP address (not class!) \r
-int       packet_limit = 5; maximum number of pps to htn CEIL, not rate !!! \r
-*/\r
 FILE         *log_file = NULL;\r
 char              *kwd = "via-prometheus"; /* /etc/hosts comment, eg. #qos-64-128 */\r
 \r
 const int highest_priority   = 0; /* highest HTB priority (HTB built-in value is 0) */\r
-const int lowest_priority    = 7; /* lowest HTB priority (HTB built-in value is 7) */\r
+const int lowest_priority    = 7; /* lowest HTB priority /include/uapi/linux/pkt_sched.h: #define TC_HTB_NUMPRIO 8 */\r
 const int idxtable_treshold1 = 24;      /* this is no longer configurable */\r
 const int idxtable_treshold2 = 12;      /* this is no longer configurable */\r
 const int idxtable_bitmask1  = 3;        /* this is no longer configurable */\r
 const int idxtable_bitmask2  = 3;        /* this is no longer configurable */\r
 \r
-struct IP *ips = NULL, *ip, *sharedip;\r
+struct IP *ips = NULL, *networks = NULL, *ip, *sharedip;\r
 struct Group *groups = NULL, *group;\r
-struct Keyword *keyword, *defaultkeyword=NULL, *keywords=NULL;\r
+struct Keyword *keyword, *defaultkeyword=NULL, *keywords = NULL;\r
+struct Macro *macro, *macros = NULL;\r
+\r
+#define FREE_CLASS      3\r
+#define OVERLIMIT_CLASS 4\r
 \r
 void help(void);\r
 /* implemented in help.c */
@@ -154,6 +157,15 @@ void write_json_traffic(char *json);
 void write_htmlandlogs(char *html, char *d, int total, int just_preview);\r
 /* implemented in htmlandlogs.c */\r
 \r
+void analyse_topology(char *traceroute);\r
+/* implemented in networks.c */\r
+\r
+char *parse_datafile_line(char *str);\r
+/* implemented in utils.c */\r
+\r
+time_t get_mtime(const char *path);\r
+/* implemented in utils.c */\r
+\r
 const char *tr_odd_even(void)\r
 {\r
  row_odd_even = 1 - row_odd_even;\r
@@ -217,24 +229,26 @@ void get_config(char *config_filename)
    printf("%s ",kwd);\r
 \r
    create(keyword,Keyword);\r
-   keyword->key=kwd;\r
-   keyword->asymetry_ratio=1;          /* ratio for ADSL-like upload */\r
-   keyword->asymetry_fixed=0;          /* fixed treshold for ADSL-like upload */\r
-   keyword->data_limit=8;              /* hard shaping: apply magic_treshold if max*data_limit MB exceeded */\r
-   keyword->data_prio=4;               /* soft shaping (qos): reduce HTB prio if max*data_prio MB exceeded */\r
-   keyword->fixed_limit=0;             /* fixed data limit for setting lower HTB ceil */\r
-   keyword->fixed_prio=0;              /* fixed data limit for setting lower HTB prio */\r
-   keyword->reserve_min=8;            /* bonus for nominal HTB rate bandwidth (in kbps) */\r
-   keyword->reserve_max=0;            /* malus for nominal HTB ceil (in kbps) */\r
-   keyword->default_prio=highest_priority+1;\r
-   keyword->html_color="000000";\r
-   keyword->ip_count=0;\r
-   keyword->leaf_discipline="";\r
-\r
-   push(keyword,keywords);\r
+   keyword->key = kwd;\r
+   keyword->asymetry_ratio = 1;          /* ratio for ADSL-like upload */\r
+   keyword->asymetry_fixed = 0;          /* fixed treshold for ADSL-like upload */\r
+   keyword->data_limit = 8;              /* hard shaping: apply magic_treshold if max*data_limit MB exceeded */\r
+   keyword->data_prio = 4;               /* soft shaping (qos): reduce HTB prio if max*data_prio MB exceeded */\r
+   keyword->fixed_limit = 0;             /* fixed data limit for setting lower HTB ceil */\r
+   keyword->fixed_prio = 0;              /* fixed data limit for setting lower HTB prio */\r
+   keyword->reserve_min = 8;            /* bonus for nominal HTB rate bandwidth (in kbps) */\r
+   keyword->reserve_max = 0;            /* malus for nominal HTB ceil (in kbps) */\r
+   keyword->default_prio = highest_priority+1;\r
+   keyword->download_aggregation = keyword->upload_aggregation = 0; /* disable by default */\r
+   keyword->html_color = "000000";\r
+   keyword->ip_count = 0;\r
+   keyword->leaf_discipline = "";\r
+   keyword->allowed_avgmtu = 0;\r
+\r
+   push(keyword, keywords);\r
    if(!defaultkeyword)\r
    {\r
-    defaultkeyword=keyword;\r
+    defaultkeyword = keyword;\r
    }\r
    keywordcount++;\r
    \r
@@ -250,17 +264,20 @@ void get_config(char *config_filename)
      {\r
       char *tmptr=_; /*  <---- l+1 ----> */\r
       _+=l+1;        /*  via-prometheus-asymetry-ratio, etc. */\r
-      ioption("asymetry-ratio",keyword->asymetry_ratio);\r
-      ioption("asymetry-treshold",keyword->asymetry_fixed);\r
-      ioption("magic-relative-limit",keyword->data_limit);\r
-      ioption("magic-relative-prio",keyword->data_prio);\r
-      loption("magic-fixed-limit",keyword->fixed_limit);\r
-      loption("magic-fixed-prio",keyword->fixed_prio);\r
-      ioption("htb-default-prio",keyword->default_prio);\r
-      ioption("htb-rate-bonus",keyword->reserve_min);\r
-      ioption("htb-ceil-malus",keyword->reserve_max);\r
-      option("leaf-discipline",keyword->leaf_discipline);\r
-      option("html-color",keyword->html_color);\r
+      foption("asymetry-ratio", keyword->asymetry_ratio);\r
+      ioption("asymetry-treshold", keyword->asymetry_fixed);\r
+      ioption("magic-relative-limit", keyword->data_limit);\r
+      ioption("magic-relative-prio", keyword->data_prio);\r
+      loption("magic-fixed-limit", keyword->fixed_limit);\r
+      loption("magic-fixed-prio", keyword->fixed_prio);\r
+      ioption("htb-default-prio", keyword->default_prio);\r
+      ioption("htb-rate-bonus", keyword->reserve_min);\r
+      ioption("htb-ceil-malus", keyword->reserve_max);\r
+      ioption("download-aggregation", keyword->download_aggregation);\r
+      ioption("upload-aggregation", keyword->upload_aggregation);\r
+      option("leaf-discipline", keyword->leaf_discipline);\r
+      option("html-color", keyword->html_color);\r
+      ioption("allowed-avgmtu" ,keyword->allowed_avgmtu);\r
       _=tmptr;\r
       \r
       if(keyword->data_limit || keyword->fixed_limit || \r
@@ -290,6 +307,7 @@ void get_config(char *config_filename)
   lloption("wan-download",line);\r
   lloption("wan-upload",up);\r
   ioption("hall-of-fame-enable",hall_of_fame);\r
+  ioption("digital-divide-weirdness-ratio",digital_divide);\r
   option("hall-of-fame-title",title);\r
   option("hall-of-fame-filename",html);\r
   option("json-filename",json_traffic);\r
@@ -307,12 +325,14 @@ void get_config(char *config_filename)
   ioption("use-jquery-popups",use_jquery_popups);\r
   option("qos-free-zone",qos_free_zone);\r
   ioption("qos-free-delay",qos_free_delay);\r
-  ioption("qos-proxy-enable",qos_proxy);\r
-  option("qos-proxy-ip",proxy_ip);\r
+/*  ioption("qos-proxy-enable",qos_proxy); */\r
+/*  option("qos-proxy-ip",proxy_ip);*/\r
   option("htb-leaf-discipline",qos_leaf);\r
-  ioption("qos-proxy-port",proxy_port);\r
+/*  ioption("qos-proxy-port",proxy_port); */\r
   ioption("free-rate",free_min);\r
   ioption("free-ceil",free_max);\r
+  ioption("overlimit-rate",overlimit_min);\r
+  ioption("overlimit-ceil",overlimit_max);\r
   ioption("htb-burst",burst);\r
   ioption("htb-burst-main",burst_main);\r
   ioption("htb-burst-group",burst_group);\r
@@ -337,10 +357,10 @@ void get_config(char *config_filename)
  /* leaf discipline for keywords */\r
  for_each(keyword,keywords)\r
  {\r
-    if(!strcmpi(keyword->leaf_discipline, ""))\r
-    {\r
-        keyword->leaf_discipline = qos_leaf;\r
-    }\r
+  if(!strcmpi(keyword->leaf_discipline, ""))\r
+  {\r
+   keyword->leaf_discipline = qos_leaf;\r
+  }\r
  }\r
 \r
  if(strcmpi(cnf, "mark"))\r
@@ -439,22 +459,10 @@ void run_iptables_restore(void)
  free(restor);\r
 }\r
 \r
-char *parse_datafile_line(char *str)\r
-{\r
- char *ptr=strchr(str,' ');\r
-\r
- if(ptr)\r
- {\r
-  *ptr=0;\r
-  ptr++;\r
-  return ptr;\r
- } \r
- else \r
- {\r
-  return NULL;\r
- }\r
-}\r
+/**/\r
 \r
+char *parse_datafile_line(char *str);\r
+time_t get_mtime(const char *path);\r
 \r
 /*-----------------------------------------------------------------*/\r
 /* Are you looking for int main(int argc, char **argv) ? :-))      */\r
@@ -465,14 +473,16 @@ program
  int i=0;                    /* just plain old Fortran style integer :-) */\r
  FILE *f=NULL;               /* everything is just stream of bytes... */\r
  char *str, *ptr, *d;        /* LET A$=B$ :-) */\r
- char *substring;\r
+ char *substring, *limit_pkts;\r
 \r
  int parent        = 1;\r
+ int just_networks = FALSE;  \r
  int just_flush    = FALSE;       /* deactivates all previous actions */\r
  int nodelay       = FALSE;\r
  int just_preview  = FALSE;       /* preview - generate just stats */\r
  int start_shaping = FALSE;       /* apply FUP - requires classmap file */\r
- int stop_shaping  = FALSE;       /* apply FUP - requires classmap file */\r
+ int stop_shaping  = FALSE;       /* lift FUP - requires classmap file */\r
+ int reduce_ceil     = 0;           /* allow only rate+(ceil-rate)/2, /4, etc. */\r
  int just_logs     = FALSE;       /* just parse logs */\r
  int run           = FALSE;\r
  int total         = 0;\r
@@ -482,7 +492,7 @@ program
   \r
  printf("\n\\r
 Prometheus QoS - \"fair-per-IP\" Quality of Service setup utility.\n\\r
-Version %s - Copyright (C)2005-2013 Michael Polak, Arachne Labs\n\\r
+Version %s - Copyright (C)2005-2015 Michael Polak, Arachne Labs\n\\r
 iptables-restore & burst tunning & classify modification by Ludva\n\\r
 Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);\r
 \r
@@ -496,9 +506,12 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   argument("-9") { run=TRUE; just_flush=9; }\r
   argument("-p") { run=TRUE; just_preview=TRUE; }\r
   argument("-q") { run=TRUE; just_preview=TRUE; stop_shaping=TRUE; }\r
+  argument("-2") { run=TRUE; just_preview=TRUE; reduce_ceil=2; }\r
+  argument("-4") { run=TRUE; just_preview=TRUE; reduce_ceil=4; }\r
   argument("-s") { run=TRUE; just_preview=TRUE; start_shaping=TRUE; }\r
   argument("-r") { run=TRUE; }\r
   argument("-n") { run=TRUE; nodelay=TRUE; }\r
+  argument("-a") { run=TRUE; just_networks=TRUE; }\r
   argument("-l") { just_logs=TRUE; }\r
   argument("-m") { just_logs=TRUE; }\r
   argument("-y") { just_logs=TRUE; }\r
@@ -533,7 +546,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
 \r
  if(althosts)\r
  {\r
-  hosts=althosts;\r
+  hosts = althosts;\r
  }\r
 \r
  if(just_flush<9)\r
@@ -552,26 +565,69 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
  }\r
 \r
  /*-----------------------------------------------------------------*/\r
- printf("Parsing class defintion file %s ...\n", hosts);\r
+ /* cll1.h - let's allocate brand new character buffer...           */\r
  /*-----------------------------------------------------------------*/\r
- parse_hosts(hosts);\r
+ string(str, STRLEN); \r
+ string(limit_pkts, STRLEN);\r
 \r
  /*-----------------------------------------------------------------*/\r
- /* cll1.h - let's allocate brand new character buffer...           */\r
+ printf("Parsing macro definition file %s ...\n", macrosfile);\r
+ /*-----------------------------------------------------------------*/\r
+ parse(macrosfile)\r
+ {\r
+  ptr = parse_datafile_line(_);\r
+  if(ptr)\r
+  {\r
+   create(macro, Macro);\r
+   macro->rewrite_from = _;\r
+   macro->rewrite_to = ptr;\r
+   push(macro, macros);\r
+   printf("%s -> %s\n", macro->rewrite_from, macro->rewrite_to);\r
+  }\r
+ }\r
+ done; /* ugly macro end */\r
+\r
  /*-----------------------------------------------------------------*/\r
- string(str,STRLEN); \r
+ printf("Parsing class defintion file %s ...\n", hosts);\r
+ /*-----------------------------------------------------------------*/\r
+ parse_hosts(hosts);\r
+ if(just_networks)\r
+ {\r
+  analyse_topology("/usr/sbin/traceroute -n -m 10 -w 2 %s.%d");\r
+  exit(-1); \r
+ }\r
 \r
  /*-----------------------------------------------------------------*/\r
  puts("Resolving shared connections ...");\r
  /*-----------------------------------------------------------------*/\r
- for_each(ip,ips) if(ip->sharing)\r
+ for_each(ip, ips) if(ip->sharing)\r
  {\r
-  for_each(sharedip,ips) if(eq(sharedip->name, ip->sharing))\r
+  for_each(sharedip, ips) if(eq(sharedip->name, ip->sharing))\r
   {\r
    sharedip->traffic += ip->traffic;\r
+   sharedip->traffic_down += ip->direct;\r
+   sharedip->traffic_up += ip->upload;\r
    ip->traffic = 0;\r
    ip->mark = sharedip->mark; \r
    ip->lmsid = sharedip->lmsid;\r
+   ip->pps_limit = sharedip->pps_limit; /* no other way to do this */\r
+\r
+   /* Ugly hack: append IPv4 addresses of sharedip to IPv6 uplinks */\r
+   ptr = strchr(ip->addr, '+');\r
+   if(ptr && ptr-ip->addr > 1 && !sharedip->v6)\r
+   {\r
+    *(--ptr) = 0;\r
+    concatenate(ip->addr, sharedip->addr, ptr);\r
+    ip->name = ip->addr = ptr;\r
+    ptr = strchr(ip->addr, '.');\r
+    while(ptr && *ptr)\r
+    {\r
+     *ptr = ':';\r
+     ptr = strchr(ptr, '.');\r
+    }\r
+    ip->mask += 64;\r
+   }\r
+\r
    break;\r
   }\r
   if(not sharedip)\r
@@ -588,7 +644,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   /*-----------------------------------------------------------------*/\r
   parse(credit)\r
   {\r
-   ptr=parse_datafile_line(_);\r
+   ptr = parse_datafile_line(_);\r
    if(ptr)\r
    {\r
     if_exists(ip,ips,eq(ip->addr,_))\r
@@ -600,6 +656,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   done; /* ugly macro end */\r
  }\r
 \r
+\r
  if(!just_preview)\r
  {\r
   /*-----------------------------------------------------------------*/\r
@@ -657,6 +714,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
    sprintf(str,"-A FORWARD -d %s -o %s -j ACCEPT", qos_free_zone, wan);\r
    iptables_save_line(str, FALSE); /* this is currently supported only for IPv4 */\r
    \r
+/*\r
    if(qos_proxy)\r
    {\r
     iptables_save_line(":post_noproxy - [0:0]", FALSE);\r
@@ -669,10 +727,12 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
 \r
     chain="post_noproxy";    \r
    }\r
+\r
    else\r
    {\r
-    chain="POSTROUTING";\r
-   }\r
+*/\r
+   chain = "POSTROUTING";\r
+//   }\r
     \r
    sprintf(str,"-A %s -s %s -o %s -j ACCEPT", chain, qos_free_zone, lan);\r
    iptables_save_line(str, FALSE);\r
@@ -947,8 +1007,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
      {\r
       if(    ip->keyword->data_prio \r
           && !ip->fixedprio \r
-          && (   ip->traffic>ip->credit\r
-               + (ip->min*ip->keyword->data_prio+(ip->keyword->fixed_prio<<20))) )\r
+          && (   ip->traffic >   ip->credit + (ip->min*ip->keyword->data_prio+(ip->keyword->fixed_prio<<20))) )\r
       {\r
        ip->prio=priority_sequence--;\r
        if(ip->prio<highest_priority+1)\r
@@ -979,9 +1038,11 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
 \r
  if(just_preview)\r
  {\r
-  if(start_shaping || stop_shaping)\r
+  if(start_shaping || stop_shaping || reduce_ceil)\r
   {\r
-   printf("Reading %s and applying Fair Use Policy rules ... \n", classmap);\r
+   time_t how_much_seconds = time(NULL) - get_mtime(classmap); /* sice start of daily aggregation session */\r
+   printf("Reading %s (%ld seconds old) and applying Fair Use Policy and Aggregation rules... \n", classmap, how_much_seconds);\r
+     \r
    parse(classmap)\r
    {\r
     ptr=strchr(_,' ');\r
@@ -991,24 +1052,97 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
      ptr++;\r
      if_exists(ip,ips,eq(ip->addr,_))\r
      {\r
-      ip->mark=atoi(ptr);\r
-      if(ip->max < ip->desired || stop_shaping) /* apply or disable FUP limit immediately.... */\r
+      int unshape_this_ip = 0;\r
+      long avg_mbps_down = ip->traffic_down * 8 / how_much_seconds; \r
+      long avg_mbps_up = ip->traffic_up * 8 / how_much_seconds;\r
+      int agreg = 1, print_stats = 1;\r
+      \r
+      if(ip->keyword->download_aggregation)\r
+      {\r
+       int min_mbps = (ip->min/ip->keyword->download_aggregation)>>10;\r
+       if(min_mbps < 1)\r
+       {\r
+        min_mbps = 1;\r
+       }\r
+  \r
+       if(min_mbps <= avg_mbps_down)\r
+       {\r
+        unshape_this_ip = 0;\r
+        agreg = (int)((float)(avg_mbps_down+1)/min_mbps+.5);\r
+        ip->max /= agreg;\r
+        ip->pps_limit /= agreg;\r
+        printf("Download aggregation 1:%d for %s (min: %lu Mbps avg: %ld Mbps)\n", agreg, ip->name, min_mbps, avg_mbps_down);\r
+       }\r
+       else\r
+       {\r
+        unshape_this_ip = 1;\r
+       }\r
+      }\r
+      else if(ip->keyword->upload_aggregation)\r
+      {\r
+       int min_mbps = (ip->min/ip->keyword->upload_aggregation)>>10;\r
+       if(min_mbps < 1)\r
+       {\r
+        min_mbps = 1;\r
+       }\r
+\r
+       if(min_mbps <= avg_mbps_up)\r
+       {\r
+        unshape_this_ip = 0;\r
+        agreg = (int)((float)(avg_mbps_up+1)/min_mbps+.5);\r
+        ip->max /= agreg;\r
+        printf("Upload aggregation 1:%d for %s: (min: %lu Mbps avg: %ld Mbps)\n", agreg, ip->name, min_mbps, avg_mbps_up);\r
+       }\r
+       else\r
+       {\r
+        unshape_this_ip = 1;\r
+       }\r
+      }\r
+      if(stop_shaping)\r
+      {\r
+       unshape_this_ip = 1;\r
+      }\r
+      ip->aggregated = agreg;      \r
+      ip->mark = atoi(ptr);\r
+      if(ip->max < ip->desired || unshape_this_ip || reduce_ceil) /* apply or disable FUP limit immediately.... */\r
       {\r
-       if(stop_shaping)\r
+       if(unshape_this_ip)\r
        {\r
         ip->max = ip->desired;\r
-        printf("Removing limit for %-22s %-16s %04d ", ip->name, ip->addr, ip->mark);               \r
+        if(stop_shaping) /* all limits removed, but not printed with -s (start_shaping) switch */\r
+        {\r
+         printf("Removing limit for %s (%s) ", ip->name, ip->addr);\r
+        }\r
+        else\r
+        {\r
+         print_stats = 0;\r
+        }\r
        }\r
        else\r
        {\r
-        printf("Applying limit for %-22s %-16s %04d ", ip->name, ip->addr, ip->mark);       \r
+        printf("Applying limit for %s (%s) ", ip->name, ip->addr);\r
+        if(reduce_ceil)\r
+        {\r
+         ip->max = ip->min + (ip->desired-ip->min)/reduce_ceil;\r
+        }\r
+        else if(ip->max < ip->min)\r
+        {\r
+         ip->max = ip->min;\r
+        }        \r
+       }\r
+       if(print_stats)\r
+       {\r
+        printf("(down: %dk-%dk wants %dk, ", ip->min, ip->max, ip->desired);\r
        }\r
-       printf("(down: %dk-%dk ", ip->min, ip->max); \r
        sprintf(str, "%s class change dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d", \r
                     tc, lan, ip->group, ip->mark,ip->min,ip->max, burst, ip->prio);\r
        safe_run(str);\r
-       printf("up: %dk-%dk)\n", (int)((ip->min/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed), \r
-                                (int)((ip->max/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed));\r
+       if(print_stats)\r
+       {\r
+        printf("up: %dk-%dk wants %dk)\n", (int)((ip->min/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed), \r
+                                           (int)((ip->desired/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed),\r
+                                           (int)((ip->desired/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed));\r
+       }\r
        sprintf(str,"%s class change dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
                     tc, wan, ip->group, ip->mark,\r
                     (int)((ip->min/ip->keyword->asymetry_ratio)-ip->keyword->asymetry_fixed),\r
@@ -1051,6 +1185,10 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   {\r
    swchar='s';\r
   }\r
+  else if(reduce_ceil)\r
+  {\r
+   swchar='0'+reduce_ceil; /* -2, -4 */\r
+  }\r
   else if(stop_shaping)\r
   {\r
    swchar='q';\r
@@ -1107,35 +1245,66 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
    chain_postrouting="POSTROUTING";\r
   }\r
 \r
+  /* packet limits - this will be optional in future */\r
+  if(ip->pps_limit)\r
+  {\r
+   sprintf(limit_pkts, "-m limit --limit %d/s --limit-burst %d ", \r
+                       ip->pps_limit, ip->pps_limit);\r
+  }\r
+  else\r
+  {\r
+   *limit_pkts = 0;\r
+  }  \r
+\r
 #ifdef DEBUG\r
-  printf("%-22s %-16s %04d ", ip->name, ip->addr, ip->mark); \r
+  printf("%-22s %-16s %04d %d/s\n", ip->name, ip->addr, ip->mark, ip->pps_limit); \r
 #endif\r
 \r
-  /* -------------------------------------------------------- mark download */\r
-  \r
+  /* -------------------------------------------------------- mark download */  \r
   sprintf(str, "-A %s -d %s/%d -o %s -j %s%d",\r
-               chain_postrouting, ip->addr, 32*(1+ip->v6), lan, mark_iptables, ip->mark);\r
-  /* -m limit --limit 1/s */  \r
+               chain_postrouting, ip->addr, ip->mask,\r
+               lan, mark_iptables, ip->mark);\r
   iptables_save_line(str, ip->v6);\r
 \r
+/*\r
   if(qos_proxy)\r
   {\r
    sprintf(str, "-A %s -s %s -p tcp --sport %d -d %s/%d -o %s -j %s%d",\r
-                chain_postrouting, proxy_ip, proxy_port, ip->addr, 32*(1+ip->v6), lan, mark_iptables, ip->mark);\r
+                chain_postrouting, proxy_ip, proxy_port, ip->addr,\r
+                ip->mask, lan, mark_iptables, ip->mark);\r
    iptables_save_line(str, ip->v6);\r
   }\r
+*/\r
+  sprintf(str, "-A %s -d %s/%d -o %s %s-j ACCEPT",\r
+               chain_postrouting, ip->addr, ip->mask, lan, limit_pkts);\r
+  iptables_save_line(str, ip->v6);\r
+\r
+  /* classify overlimit packets to separate overlimit class */\r
+  sprintf(str, "-A %s -d %s/%d -o %s -j %s%d",\r
+               chain_postrouting, ip->addr, ip->mask,\r
+               lan, mark_iptables, OVERLIMIT_CLASS);\r
+  iptables_save_line(str, ip->v6);\r
 \r
   sprintf(str, "-A %s -d %s/%d -o %s -j ACCEPT",\r
-               chain_postrouting, ip->addr, 32*(1+ip->v6), lan);\r
+               chain_postrouting, ip->addr, ip->mask, lan);\r
   iptables_save_line(str, ip->v6);\r
 \r
   /* -------------------------------------------------------- mark upload */\r
   sprintf(str, "-A %s -s %s/%d -o %s -j %s%d", \r
-               chain_forward, ip->addr, 32*(1+ip->v6), wan, mark_iptables, ip->mark);\r
+               chain_forward, ip->addr, ip->mask, wan, mark_iptables, ip->mark);\r
+  iptables_save_line(str, ip->v6);\r
+\r
+  sprintf(str, "-A %s -s %s/%d -o %s %s-j ACCEPT",\r
+               chain_forward, ip->addr, ip->mask, wan, limit_pkts);\r
+  iptables_save_line(str, ip->v6);\r
+\r
+  /* classify overlimit packets to separate overlimit class */\r
+  sprintf(str, "-A %s -s %s/%d -o %s -j %s%d", \r
+               chain_forward, ip->addr, ip->mask, wan, mark_iptables, OVERLIMIT_CLASS);\r
   iptables_save_line(str, ip->v6);\r
 \r
   sprintf(str, "-A %s -s %s/%d -o %s -j ACCEPT",\r
-               chain_forward, ip->addr, 32*(1+ip->v6), wan);\r
+               chain_forward, ip->addr, ip->mask, wan);\r
   iptables_save_line(str, ip->v6);\r
 \r
   if(ip->min)\r
@@ -1146,7 +1315,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
 #endif\r
 \r
    sprintf(str, "%s class add dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d", \r
-                tc, lan, ip->group, ip->mark,ip->min,ip->max, burst, ip->prio);\r
+                tc, lan, ip->group, ip->mark, ip->min, ip->max, burst, ip->prio);\r
    safe_run(str);\r
 \r
    if(strcmpi(ip->keyword->leaf_discipline, "none"))\r
@@ -1224,23 +1393,25 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
   final_chain = "ACCEPT";\r
  }\r
 \r
+/*\r
  if(qos_proxy)\r
  {\r
   if(free_min) \r
   {\r
    sprintf(str, "-A %s -s %s -p tcp --sport %d -o %s -j %s%d",\r
                 chain_postrouting,proxy_ip,proxy_port,lan,mark_iptables, 3);\r
-   iptables_save_line(str, FALSE); /* only for IPv4 */\r
+   iptables_save_line(str, FALSE); // only for IPv4\r
   }\r
   sprintf(str, "-A %s -s %s -p tcp --sport %d -o %s -j %s",\r
                chain_postrouting,proxy_ip,proxy_port,lan,final_chain);\r
-  iptables_save_line(str, FALSE); /* only for IPv4 */\r
+  iptables_save_line(str, FALSE); // only for IPv4\r
  }\r
+*/\r
 \r
  if(free_min)\r
  {\r
   sprintf(str, "-A %s -o %s -j %s%d",\r
-               chain_postrouting, lan, mark_iptables, 3);\r
+               chain_postrouting, lan, mark_iptables, FREE_CLASS);\r
   iptables_save_line(str, FALSE); /* only for IPv4 */\r
  }\r
 \r
@@ -1254,7 +1425,7 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
 \r
  if(free_min)\r
  {\r
-  sprintf(str,"-A %s -o %s -j %s%d", chain_forward, wan, mark_iptables, 3);\r
+  sprintf(str,"-A %s -o %s -j %s%d", chain_forward, wan, mark_iptables, FREE_CLASS);\r
   iptables_save_line(str, FALSE); /* only for IPv4 */\r
  }\r
 \r
@@ -1269,28 +1440,38 @@ Credit: CZFree.Net, Martin Devera, Netdave, Aquarius, Gandalf\n\n",version);
  if(free_min) /* allocate free bandwith if it is not zero... */ \r
  {\r
    /*-----------------------------------------------------------------*/\r
-   puts("Generating free bandwith classes ...");\r
+   puts("Generating free bandwith class ...");\r
    /*-----------------------------------------------------------------*/\r
-   sprintf(str, "%s class add dev %s parent 1:%d classid 1:3 htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
-                tc, lan, parent, free_min, free_max,burst, lowest_priority);\r
+   sprintf(str, "%s class add dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
+                tc, lan, parent, FREE_CLASS, free_min, free_max,burst, lowest_priority);\r
    safe_run(str);\r
-   sprintf(str, "%s class add dev %s parent 1:%d classid 1:3 htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
-                tc, wan, parent, free_min, free_max, burst, lowest_priority);\r
+   sprintf(str, "%s class add dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
+                tc, wan, parent, FREE_CLASS, free_min, free_max, burst, lowest_priority);\r
    safe_run(str);\r
    /* tc SFQ */\r
    if(strcmpi(qos_leaf, "none"))\r
    {\r
-     sprintf(str,"%s qdisc add dev %s parent 1:3 handle 3 %s", tc, lan, qos_leaf);\r
+     sprintf(str,"%s qdisc add dev %s parent 1:%d handle %d %s", tc, lan, FREE_CLASS, FREE_CLASS, qos_leaf);\r
      safe_run(str);\r
    \r
-     sprintf(str,"%s qdisc add dev %s parent 1:3 handle 3 %s", tc, wan, qos_leaf);\r
+     sprintf(str,"%s qdisc add dev %s parent 1:%d handle %d %s", tc, wan, FREE_CLASS, FREE_CLASS, qos_leaf);\r
      safe_run(str);\r
    }   \r
    /* tc handle 1 fw flowid */\r
-   sprintf(str,"%s filter add dev %s parent 1:0 protocol ip handle 3 fw flowid 1:3", tc, lan);\r
+   sprintf(str,"%s filter add dev %s parent 1:0 protocol ip handle %d fw flowid 1:%d", tc, lan, FREE_CLASS, FREE_CLASS);\r
+   safe_run(str);\r
+\r
+   sprintf(str,"%s filter add dev %s parent 1:0 protocol ip handle %d fw flowid 1:%d", tc, wan, FREE_CLASS, FREE_CLASS);\r
    safe_run(str);\r
 \r
-   sprintf(str,"%s filter add dev %s parent 1:0 protocol ip handle 3 fw flowid 1:3", tc, wan);\r
+   /*-----------------------------------------------------------------*/\r
+   puts("Generating bandwith class for overlimit packets...");\r
+   /*-----------------------------------------------------------------*/\r
+   sprintf(str, "%s class add dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
+                tc, lan, parent, OVERLIMIT_CLASS, overlimit_min, overlimit_max, burst, lowest_priority);\r
+   safe_run(str);\r
+   sprintf(str, "%s class add dev %s parent 1:%d classid 1:%d htb rate %dkbit ceil %dkbit burst %dk prio %d",\r
+                tc, wan, parent, OVERLIMIT_CLASS, overlimit_min, overlimit_max, burst, lowest_priority);\r
    safe_run(str);\r
  }\r
  printf("Total IP count: %d\n", i);\r
This page took 0.328236 seconds and 4 git commands to generate.