<div dir="ltr">I've been having the same issue with an AMD based server (bare metal).<div><br></div><div>Top shows cpu with a lot of idle percentage, but load is very high due to a lot of discontinuities and transport errors. Stopping those problematic dvblast instances everything runs smoothly.</div><div><font face="monospace, monospace"><br></font></div><div><font face="monospace, monospace">here is my /proc/interrupts. Streaming goes out through eth1</font></div><div><div><font face="monospace, monospace">           CPU0       CPU1       CPU2</font></div><div><font face="monospace, monospace">  0:     175051    1607629   41033537   IO-APIC-edge      timer</font></div><div><font face="monospace, monospace">  1:          0          0          2   IO-APIC-edge      i8042</font></div><div><font face="monospace, monospace">  7:          1          0          0   IO-APIC-edge</font></div><div><font face="monospace, monospace">  8:          0          0          1   IO-APIC-edge      rtc0</font></div><div><font face="monospace, monospace">  9:          0          0          0   IO-APIC-fasteoi   acpi</font></div><div><font face="monospace, monospace"> 14:          0          0          0   IO-APIC-edge      pata_atiixp</font></div><div><font face="monospace, monospace"> 15:          0          0          0   IO-APIC-edge      pata_atiixp</font></div><div><font face="monospace, monospace"> 16:          0          0          1   IO-APIC-fasteoi   nouveau</font></div><div><font face="monospace, monospace"> 17:          0         20    2861965   IO-APIC-fasteoi   ehci_hcd:usb1, ehci_hcd:usb2, ehci_hcd:usb3, SAA716x Core</font></div><div><font face="monospace, monospace"> 18:    6692094       2262         93   IO-APIC-fasteoi   ohci_hcd:usb4, ohci_hcd:usb5, ohci_hcd:usb6, ohci_hcd:usb7, SAA716x Core</font></div><div><font face="monospace, monospace"> 19:     632960    1404818       4529   IO-APIC-fasteoi   ahci, SAA716x Core</font></div><div><font face="monospace, monospace"> 20:    2444017      39184       6519   IO-APIC-fasteoi   saa7146 (0)</font></div><div><font face="monospace, monospace"> 22:          0        827         19   IO-APIC-fasteoi   firewire_ohci</font></div><div><font face="monospace, monospace"> 40:     826056         61       4138   PCI-MSI-edge      eth0</font></div><div><font face="monospace, monospace"> 41:          0          0          0   PCI-MSI-edge      xhci_hcd</font></div><div><font face="monospace, monospace"> 42:          0          0          0   PCI-MSI-edge      xhci_hcd</font></div><div><font face="monospace, monospace"> 43:  324044398        308      42633   PCI-MSI-edge      eth1</font></div><div><font face="monospace, monospace">NMI:          0          0          0   Non-maskable interrupts</font></div><div><font face="monospace, monospace">LOC:   25094127   21226295    6066079   Local timer interrupts</font></div><div><font face="monospace, monospace">SPU:          0          0          0   Spurious interrupts</font></div><div><font face="monospace, monospace">PMI:          0          0          0   Performance monitoring interrupts</font></div><div><font face="monospace, monospace">IWI:          0          0          0   IRQ work interrupts</font></div><div><font face="monospace, monospace">RES:   23337415   20225007   10270328   Rescheduling interrupts</font></div><div><font face="monospace, monospace">CAL:      46577     130484     180586   Function call interrupts</font></div><div><font face="monospace, monospace">TLB:        699       1543       1249   TLB shootdowns</font></div><div><font face="monospace, monospace">TRM:          0          0          0   Thermal event interrupts</font></div><div><font face="monospace, monospace">THR:          0          0          0   Threshold APIC interrupts</font></div><div><font face="monospace, monospace">MCE:          0          0          0   Machine check exceptions</font></div><div><font face="monospace, monospace">MCP:        180        180        180   Machine check polls</font></div><div><font face="monospace, monospace">ERR:          1</font></div><div><font face="monospace, monospace">MIS:          0</font></div></div></div><div class="gmail_extra"><br><div class="gmail_quote">2015-06-25 14:10 GMT+01:00 Davor Spasoski <span dir="ltr"><<a href="mailto:davor.spasoski@one.mk" target="_blank">davor.spasoski@one.mk</a>></span>:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi,<br>
Thank you!<br>
Tried the proposed, but make is complaining " udp.c:206: error: ‘IP_MULTICAST_ALL’ undeclared (first use in this function)"<br>
When checking the man(7) page, it was evident that on SLES the IP_MULTICAST_ALL is not listed.<br>
This option was added in 2.6.31 and my SLES kernel is 3.0.76-0.11-default but strangely, it's missing.<br>
<br>
I moved the test environment to Ubuntu 14, compiled with the patch and dvblast works there with or without the patch.<br>
I have to observe more though to make sure it makes no difference.<br>
<br>
Thanks again<br>
<span class="im HOEnZb"><br>
<br>
-----Original Message-----<br>
From: dvblast-devel [mailto:<a href="mailto:dvblast-devel-bounces@videolan.org">dvblast-devel-bounces@videolan.org</a>] On Behalf Of BENEDEK László<br>
</span><div class="HOEnZb"><div class="h5">Sent: 24 June 2015 16:16<br>
To: Mailing list for DVBlast developers<br>
Subject: Re: [dvblast-devel] TS discontinuity on multiple dvblast instances<br>
<br>
Hello,<br>
<br>
OK, then perhaps the problem may be not setting IP_MULTICAST_ALL<br>
(2.6.31+) to 0 on the receiving socket.<br>
<br>
In udp.c somewhere around IP_ADD_MEMBERSHIP try to write lines like this (untested code!):<br>
<br>
int mc_all = 0;<br>
if ((setsockopt( i_handle, IPPROTO_IP, IP_MULTICAST_ALL, (void*) &mc_all, sizeof(mc_all))) < 0) {<br>
    msg_Warn( NULL, "multicast filtering setup failed (%s)",<br>
strerror(errno) );<br>
}<br>
<br>
See<br>
<a href="https://stackoverflow.com/questions/2741611/receving-multiple-multicast-feeds-on-the-same-port-c-linux/20919920#20919920" rel="noreferrer" target="_blank">https://stackoverflow.com/questions/2741611/receving-multiple-multicast-feeds-on-the-same-port-c-linux/20919920#20919920</a><br>
for more info.<br>
<br>
L<br>
<br>
On 2015-06-24 14:30, Davor Spasoski wrote:<br>
> Hi Laszlo,<br>
><br>
> Thank you for your valuable information. I checked all the points that you propose and the situation is such that:<br>
> -  we have e1000 NICs<br>
> - there are no rx errors on the source NIC<br>
> - irq_balancer was automatically installed by Yast and running<br>
> - I increased socket buffer sizes as suggested.<br>
><br>
> The results are the same with or without irq_balancer and with or<br>
> without increase socket buffer sizes I still notice the TS discontonuity errors and #cat /proc/interrupts still shows that most of the eth IRQs end up at CPU0<br>
>            CPU0       CPU1       CPU2       CPU3<br>
>   0:         68          0          0          0   IO-APIC-edge      timer<br>
>   1:          4          6          0          0   IO-APIC-edge      i8042<br>
>   3:          1          0          0          0   IO-APIC-edge<br>
>   4:          0          0          0          1   IO-APIC-edge<br>
>   6:          7          2          0          0   IO-APIC-edge      floppy<br>
>   7:          0          0          0          0   IO-APIC-edge      parport0<br>
>   8:         35          0          0          0   IO-APIC-edge      rtc0<br>
>   9:          0          0          0          0   IO-APIC-fasteoi   acpi<br>
>  12:          1        136          0          0   IO-APIC-edge      i8042<br>
>  14:          0          0          0          0   IO-APIC-edge      ata_piix<br>
>  15:       2248       4244        949       1053   IO-APIC-edge      ata_piix<br>
>  17:    8587714       2597       1924      54809   IO-APIC-fasteoi   ioc0, eth3<br>
>  18:    3395767          0          0       1835   IO-APIC-fasteoi   eth0<br>
>  19:       3013          0          0          0   IO-APIC-fasteoi   eth1<br>
><br>
> I stress that SLES11 is running as a VM on top of VMWare ESX, but I have experienced the same problems on a dual core PC with SLES11 on bare metal.<br>
> Most strange is that when three instances are running with completely different source MUXes, stopping the third instance makes the first two complain about discontinuity on SIDs that belonged to the third instance, not theirs. Like the instances are using the same input.<br>
><br>
> I've seen a similar problem with more than one instance of ffmpeg with different source addresses, they end-up mixing the inputs.<br>
> It looks as the OS is the culprit. I'll try installing Debian as suggested. I'll try it as a VM first, it's easier for us.<br>
><br>
> BR,<br>
> Davor<br>
><br>
><br>
> -----Original Message-----<br>
> From: dvblast-devel [mailto:<a href="mailto:dvblast-devel-bounces@videolan.org">dvblast-devel-bounces@videolan.org</a>] On<br>
> Behalf Of BENEDEK László<br>
> Sent: 23 June 2015 14:13<br>
> To: Mailing list for DVBlast developers<br>
> Subject: Re: [dvblast-devel] TS discontinuity on multiple dvblast<br>
> instances<br>
><br>
> Hi,<br>
><br>
> Here we use ~20 instances, ~40Mbps each, without any problem, but we<br>
> use<br>
> Debian-amd64 on Intel based servers. Some tips:<br>
><br>
> 1) I suggest to use Intel gigabit ethernet cards (e1000/e1000e), cheap ones can not handle such traffic reliably.<br>
><br>
> 2) You can try to increase socket buffer sizes:<br>
> # echo 4096000 > /proc/sys/net/core/rmem_max # echo 4096000 ><br>
> /proc/sys/net/core/wmem_max # echo 4096000 ><br>
> /proc/sys/net/core/rmem_default # echo 4096000 ><br>
> /proc/sys/net/core/wmem_default<br>
><br>
> 3) You can check if the drops are in the NIC itself:<br>
> # ethtool -S eth0 | grep rx<br>
><br>
> If so, try to increase hw ring buffer size:<br>
> # ethtool -G eth0 rx {xxx}<br>
><br>
> 4) On AMD platform the irqbalance daemon may also help, try to install it.<br>
><br>
> Hope this helps!<br>
><br>
> BENEDEK Laszlo<br>
><br>
> On 2015-06-23 12:46, Davor Spasoski wrote:<br>
>> No one from the developers interested in this problem?<br>
>><br>
>> I have direct access to DVB-T multiplexes and can do any test required.<br>
>> Anyone?<br>
>><br>
>><br>
>><br>
>> BR<br>
>><br>
>><br>
>><br>
>> *From:*Davor Spasoski<br>
>> *Sent:* 10 June 2015 14:03<br>
>> *To:* 'Mailing list for DVBlast developers'<br>
>> *Subject:* RE: [dvblast-devel] TS discontinuity on multiple dvblast<br>
>> instances<br>
>><br>
>><br>
>><br>
>> Unfortunately, omitting –b didn’t help. After a few pages of<br>
>> continuity errors, CPU waiting for IO jumps and so does the load.<br>
>><br>
>><br>
>><br>
>> Thank you for helping!<br>
>><br>
>><br>
>><br>
>> *From:*dvblast-devel [mailto:<a href="mailto:dvblast-devel-bounces@videolan.org">dvblast-devel-bounces@videolan.org</a>] *On<br>
>> Behalf Of *Dan Lita<br>
>> *Sent:* 10 June 2015 13:38<br>
>> *To:* <a href="mailto:dvblast-devel@videolan.org">dvblast-devel@videolan.org</a> <mailto:<a href="mailto:dvblast-devel@videolan.org">dvblast-devel@videolan.org</a>><br>
>> *Subject:* Re: [dvblast-devel] TS discontinuity on multiple dvblast<br>
>> instances<br>
>><br>
>><br>
>><br>
>> Try without -b switch.<br>
>><br>
>><br>
>><br>
>> On 6/10/2015 1:56 PM, Davor Spasoski wrote:<br>
>><br>
>>     Hi,<br>
>><br>
>><br>
>><br>
>>     I’m having a problem with dvblast with more than one instance running.<br>
>><br>
>><br>
>><br>
>>     My environment is:<br>
>><br>
>>     -          SLES11 running on SUN AMD x86 server with 4 cores, 1Gb<br>
>>     NICs, plenty of RAM. alternatively I test with a dual core Intel PC<br>
>>     with same results<br>
>><br>
>>     -          I use IP (UDP) MPTS sources from DVB-T headend, directly<br>
>>     from production switches. The same sources feed the transmitters<br>
>>     country-wide. The bitrate of the source is 27 mbit/s per MUX. At the<br>
>>     moment I’m using clear only (unencrypted) muxes.<br>
>><br>
>>     -          I filter up to 4 SIDs from the input MUX using the<br>
>>     following configuration files<br>
>><br>
>>     mux1.conf<br>
>><br>
>>     224.10.3.1:5004@<a href="http://10.146.16.86" rel="noreferrer" target="_blank">10.146.16.86</a><br>
>> <mailto:<a href="mailto:224.10.3.1">224.10.3.1</a>:<a href="mailto:5004@10.146.16.86">5004@10.146.16.86</a>><br>
>> 1 611<br>
>><br>
>>     224.10.3.2:5004@<a href="http://10.146.16.86" rel="noreferrer" target="_blank">10.146.16.86</a><br>
>> <mailto:<a href="mailto:224.10.3.2">224.10.3.2</a>:<a href="mailto:5004@10.146.16.86">5004@10.146.16.86</a>><br>
>> 1 612<br>
>><br>
>><br>
>><br>
>>     mux8.conf<br>
>><br>
>>     224.10.3.19:5004@<a href="http://10.146.16.86" rel="noreferrer" target="_blank">10.146.16.86</a> <mailto:<a href="mailto:224.10.3.19">224.10.3.19</a>:<a href="mailto:5004@10.146.16.86">5004@10.146.16.86</a>><br>
>>     1 1312<br>
>><br>
>>     224.10.3.16:5004@<a href="http://10.146.16.86" rel="noreferrer" target="_blank">10.146.16.86</a> <mailto:<a href="mailto:224.10.3.16">224.10.3.16</a>:<a href="mailto:5004@10.146.16.86">5004@10.146.16.86</a>><br>
>>     1 1314<br>
>><br>
>>     224.10.3.17:5004@<a href="http://10.146.16.86" rel="noreferrer" target="_blank">10.146.16.86</a> <mailto:<a href="mailto:224.10.3.17">224.10.3.17</a>:<a href="mailto:5004@10.146.16.86">5004@10.146.16.86</a>><br>
>>     1 1311<br>
>><br>
>>     224.10.3.18:5004@<a href="http://10.146.16.86" rel="noreferrer" target="_blank">10.146.16.86</a> <mailto:<a href="mailto:224.10.3.18">224.10.3.18</a>:<a href="mailto:5004@10.146.16.86">5004@10.146.16.86</a>><br>
>>     1 1313<br>
>><br>
>><br>
>><br>
>>     Problem description:<br>
>><br>
>><br>
>><br>
>>     I start with a single instance of dvblast like:<br>
>><br>
>>     dvblast  -D @<a href="http://239.3.1.13:5500/udp/ifaddr=10.0.33.5" rel="noreferrer" target="_blank">239.3.1.13:5500/udp/ifaddr=10.0.33.5</a> -b 8 -l -g<br>
>>     ip2ip_dvb_gw-D8 -c /home/user/mux8.conf<br>
>><br>
>><br>
>><br>
>>     CPU reading is:<br>
>><br>
>>     Cpu(s):  0.4%us,  0.7%sy,  0.0%ni, 98.0%id,  0.1%wa,  0.0%hi,<br>
>>     0.8%si,  0.0%st<br>
>><br>
>>     load average:<br>
>><br>
>>     0.12, 0.56, 1.29<br>
>><br>
>><br>
>><br>
>>     This is usually working pretty stable. But if I run a second or n^th<br>
>>     instance od dvblast, for example:<br>
>><br>
>>     dvblast -D @<a href="http://239.3.1.6:5500/udp/ifaddr=10.0.33.5" rel="noreferrer" target="_blank">239.3.1.6:5500/udp/ifaddr=10.0.33.5</a> -b 8 -l -g<br>
>>     ip2ip_dvb_gw-D1 -c /home/use/mux1.conf<br>
>><br>
>><br>
>><br>
>>     after a short while I get a flood of discontinuity errors in the<br>
>>     log, CPU utilization of dvblast remains same, but overal the wa<br>
>>     counter (waiting for io) jumps to around 25% and consequently the<br>
>>     load increases dramatically (enough to saturate the PC)<br>
>><br>
>><br>
>><br>
>>     Cpu(s):  0.0%us,  0.5%sy,  0.0%ni, 74.7%id, 24.7%wa,  0.0%hi,<br>
>>     0.1%si,  0.0%st<br>
>><br>
>>     load average: 1.75, 1.17, 1.21<br>
>><br>
>><br>
>><br>
>>     We tested the sources with TS analyser on the same connection and<br>
>>     there wasn’t a single continuity error in 24 hourse. Otherwise it<br>
>>     would have been visible on STBs country-wide.<br>
>><br>
>><br>
>><br>
>>     It is worth noting that sometimes the problem appears with a single<br>
>>     instance of dvblast.<br>
>><br>
>><br>
>><br>
>>     I tried with or without –u switch but nothing helps.<br>
>><br>
>><br>
>><br>
>>     Any ideas?<br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>>     Jun 10 12:10:17 srd2 ip2ip_dvb_gw-D8[4548]: warning: TS<br>
>>     discontinuity on pid 5931 expected_cc 15 got 11 (H.264/14496-10<br>
>>     video (MPEG-4/AVC), sid 1313)<br>
>><br>
>>     Jun 10 12:10:17 srd2 ip2ip_dvb_gw-D1[4549]: warning: TS<br>
>>     discontinuity on pid 5052 expected_cc  5 got  7 (13818-3 audio<br>
>>     (MPEG-2), sid 605)<br>
>><br>
>>     Jun 10 12:10:17 srd2 ip2ip_dvb_gw-D8[4548]: warning: TS<br>
>>     discontinuity on pid 5031 expected_cc  6 got 14 (H.264/14496-10<br>
>>     video (MPEG-4/AVC), sid 1303)<br>
>><br>
>>     Jun 10 12:10:17 srd2 ip2ip_dvb_gw-D8[4548]: warning: TS<br>
>>     discontinuity on pid 5012 expected_cc  5 got 13 (13818-3 audio<br>
>>     (MPEG-2), sid 1301)<br>
>><br>
>>     Jun 10 12:10:17 srd2 ip2ip_dvb_gw-D8[4548]: warning: TS<br>
>>     discontinuity on pid 5042 expected_cc  9 got  7 (13818-3 audio<br>
>>     (MPEG-2), sid 1304)<br>
>><br>
>>     Jun 10 12:10:17 srd2 ip2ip_dvb_gw-D1[4549]: warning: TS<br>
>>     discontinuity on pid 5521 expected_cc 10 got  5 (H.264/14496-10<br>
>>     video (MPEG-4/AVC), sid 612)<br>
>><br>
>>     Jun 10 12:10:17 srd2 ip2ip_dvb_gw-D1[4549]: warning: TS<br>
>>     discontinuity on pid 5211 expected_cc  7 got 14 (H.264/14496-10<br>
>>     video (MPEG-4/AVC), sid 611)<br>
>><br>
>><br>
>><br>
>><br>
>> ---------------------------------------------------------------------<br>
>> -<br>
>> --<br>
>><br>
>><br>
>>     ONE Telecommunications Services Limited Liability Company Skopje<br>
>><br>
>>     This e-mail (including any attachments) is confidential and may be<br>
>>     protected by legal privilege. If you are not the intended recipient,<br>
>>     you should not copy it, re-transmit it, use it or disclose its<br>
>>     contents, but should return it to the sender immediately and delete<br>
>>     your copy from your system. Any unauthorized use or dissemination of<br>
>>     this message in whole or in part is strictly prohibited. Please note<br>
>>     that e-mails are susceptible to change. ONE Limited Liability<br>
>>     Company Skopje shall not be liable for the improper or incomplete<br>
>>     transmission of the information contained in this communication nor<br>
>>     for any delay in its receipt or damage to your system.<br>
>><br>
>><br>
>>     _______________________________________________<br>
>><br>
>>     dvblast-devel mailing list<br>
>><br>
>>     <a href="mailto:dvblast-devel@videolan.org">dvblast-devel@videolan.org</a> <mailto:<a href="mailto:dvblast-devel@videolan.org">dvblast-devel@videolan.org</a>><br>
>><br>
>>     <a href="https://mailman.videolan.org/listinfo/dvblast-devel" rel="noreferrer" target="_blank">https://mailman.videolan.org/listinfo/dvblast-devel</a><br>
>><br>
>><br>
>><br>
>><br>
>> ---------------------------------------------------------------------<br>
>> -<br>
>> --<br>
>><br>
>> ONE Telecommunications Services Limited Liability Company Skopje<br>
>><br>
>> This e-mail (including any attachments) is confidential and may be<br>
>> protected by legal privilege. If you are not the intended recipient,<br>
>> you should not copy it, re-transmit it, use it or disclose its<br>
>> contents, but should return it to the sender immediately and delete<br>
>> your copy from your system. Any unauthorized use or dissemination of<br>
>> this message in whole or in part is strictly prohibited. Please note<br>
>> that e-mails are susceptible to change. ONE Limited Liability Company<br>
>> Skopje shall not be liable for the improper or incomplete<br>
>> transmission of the information contained in this communication nor<br>
>> for any delay in its receipt or damage to your system.<br>
>><br>
>><br>
>> _______________________________________________<br>
>> dvblast-devel mailing list<br>
>> <a href="mailto:dvblast-devel@videolan.org">dvblast-devel@videolan.org</a><br>
>> <a href="https://mailman.videolan.org/listinfo/dvblast-devel" rel="noreferrer" target="_blank">https://mailman.videolan.org/listinfo/dvblast-devel</a><br>
>><br>
><br>
> _______________________________________________<br>
> dvblast-devel mailing list<br>
> <a href="mailto:dvblast-devel@videolan.org">dvblast-devel@videolan.org</a><br>
> <a href="https://mailman.videolan.org/listinfo/dvblast-devel" rel="noreferrer" target="_blank">https://mailman.videolan.org/listinfo/dvblast-devel</a><br>
><br>
> ________________________________<br>
><br>
> ONE Telecommunications Services Limited Liability Company Skopje<br>
><br>
> This e-mail (including any attachments) is confidential and may be protected by legal privilege. If you are not the intended recipient, you should not copy it, re-transmit it, use it or disclose its contents, but should return it to the sender immediately and delete your copy from your system. Any unauthorized use or dissemination of this message in whole or in part is strictly prohibited. Please note that e-mails are susceptible to change. ONE Limited Liability Company Skopje shall not be liable for the improper or incomplete transmission of the information contained in this communication nor for any delay in its receipt or damage to your system.<br>
> _______________________________________________<br>
> dvblast-devel mailing list<br>
> <a href="mailto:dvblast-devel@videolan.org">dvblast-devel@videolan.org</a><br>
> <a href="https://mailman.videolan.org/listinfo/dvblast-devel" rel="noreferrer" target="_blank">https://mailman.videolan.org/listinfo/dvblast-devel</a><br>
><br>
<br>
_______________________________________________<br>
dvblast-devel mailing list<br>
<a href="mailto:dvblast-devel@videolan.org">dvblast-devel@videolan.org</a><br>
<a href="https://mailman.videolan.org/listinfo/dvblast-devel" rel="noreferrer" target="_blank">https://mailman.videolan.org/listinfo/dvblast-devel</a><br>
<br>
________________________________<br>
<br>
ONE Telecommunications Services Limited Liability Company Skopje<br>
<br>
This e-mail (including any attachments) is confidential and may be protected by legal privilege. If you are not the intended recipient, you should not copy it, re-transmit it, use it or disclose its contents, but should return it to the sender immediately and delete your copy from your system. Any unauthorized use or dissemination of this message in whole or in part is strictly prohibited. Please note that e-mails are susceptible to change. ONE Limited Liability Company Skopje shall not be liable for the improper or incomplete transmission of the information contained in this communication nor for any delay in its receipt or damage to your system.<br>
_______________________________________________<br>
dvblast-devel mailing list<br>
<a href="mailto:dvblast-devel@videolan.org">dvblast-devel@videolan.org</a><br>
<a href="https://mailman.videolan.org/listinfo/dvblast-devel" rel="noreferrer" target="_blank">https://mailman.videolan.org/listinfo/dvblast-devel</a><br>
</div></div></blockquote></div><br></div>