[8.290][NOTABUG][CLOSED] Timeout web usage report

Hi vels,
some short points to clarify your case:
1. Nothing has been changed in this area since 8.2 so your problem actually doesn´t belong to this beta [;)].
2. If you are familiar with SQL, you can also fix the problem yourself. That would be the fastest way!
3. Since you are paying for our product, we would of course give you the possibility to get your problem asap fixed by opening a support ticket as your issue need to be more deeper analyzed and my colleague has to login to your system. I hope we can get a solution soon [:)].

Regards,
Masoumeh

Masoumeh, in fact, many of us participate in the betas to bring developer attention to existing issues.

In this case with vels, I suspect a misconfiguration or a crashed index/DB.

Vels, I have multiple customers with 220s where this problem doesn't occur. 

Cheers - Bob

Sorry for any short responses!  Posted from my iPhone.

Hi vels,

 I bet if you analyze the SQL, it can usually be optimized 

I wouldn't bet on that. I've been sitting in the same office as our SQL guru for more than a year and know a few details related to the topic of performance in the reporting. There's not much room for optimization. Once your amount of collected data has exceeded the limits of your hardware, you're in trouble, especially if your box is swapping, as you already mentioned earlier in this thread.

Anyway, since you already mentioned that you suspect that you are aggregating too much data, it would be nice to get a little bit more concrete information. How much RAM does the postgres process consume when you experience the timeouts, what other processes consume extraordinary amounts of RAM, is the box swapping and if yes, how much? Let's start by collecting those facts before we draw conclusions like "SQL queries have to be optimized". Other things of interest are your reporting settings, "Web Security Reporting Detail Level" for example, and whether reducing the settings does help.

Cheers,
Kai

Hi Bob,

In this case with vels, I suspect a misconfiguration or a crashed index/DB.

i totally agree. We've also seen similar problems with boxes where the harddisk drive had defective sectors and thus slowed down the access to the database files. Such things happen.

Cheers,
Kai

[:)] For starters, lets all just take a deep breath..

Done ?

Ok, first things first - this most likely isn't related to be beta - so question is if we want to continue this discussion here?.

Second..
I have no doubt that the SQL guru is good. I was just tempted to point fingers the other way because I hate being told that a 8 months old appliance is too old on top of it performing below the sizing it was purchased for.
Exactly the same attitude as.. "well, fix it your self" well knowing that even if I had the skills I would void warranty. Interesting part is that no one commented on the fact that the appliance isn't old or that performance of it likely could be greatly increased adding more memory.
It's a known issue, nothing to do - and at the same time Bob can inform that he has several 220s doing this just fine.. broken table, disk whatever is a far better answer :-)

On a more constructive path, I will be more than happy to grant access or send in logs - well even reinstall if someone would just say as Bob does. That it aint normal and there "could" be an issue we could/would look into at some point.

Why I beta test? Well, not to get in touch with developers... To be honest I am still scared from the released update that trashed my VPN tunnels not long ago changing the way NAT was handled on the tunnels. 5 hours of panic with a broken infrastructure, until "nonat" quickfix came up. What better way to ensure a new release than to take part of testing it's foundation.. Startet small this time on my home wall.. it was good, then moved to one company wall - OK, then actually running full monty beta on the entire infrastructure.
Seems this one is going to be good :-)

So.. where to guys ?

Cheers Vels

Interesting thread. Now that I'm back at a real keyboard, I can be a little less curt!

As a guy invovled with it since it was called SEQUEL [:)], I don't think I've ever seen anything that couldn't be improved.  Often, the only improvement avaiilale after a really-gifted SQL guy has done his magic is to go back to the underlying database structure.  If we were closer, Kai, I think I could win a beer off you. [;)]

Vels, try looking in the System messages log to see if you're getting errors about missing columns in the relational database (don't remember the exact wording).

Cheers - Bob

Goodmorning Bob,

Been thru most of the logs, and nothing there indicating that, only the unique constraint error I also postet in another threat.

But.. I did wonder yesterday. Following the web security over the day, the usage seemed almost normal ( using this to keep an eye on a department that has a little toooo much youtube etc ).

After midnight the explanation came.. see screenshot.

The fun part is that websec was not disabled, and network usage report tells me different numbers than websecurity on som specific services / applications.

As far as I can tell the websec log is the same size as most other days, so I believe data is present. However I can't get them compiled into a overview.

Hi Bob,

 If we were closer, Kai, I think I could win a beer off you.

if you ever happen to be here in Germany, I promise i spend a beer, unrelated to the SQL discussion here. If you manage to read and understand the whole stuff in less than an hour, I'll buy another one. And if you then can point your finger at something that gives us a real performance boost (not just 0.5% or 5%), I'll buy a frame.

OFF-TOPIC
As you mentioned SEQUEL,  I'm a little bit curious: what was your first Database system?

Cheers,
Kai

Hi vels,

can you please try version 8.296 and see if you still face the timeout problem? One of the "regressions" that Frank talks about in his Release announcement might be related to the performance problems you reported.

TIA
Kai

Yes,

I will try some time next week.
I dare not upgrade the production until I have seen if there has been some new bugs reported that might effect productivity. I've been a little behind during this Beta in general, had a stabile production enviroment and still found some bugs - that work order seems to be ok even though testing in production.

Will get back to you on this.