course/lib: print_courses() and print_course() rework

print_course() can now recognise a $course object that already has a
$course->context obj and a $course->managers array, which means that
there will be no DB access triggered by print_course().

(Backwards compat is retained so it still works the old way for
callers that get a single course printed anyway (during enrolment
for example.)

And print_courses() now uses get_courses_wmanagers(), and passes the
returned $course objects to print_course().

With this patch, a homepage listing 9 courses (with varying numbers of
teachers) sheds 63 DB queries (88 to 25). A course listing page with
3 courses sheds 9 (33 to 24).

On a single server overall time spent serving the homepage is reduced just
a little bit (262ms to 238ms) -- on a clustered environment, less DB queries
mean much lower latency and DB costs.

datalib: Introducing get_courses_wmanagers() for print_courses() usage

For an efficient print_courses() we need to grab in a constant number
of queries...

 - course data
 - "course manager" role assignments
 - user records for the coursemanagers' fullname()

So here we do it in 2 DB queries. The 2nd one (grabbing RAs and user
records) can be expensive if we are dealing with a large number of
courses.

Which we shouldn't - When the number of courses is large the course
listing doesn't come this way anyway...

course/lib: print_course() bugfix when $rusers is empty

accesslib: get_parent_contexts() bugfix

accesslib: has_capability() now loads sub-course accessdata for $ACCESS

When querying capabilities of non-logged-in users, has_capability()
will now load accessdata for the subcontexts as needed.

Without this patch, below-the-course RAs and rdefs were ignored when
checking caps for a user different from $USER. I don't think it is
ever done in current moodle code, so the problem wasn't visible.

In any case - it's fixed ;-)

moodlelib: require_login() rework

A bit of rework around require_login()

 - Fixed a subtle bug in the check whether a user can see sitecourse
   hidden activities

 - Save 1 DBq and 2 includes per call by only calling
   get_auth_plugin() only when needed.

 - Grab the contexts we are interested in only once and keep them in
   variables.

accesslib: Fix dirty paths checks on PHPv4

$DIRTYPATHS and its derivatives are all arrays. Not objects.

Drop the silly -> notation.

accesslib: phpdoc update get_child_contexts()

accesslib: rm get_role_context_capability() and update phpdoc

Remove unused function.

accesslib: remove role_add_lastaccess_entries(),role_remove_lastaccess_entries()

Both of them are dead code in 18_STABLE and HEAD. And if
role_add_lastaccess_entries() is ever used on a large site it will
hammer the DB to bits.

Remove before anyone is foolish enough to try it.

accesslib: require_capability() phpdoc notes

accesslib: get_parent_cats() goes away too...

Not used anymore, and very inefficient.

If you need something like it, use course_category.path
just like we use context.path .

accesslib: remove get_role_caps() merge_role_caps()

Both unused, and not part of the external API.

accesslib: remove validate_context()

No longer used anywhere. Not really useful outside of accesslib, so no
point in keeping it.

accesslib: get_context_instance() - ignore clearcache

"cleacache" is no longer needed, and nothing is calling it.

Still - handle it as a noop to avoid erroring out with custom/contrib
code.

accesslib: get_parent_contexts() reworked to use context.path

Now that we can use $context->path trivially, and avoid touching the db
for data we already have... Just Do It!

accesslib: remove insert_context_rel(), build_context_rel() and others

The context_rel table is not used anymore. Get rid of all references
to it.

TODO: Drop the orphaned table - but we'll do that on HEAD.

accesslib: mark_context_dirty() - fix race condition

We had a 1s race condition where a user could get their rights loaded
at the exact time an admin is changing roles/caps and see the "old"
data. Or even see a half-updated view of the access controls.

Yuck.

So we fix the race condition backdating the dirtyness. Cheap, but
effective. And then we backdate it some more to cover for minor clock
flutter on clusters (you still need ntp however!).

accesslib: mark_context_dirty() don't mark it there is no path

datalib: add_to_log() fix a bug and better error handling

All the $db->Execute calls now do proper err handling, and send their
message to debugging().

blocks/admin_tree: exit early for non-admins

Saves >10DBq and 18 includes at the homepage for all nonadmin users.
For non admin users, this makes the homepage _much_ more lightweight.

  Before: inc 101  DBq 51 time 1.2s
  After:  inc  76  DBq 36 time 0.2s

So this commit shaves 1 full second for the non-logged-in homepage.

Still pretty bad on the includes, but shaved a good 25 files and 15 DBqs.

accesslib: get_user_access_sitewide() fix invalid SQL for users without RAs

datalib: get_admin() - cache in a static var

get_admin is called a zillion times during cron, and is a tiny
bit of data we can safely keep around... so...

(shaves 2 queries per email we send!)

user/view: show user courses that are hidden, with dimmed class

If the $USER can see them, there is no reason to hide courses that
may be hidden. But show them dimmed to indicate so.

datalib: get_my_courses() now returns invisible courses if visible to $USER

So admins can see the appropriate user listing in the profile page.

In fact, probably _all_ the visibility checks should be done by callers.
Hmmm...

accesslib: has_capability() - fix warnings about FULLME constant

mod/chat: chat_update_chat_times() smarter

If cron hasn't run for a few days, it would take
several runs for chat_update_chat_times() to get things back on track.

Now it's all fixed in one go, saving a bit of DB traffic. It all adds
up...

mod/chat: reduce number of queries in cron.

Delete stale msgs in one DB query rather than in 1-per-chat-instance.

(From 600 DB queries to 1 on a site with 600 chat instances.)

Also - a walkthrough of chat_update_chat_times(), which seems buggy.

accesslib: has_capability() now supports fake $USER for forum cron

has_capability() can handle the fake user that forum cron sets up
and will load the appropriate accessdata into $USER->access.

This makes forum cron work again. A test comparison between before
this patchseries yields:

With 1 forum post, sent total 24 times
 - Before 11 000 DB queries (approx)
 - After     506 DB queries

With 6 forum posts, sent a total of 452 times
 - Before 47 876 DB queries
 - After   8 256 DB queries

There is a very high variability, but we are going from 100-500
queries per sent email to 18-21 queries per sent email. The
variability probably stems from 2 of the 6 posts being in a 200-user
forum.

Still huge - by the time we are sending the email, we should know
everything we need to know about the user, the forum/thread/post and
the form. The average should be well below 1 DB query per email sent!

user/index: make use of the smarter print_user_picture() -

Switch to using the smarter codepath in print_user_picture. Saves
20 DB queries in the normal page. One per user acct.

course/participants: fix sort order when last access is null

weblib: print_user()/print_user_picture() optimisations

print_user_picture() was forcing an unneeded dbquery
if you need an imagealt. And who doesn't need one these days.

So - teach print_user_picture() to take either $userid
_or_ $userobj as the first parameter. If that first
parameter has the fields we need, never touch the db.

In other words, only touch the DB as a last resort.

There is a bit of ugliness in testing whether we have
the fields or not, because these fields are inconsistently
with/without NOT NULL in the DB definitions. So we cannot
use isset() because it barfs on nulls. And we cannot use empty()
because it will match both on "missing key" and ''.

And while at it, silence warnings that we are missing string
for the year(s). Also fixes a missing string bug in really boring
courses that noone's visitied in many years ;-)

moodlelib: require_login() - rework course/category visibility checks

Reworked the logic of the visibility checks so that we evaluate in a
chain:

   - can view course   (visible or user can see hidden)
   - can view category (visible or user can see hidden)

Without this patch, users that could see hidden categories could not get
into courses inside of them.

While at it, fix reference to the old $USER->switchrole

datalib:course_parent_visible() rework, remove category_parent_visible()

Reworked course_parent_visible() to always return in a constant
number of db queries (2 worst case) regardless of nesting depth.

The rewritten version has a small cache, but if you are going to
walk many courses, it's still 1~2 DB queries per category seen,
so the right thing to do is to check it in the caller, as seen
in get_my_courses().

datalib: get_my_courses() - add course visibility checks

Reworked gmc to perform the course visibility checks. These are
very cheap if $CFG->allowvisiblecoursesinhiddencategories is true.

However, where we have to enforce category visibility, it adds a bit
of work. In simple terms, it adds a DB query to read all the categories,
and extra checks to make sure we are doing the right thing WRT

 - course visibility   vs the permission to see hidden courses
 - category visibility vs the permission to see hidden categories

and still do it quickly.

accesslib: get_user_courses_bycap() also returns categorypath

Costs next to nothing according to testing, and allows us to walk
the categories very cheaply. We'll need this in get_my_courses()...

What a cheapskates I am...

accesslib: has_cap_fad() - merge switchrole with defaultuserrole

If you are a teacher in course X, you have at least
teacher-in-X + defaultloggedinuser-sitewide. So in the
course you'll have techer+defaultloggedinuser.
We try to mimic that in switchrole.

Thanks to Petr for pointing me to a similar fix in CVS.

Probably related: MDL-10945

accesslib: remove unused static var

accesslib: remove deprecated load_defaultuser_role()

moodlelib:remove_course_contents() does not need to 'clearcache'

Now that delete_context() marks things dirty, we no longer
need to clearcache. Which is deprecated anyway.

accesslib: delete_context() now appropriately marks the context dirty.

Interactive enrolment/unenrolments: make sure we unset mycourses

accesslib: load_all_capabilities() must clear USER->mycourses

accesslib: drop rdef mangling part two

We had quite a bit of leftover rdef and ra mangling.
Be more thorough and clear it up.

While at it, make load_user_accessdata() and load_all_capabilities()
more consistent.

moodlelib: require_login() - assign tempguest role using load_temp_role()

And remove the explicit handling of deprecated $USER->capabilities

accesslib: intro load_temp_role() for temporary guest access

Loads a "ghost" role assignment, and all the needed rdef data
into an accessinfo array.

Also minor phpdoc update on get_role_access()

accesslib: drop rdef mangling for default role - check in has_cap_fad()

There are some exceptions when checking for caps that are inherited
from the default role. Move the check into has_cap_fad() and stop
mangling the data we put in $ad[rdef].

We now also set $ad[dr] to record default roles added.

This will later allow us to share rdef across many users in $ACCESS.

Affects:
  load_user_accessdata()
  has_cap_fad()

While at it, document has_cap_fad() a bit.

accesslib:load_all_capabilities() - fix guest user setup for multi-enrol

When setting things up for the guest user, the RA entry in accessdata
was not multi-enrol-friendly. Must have glossed it over in the
multi-enrol rework.

accesslib/moodlelib: check $USER->access[rsw] for roleswitches

course/unenrol: check $USER->access[rsw] for role switches

accesslib: Document accessdata, public api, stale accessdata

accesslib: rename "sess" and "accessinfo" to accessdata

The name for new data structure holding access control data
is "accessdata". And we have a new moniker "fad", short for
"from accessdata".

So
 - has_cap_fromsess()    -> has_cap_fad()
 - access_inaccessdata() -> path_inaccessdata()
 - aggr_roles_fromsess() -> aggr_roles_fad()
 - $sess   -> $ad
 - $access -> $ad

Consistency, save typing, shorter codelines...

accesslib:require_capability() revamp to check for USER->access

$USER->capabilities is deprecated.

accesslib:context_moved() remove debugging msgs

course/index: Move categories around using move_category()

Use the newfangled move_category() when moving categories
around, to ensure we Do The Right Thing in the backend,
decoupled from UI stuff.

course/lib: move_courses() calls content_moved(), intro move_category()

move_courses() now calls content_moved() which will take care of any
accesslib-required changes. And introducing move_category() which
also calls content_moved() when needed.

accesslib:content_moved() fix bug in depth handling

the depth was getting a bit out-of-control when moving
up the tree. Fix it...

course: Changing a course cat from course/edit calls context_moved()

Changes to course cat from the main course settings form now calls
context_moved(), and accesslib data is properly maintained.

accesslib: create_context() fix to also populate the depth

Set the depth field correctly.

accesslib: Introducing context_moved() - call after moving courses/coursecats

With the new accesslib, moving courses and categories has a major
impact on enrolments and unenrolments.

At _least_ we need to signal accesslib that it has happened. So here
is context_moved() for exactly that.

Open to refactoring later into something along the lines of

 - move_course()
 - move_category()

However, at this stage the most important of those two: move_course()
does not fit very well with the code in course/edit. So keep it simple
for now.

course/edit: mark the course contextpath as dirty to force a reload

Combined with the path creation in create_context() we can now create
a course, enter and edit it immediately. Amazing.

Like - 21st century technology.

accesslib: create_context() now populates the path of new contexts

... and it populates the context cache too.

Unfortunately, it needs an INSERT followed by an UPDATE. Other than
a stored procedure, I don't know how to deal with this better.

(We could save the SELECT though! that's a thought...)

OTOH, we are getting so much mileage out of the path field
that it's probably a hit we have to take in the chin and move on.

accesslib: simplify and speedup create_context()

Callers _must_ do their homework before calling create_context().
This allows us to save 2/3 queries per call (!!!).

As it stands, callers are all in accesslib anyway.

course/unenrol codepaths mark the context dirty - bugfix

Oops. one if() branch was missing the mark_context_dirty(). Fixed.

accesslib:reload_all_capabilities() - force a reload of mycourses

unset $USER->mycourses to force a reload of mycourses too.

enrol/paypal: mark the contextpath as dirty on unenrolment

so the unenrolment is effective immediately.

enrol/mnet: mark context as dirty after unenrol

So the unenrolment is effective immediately.

deprecatedlib: Legacy interactive enrol/unenrol codepaths mark the context dirty

My heart is not so cold. These old buddies also need love and care...

All interactive enrol/unenrol codepaths mark the context dirty

Manually enrolling and unenrolling self, and other users should
transparently set the context dirty. So walk all callers to
role_assign() and role_unassign() and mark the context dirty
where appropriate.

OTOH, most automated-backend enrol/unenrol mechanisms should not.
The backend lookups that happen when you login are well covered
by the login/enrolment process, and don't need to be marked dirty.

cron: call cleanup_dirty_contexts()

accesslib: Introduce (and use) reload_all_capabilities()

If accessinfo is stale, we need to reload it without losing
out "interesting" state -- transparently for the end user.

That means preserving active role switches, loginas (site and course
level), etc. The logic for that is encapsulated in
reload_all_capabilities().

Also affected:
 - has_capability() which now calls reload_all_capabilities()
 - role_switch() - minor tidyup

accesslib: get_user_courses_bycap() fix bug introduced by refactor

The refactor that created make_context_subobj() triggered a bug.
Smack in the hand to the sloppy programmer using variables outside
of the context they were meant to be used in!

admin/roles: context-specific role changes mark the context as dirty

And will force a reload of $USER->access for logged-in users that need
to read _this_ context. Much lower impact - still not a great idea to
edit assignments/caps on very busy courses, but impact should be low.

admin/roles: sitewide role changes mark site context as dirty

And will force a reload of $USER->access for all logged-in users
on their next request.

We will have to tell admins of large sites to avoid making role changes
at busy times, as it does generate extra load.

accesslib: Introduce $DIRTYCONTEXTS, $USER->access[time],is_contextpath_clean()

has_capability() now (ab)uses a new global: DIRTYCONTEXTS where we
load the contexts that have changed since since $USER->access[time]

The shallow/easy checks are done in has_capability(), deeper checks
go into the newfangled is_contextpath_clean().

The only complication now is to reload the relevant caps without losing
switches, loginas, etc...

accesslib: Introduce functions to deal with dirty contexts

The accessinfo held in $USER->access can easily get out of
sync with reality if and admin has removed our access,
or expanded it after we loaded our accessinfo.

To handle this, we'll use the config_plugins table with an
'accesslib/dirtycontexts' plugin signature to store the paths of
recently changed contexts. To handle those dirrrty entries, here
we introduce

  get_dirty_contexts() - for lib/setup
  mark_context_dirty()
  cleanup_dirty_contexts() - for cron

get_role_users() callers rework to use the new $gethidden

group/assign: fixed performance of assigning users to groups

- page would not display on a course with 600 users

course/lib:print_course() smarter calling of get_role_users()

And saves a few dbqueries too...

accesslib:get_role_users() revamp

Now get_role_users() joins with contexts and roles too, so we can
push more work into it, and simplify the callers.

One important change is that the $view flag gets reworked into
$gethidden, pushing the cap check to the caller.

This commit is followed by a cleanup of the callers...

datalib: get_courses_search() remove dead code

course/search.php: smarter about contexts, bugfix in pagination

Save a ton of queries about contexts, and a bugfix in how we are
calling the pagination for get_courses_search().

datalib: get_courses_search() learns to be smart about contexts...

Join against contexts, save bazillion context lookups...

categories: Categories page and get_courses_page() - smarter about context

This patch saves 1600 context lookups on a 1600 course category. rcache
does help a bit with small categories, but on large setups, this is
not sustainable.

And it's not needed either. We have the data right at our fingertips.
Just get it when it's cheap...

accesslib: introducing make_context_subobj() - and refactor callers

We had many copies of the subcontext building bit. Time to
abstract it, and fix callers...

accesslib: Fix dup enrolment entries in get_user_access_bycontext() and get_user_access_sitewide()

Avoid duplicate entries in the ra array. Now it works too!

accesslib: get_context_users_bycap() draft for course participants...

Introducing get_context_users_bycap() which gets the data in
2 DB queries, takes around 10ms on my laptop, and returns
the records with a nice context property attached.

Note Note Note: right now, some user recs do not have a context
associated, so are _not_ returned. So this awaits Matt's fix
to contexts maintenance to be 100% accurate...

get_my_courses() - bugfix in sitewide-login-as support.

Oops. The supportfor login-as was buggy now with sitewide
loginas. Now works in both.

get_my_courses(): Support course-level login as

A walkthrough of course-login-as functionality shows that is
Just Works, except that get_my_courses() was showing all the
courses. So we fix it.

And cleanup load_all_capabilities() - things just work
transparently.

accesslib: remove some functions we do not need anymore

This is *the* scary commit. No more scaffolding, no more
training wheels. Remove the legacy has_capabilty_old() and
several supporting functions.

   has_capability_old()
   capability_search()
   is_parent_context()
   roles_context_cmp()
   load_user_capability()
   capability_prohibits()

I've grepped far and wide. Noone else uses the supporting
functions anywhere in-the-known-universe. If I could not
find it, it does not exist.

[Thankful that cvs/git/whatever will hold on to them
 if I end up having to regret this.]

accesslib: Intro global $ACCESS and load_user_accessdata()

This patch introduces a new global $ACCESS that will cache
accessdata (our ra/rdef array) for users that are _not_ the
logged in user.

Most of the time it will be empty (luckily).

Each new user we have to get "in" costs us 3 or 4 cheap
dbqueries at the moment, so it is not that bad.

has_capability() now calls load_user_accessdata() if the
call is for a non-logged-user. So $ACCESS is autopopulated
transparently.

This also means that has_capability no longer calls
has_capability_old(). Yay!

With this patch, user/view.php for looking at a user in a course...

  Before: 62 dbqueries, 10.3MB, 0.7s
  After:  49 dbqueries,  8.5MB, 0.3s

course/view: roleswitch checks moved to the course page

Implemented all the relevant checks for role_switch().

accesslib's role_switch() doesn't do any UI-related checks any more,
being a backend lib call. These belong here.

accesslib: add support for multi-enrolments

I had dropped support for multi-enrolments on the same context.

 Oops!

This patch reinstates it, changing the semantics of the 'ra'
array leaves from an int to an array of ints.

So no instead of

   $USER->access['ra']['/1/12/543'] = 5

we have

   $USER->access['ra']['/1/12/543'] = array(5)

the functions that build the array, and the array walkers have
been updated. This touches...

  Writing RAs
    load_all_capabilities()
    get_user_access_sitewide()
    get_user_access_bycontext()

  Reading RAs
    has_cap_fromsess()
    aggr_roles_fromsess()

Thanks to Matt Clarkson for mentioning multi-enrolments!

weblib: switchroles_form() user_login_string() handle the new switchroles

The switched role data bits have moved to a
different place in the session. Trivial to fix here.

accesslib: role_switch() supports unswitching by passing $roleid=0

It is a good idea, silly of me to remove it...

accesslib: has_cap_from_sess() now supports role switching

With this commit we now have very fast support for
roleswitching, based on $sess[rsw] entries.

And a bit of phpdoc. This is function, and the
datastructure it walks, is the heart of of it.

accesslib - role_switch() revamp, introduce get_role_access_bycontext()

First stage of role_switch() rewrite - role_switch() sets up
a rsw entry in $USER->access, and makes sure we have the
appropriate role definitions in rdef.

That is where get_role_access_bycontext() comes into play -
gets all the rdef entries in one cheap sql query.

... though there may be many of them...

TODO:

 - fix callers of role_switch()
 - teach has_cap_fromsess() to read the rsw entries

accesslib: Draft get_context_users_byrole()

 Draft - use for the course participants list page

 Uses 1 DB query (cheap too - 2~7ms).

 TODO:
 - implement additional where clauses
 - sorting
 - get course participants list to use it!

 returns a users array, both sorted _and_ keyed
 on id (as get_my_courses() does)

 as a bonus, every user record comes with its own
 personal context, as our callers need it straight away
 {save 1 dbquery per user! yay!}

get_my_courses() and get_user_courses_bycap() field handling and caching

- Field handling moves back to get_my_courses() and now we have
  almost all the fields that the old get_my_courses() did
  (except for summary, which is *huge*) so get_my_courses() asks
  for a lot of fields, but the get_user_courses_bycap() defaults
  are _much_ leaner now.

  I think this makes sense ;-)

- get_my_courses() now caches the course ids for the currently logged in
  user in $USER->mycourses -- as a _string_. This is magnitudes more efficient
  than having it as an array.

The cache makes a difference, but it's not very visible on
normal pageloads (with my courses block, for example).

However, over 100 iterations, for a user with 50 enrolments in a site
with 6K courses, we go from 4.3s to 0.6s. And the DB queries are *cheap*.

            $tt = microtime(true);
            for($n=0;$n<100;$n++) {
                get_my_courses($USER->id, 'sortorder ASC');
            }
            error_log("took " .  (microtime(true) - $tt));

accesslib: get_user_courses_bycap() - make $doanything work in the optimised path

OMG! Bugfix!