目录

LockSupport

转载自:详解Java多线程编程中LockSupport类的线程阻塞用法

简介

LockSupport类是Java6(JSR166-JUC)引入的一个类,提供了基本的线程同步原语。LockSupport实际上是调用了Unsafe类里的函数,归结到Unsafe里,只有两个函数:

1
2
public native void unpark(Thread jthread);  
public native void park(boolean isAbsolute, long time);  

isAbsolute参数是指明时间是绝对的,还是相对的。如果isAbsolute是true则会实现ms定时。如果isAbsolute是false则会实现ns定时。

仅仅两个简单的接口,就为上层提供了强大的同步原语

先来解析下两个函数是做什么的。

unpark函数为线程提供“许可(permit)”,线程调用park函数则等待“许可”。这个有点像信号量,但是这个“许可”是不能叠加的,“许可”是一次性的。

比如线程B连续调用了三次unpark函数,当线程A调用park函数就使用掉这个“许可”,如果线程A再次调用park,则进入等待状态。

注意,unpark函数可以先于park调用。比如线程B调用unpark函数,给线程A发了一个“许可”,那么当线程A调用park时,它发现已经有“许可”了,那么它会马上再继续运行

实际上,park函数即使没有“许可”,有时也会无理由地返回,这点等下再解析。

park和unpark的灵活之处

上面已经提到,unpark函数可以先于park调用,这个正是它们的灵活之处。

一个线程它有可能在别的线程unPark之前,或者之后,或者同时调用了park,那么因为park的特性,它可以不用担心自己的park的时序问题,否则,如果park必须要在unpark之前,那么给编程带来很大的麻烦!!

考虑一下,两个线程同步,要如何处理?

在Java5里是用wait/notify/notifyAll来同步的。wait/notify机制有个很蛋疼的地方是,比如线程B要用notify通知线程A,那么线程B要确保线程A已经在wait调用上等待了,否则线程A可能永远都在等待。编程的时候就会很蛋疼。

另外,是调用notify,还是notifyAll?

notify只会唤醒一个线程,如果错误地有两个线程在同一个对象上wait等待,那么又悲剧了。为了安全起见,貌似只能调用notifyAll了。

park/unpark模型真正解耦了线程之间的同步,线程之间不再需要一个Object或者其它变量来存储状态,不再需要关心对方的状态。

HotSpot里park/unpark的实现

每个java线程都有一个Parker实例,Parker类是这样定义的:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
class Parker : public os::PlatformParker {
private:
  volatile int _counter ;   //计数
  Parker * FreeNext ;      //指向下一个Parker
  JavaThread * AssociatedWith ; // 指向parker所属的线程。
 
public:
  Parker() : PlatformParker() {
    _counter       = 0 ;    //初始化为0
    FreeNext       = NULL ;
    AssociatedWith = NULL ;
  }
protected:
  ~Parker() { ShouldNotReachHere(); }
public:
  // For simplicity of interface with Java, all forms of park (indefinite,
  // relative, and absolute) are multiplexed into one call.
  void park(bool isAbsolute, jlong time);
  void unpark();
 
  // Lifecycle operators
  static Parker * Allocate (JavaThread * t) ;
  static void Release (Parker * e) ;
private:
  static Parker * volatile FreeList ;
  static volatile int ListLock ;
 
};

Unsafe调用的park最终会调用Parker类的park函数,Parker继承了PlatformParker。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
class PlatformParker : public CHeapObj<mtInternal> {
  protected:
    enum {
        REL_INDEX = 0,
        ABS_INDEX = 1
    };
    int _cur_index;  // 条件变量数组下标,which cond is in use: -1, 0, 1
    pthread_mutex_t _mutex [1] ;  //pthread互斥锁
    pthread_cond_t  _cond  [2] ; // pthread条件变量数组,一个用于相对时间,一个用于绝对时间。
 
  public:       // TODO-FIXME: make dtor private
    ~PlatformParker() { guarantee (0, "invariant") ; }
 
  public:
    PlatformParker() {
      int status;
      status = pthread_cond_init (&_cond[REL_INDEX], os::Linux::condAttr());
      assert_status(status == 0, status, "cond_init rel");
      status = pthread_cond_init (&_cond[ABS_INDEX], NULL);
      assert_status(status == 0, status, "cond_init abs");
      status = pthread_mutex_init (_mutex, NULL);
      assert_status(status == 0, status, "mutex_init");
      _cur_index = -1; // mark as unused
    }
};

PlatformParker主要看三个成员变量,_cur_index, _mutex, _cond。其中mutex和cond就是很熟悉的glibc nptl包中符合posix标准的线程同步工具,一个互斥锁一个条件变量。再看thread和Parker的关系,在hotspot的Thread类的NamedThread内部类中有一个 Parker成员变量。说明parker是每线程变量,在创建线程的时候就会生成一个parker实例。

1
2
3
 // JSR166 per-thread parker
private:
  Parker*    _parker;

可以看到Parker类实际上用Posix(可移值性操作系统接口)的mutex,condition来实现的。

在Parker类里的_counter字段,就是用来记录所谓的“许可”的。

当调用park时,先尝试直接能否直接拿到“许可”,即_counter>0时,如果成功,则把_counter设置为0,并返回:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
void Parker::park(bool isAbsolute, jlong time) {  
  // Ideally we'd do something useful while spinning, such  
  // as calling unpackTime().  
  
  
  // Optional fast-path check:  
  // Return immediately if a permit is available.  
  // We depend on Atomic::xchg() having full barrier semantics  
  // since we are doing a lock-free update to _counter.  
  if (Atomic::xchg(0, &_counter) > 0) return;  

如果不成功,则构造一个ThreadBlockInVM,然后检查_counter是不是>0,如果是,则把_counter设置为0,unlock mutex并返回:

1
2
3
4
ThreadBlockInVM tbivm(jt);  
if (_counter > 0)  { // no wait needed  
  _counter = 0;  
  status = pthread_mutex_unlock(_mutex);  

否则,再判断等待的时间,然后再调用pthread_cond_wait函数等待,如果等待返回,则把_counter设置为0,unlock mutex并返回:

1
2
3
4
5
6
7
if (time == 0) {  
  status = pthread_cond_wait (_cond, _mutex) ;  
}  
_counter = 0 ;  
status = pthread_mutex_unlock(_mutex) ;  
assert_status(status == 0, status, "invariant") ;  
OrderAccess::fence();  

park完整实现:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
void Parker::park(bool isAbsolute, jlong time) {
  
  //原子交换,如果_counter > 0,则将_counter置为0,直接返回,否则_counter为0
  if (Atomic::xchg(0, &_counter) > 0) return;
  //获取当前线程
  Thread* thread = Thread::current();
  assert(thread->is_Java_thread(), "Must be JavaThread");
  //下转型为java线程
  JavaThread *jt = (JavaThread *)thread;
 
 
  //如果当前线程设置了中断标志,调用park则直接返回,所以如果在park之前调用了
  //interrupt就会直接返回
  if (Thread::is_interrupted(thread, false)) {
    return;
  }
 
  // 高精度绝对时间变量
  timespec absTime;
  //如果time小于0,或者isAbsolute是true并且time等于0则直接返回
  if (time < 0 || (isAbsolute && time == 0) ) { // don't wait at all
    return;
  }
  //如果time大于0,则根据是否是高精度定时计算定时时间
  if (time > 0) {
    unpackTime(&absTime, isAbsolute, time);
  }
 
 
  //进入安全点避免死锁
  ThreadBlockInVM tbivm(jt);
 
 
  //如果当前线程设置了中断标志,或者获取mutex互斥锁失败则直接返回
  //由于Parker是每个线程都有的,所以_counter cond mutex都是每个线程都有的,
  //不是所有线程共享的所以加锁失败只有两种情况,第一unpark已经加锁这时只需要返回即可,
  //第二调用调用pthread_mutex_trylock出错。对于第一种情况就类似是unpark先调用的情况,所以
  //直接返回。
  if (Thread::is_interrupted(thread, false) || pthread_mutex_trylock(_mutex) != 0) {
    return;
  }
 
  int status ;
  //如果_counter大于0,说明unpark已经调用完成了将_counter置为了1,
  //现在只需将_counter置0,解锁,返回
  if (_counter > 0)  { // no wait needed
    _counter = 0;
    status = pthread_mutex_unlock(_mutex);
    assert (status == 0, "invariant");
    OrderAccess::fence();
    return;
  }
 
 
  OSThreadWaitState osts(thread->osthread(), false /* not Object.wait() */);
  jt->set_suspend_equivalent();
  // cleared by handle_special_suspend_equivalent_condition() or java_suspend_self()
 
  assert(_cur_index == -1, "invariant");
  //如果time等于0,说明是相对时间也就是isAbsolute是fasle(否则前面就直接返回了),则直接挂起
  if (time == 0) {
    _cur_index = REL_INDEX; // arbitrary choice when not timed
    status = pthread_cond_wait (&_cond[_cur_index], _mutex) ;
  } else { //如果time非0
    //判断isAbsolute是false还是true,false的话使用_cond[0],否则用_cond[1]
    _cur_index = isAbsolute ? ABS_INDEX : REL_INDEX;
    //使用条件变量使得当前线程挂起。
    status = os::Linux::safe_cond_timedwait (&_cond[_cur_index], _mutex, &absTime) ;
    //如果挂起失败则销毁当前的条件变量重新初始化。
    if (status != 0 && WorkAroundNPTLTimedWaitHang) {
      pthread_cond_destroy (&_cond[_cur_index]) ;
      pthread_cond_init    (&_cond[_cur_index], isAbsolute ? NULL : os::Linux::condAttr());
    }
  }
 
  //如果pthread_cond_wait成功则以下代码都是线程被唤醒后执行的。
  _cur_index = -1;
  assert_status(status == 0 || status == EINTR ||
                status == ETIME || status == ETIMEDOUT,
                status, "cond_timedwait");
 
#ifdef ASSERT
  pthread_sigmask(SIG_SETMASK, &oldsigs, NULL);
#endif
  //将_counter变量重新置为1
  _counter = 0 ;
  //解锁
  status = pthread_mutex_unlock(_mutex) ;
  assert_status(status == 0, status, "invariant") ;
  // 使用内存屏障使_counter对其它线程可见
  OrderAccess::fence();
 
  // 如果在park线程挂起的时候调用了stop或者suspend则还需要将线程挂起不能返回
  if (jt->handle_special_suspend_equivalent_condition()) {
    jt->java_suspend_self();
  }
}

当unpark时,则简单多了,直接设置_counter为1,再unlock mutex返回。如果_counter之前的值是0,则还要调用pthread_cond_signal唤醒在park中等待的线程。也就是unpark主要是根据counter和cur_index判断当前线程是否挂在条件变量上,如果是则signal,否则就什么也不做。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
void Parker::unpark() {
  int s, status ;
  //加互斥锁
  status = pthread_mutex_lock(_mutex);
  assert (status == 0, "invariant") ;
  s = _counter;
  _counter = 1; //将_counter置1
  //如果_counter是0则说明调用了park或者没调用(初始为counter0)
  //这也说明park和unpark调用没有先后顺序。
  if (s < 1) {
    // 说明当前parker对应的线程挂起了,因为_cur_index初始是-1,并且等待条件变量的线程被唤醒
    //后也会将_cur_index重置-1
    if (_cur_index != -1) {
       //如果设置了WorkAroundNPTLTimedWaitHang先调用signal再调用unlock,否则相反
      //这两个先后顺序都可以,在hotspot在Linux下默认使用这种方式
      //即先调用signal再调用unlock
      if (WorkAroundNPTLTimedWaitHang) {
        status = pthread_cond_signal (&_cond[_cur_index]);
        assert (status == 0, "invariant");
        status = pthread_mutex_unlock(_mutex);
        assert (status == 0, "invariant");
      } else {
        status = pthread_mutex_unlock(_mutex);
        assert (status == 0, "invariant");
        status = pthread_cond_signal (&_cond[_cur_index]);
        assert (status == 0, "invariant");
      }
    } else { //如果_cur_index == -1说明线程没在等待条件变量,则直接解锁
      pthread_mutex_unlock(_mutex);
      assert (status == 0, "invariant") ;
    }
  } else {//如果_counter == 1,说明线程调用了一次或多次unpark但是没调用park,则直接解锁
    pthread_mutex_unlock(_mutex);
    assert (status == 0, "invariant") ;
  }

简而言之,park和unpark和核心就是counter cur_index, mutex,cond,通过使用条件变量对counter进行操作,在调用park的时候如果counter是0则会去执行挂起的流程,否则返回,在挂起恢复后再将counter置为0。在unpark的时候如果counter是0则会执行唤醒的流程,否则不执行唤醒流程,并且不管什么情况始终将counter置为1。 值得注意的是在park函数里,调用pthread_cond_wait时,并没有用while来判断,所以posix condition里的"Spurious wakeup"一样会传递到上层Java的代码里。

关于"Spurious wakeup",参考上一篇blog:http://blog.csdn.net/hengyunabc/article/details/27969613

1
2
3
if (time == 0) {  
  status = pthread_cond_wait (_cond, _mutex) ;  
}  

这也就是为什么Java dos里提到,当下面三种情况下park函数会返回:

  • Some other thread invokes unpark with the current thread as the target; or
  • Some other thread interrupts the current thread; or
  • The call spuriously (that is, for no reason) returns.

相关的实现代码在:

http://hg.openjdk.java.net/jdk7/jdk7/hotspot/file/81d815b05abb/src/share/vm/runtime/park.hpp http://hg.openjdk.java.net/jdk7/jdk7/hotspot/file/81d815b05abb/src/share/vm/runtime/park.cpp http://hg.openjdk.java.net/jdk7/jdk7/hotspot/file/81d815b05abb/src/os/linux/vm/os_linux.hpp http://hg.openjdk.java.net/jdk7/jdk7/hotspot/file/81d815b05abb/src/os/linux/vm/os_linux.cpp

其它的一些东东

Parker类在分配内存时,使用了一个技巧,重载了new函数来实现了cache line对齐。

1
2
3
4
5
// We use placement-new to force ParkEvent instances to be  
// aligned on 256-byte address boundaries.  This ensures that the least  
// significant byte of a ParkEvent address is always 0.  
   
void * operator new (size_t sz) ;

Parker里使用了一个无锁的队列在分配释放Parker实例:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
volatile int Parker::ListLock = 0 ;  
Parker * volatile Parker::FreeList = NULL ;  
  
Parker * Parker::Allocate (JavaThread * t) {  
  guarantee (t != NULL, "invariant") ;  
  Parker * p ;  
  
  // Start by trying to recycle an existing but unassociated  
  // Parker from the global free list.  
  for (;;) {  
    p = FreeList ;  
    if (p  == NULL) break ;  
    // 1: Detach  
    // Tantamount to p = Swap (&FreeList, NULL)  
    if (Atomic::cmpxchg_ptr (NULL, &FreeList, p) != p) {  
       continue ;  
    }  
  
    // We've detached the list.  The list in-hand is now  
    // local to this thread.   This thread can operate on the  
    // list without risk of interference from other threads.  
    // 2: Extract -- pop the 1st element from the list.  
    Parker * List = p->FreeNext ;  
    if (List == NULL) break ;  
    for (;;) {  
        // 3: Try to reattach the residual list  
        guarantee (List != NULL, "invariant") ;  
        Parker * Arv =  (Parker *) Atomic::cmpxchg_ptr (List, &FreeList, NULL) ;  
        if (Arv == NULL) break ;  
  
        // New nodes arrived.  Try to detach the recent arrivals.  
        if (Atomic::cmpxchg_ptr (NULL, &FreeList, Arv) != Arv) {  
            continue ;  
        }  
        guarantee (Arv != NULL, "invariant") ;  
        // 4: Merge Arv into List  
        Parker * Tail = List ;  
        while (Tail->FreeNext != NULL) Tail = Tail->FreeNext ;  
        Tail->FreeNext = Arv ;  
    }  
    break ;  
  }  
  
  if (p != NULL) {  
    guarantee (p->AssociatedWith == NULL, "invariant") ;  
  } else {  
    // Do this the hard way -- materialize a new Parker..  
    // In rare cases an allocating thread might detach  
    // a long list -- installing null into FreeList --and  
    // then stall.  Another thread calling Allocate() would see  
    // FreeList == null and then invoke the ctor.  In this case we  
    // end up with more Parkers in circulation than we need, but  
    // the race is rare and the outcome is benign.  
    // Ideally, the # of extant Parkers is equal to the  
    // maximum # of threads that existed at any one time.  
    // Because of the race mentioned above, segments of the  
    // freelist can be transiently inaccessible.  At worst  
    // we may end up with the # of Parkers in circulation  
    // slightly above the ideal.  
    p = new Parker() ;  
  }  
  p->AssociatedWith = t ;          // Associate p with t  
  p->FreeNext       = NULL ;  
  return p ;  
}  
  
  
void Parker::Release (Parker * p) {  
  if (p == NULL) return ;  
  guarantee (p->AssociatedWith != NULL, "invariant") ;  
  guarantee (p->FreeNext == NULL      , "invariant") ;  
  p->AssociatedWith = NULL ;  
  for (;;) {  
    // Push p onto FreeList  
    Parker * List = FreeList ;  
    p->FreeNext = List ;  
    if (Atomic::cmpxchg_ptr (p, &FreeList, List) == List) break ;  
  }  
}

总结

  1. LockSupport中的park、unpark调用的unsafe里的park、unpark方法
  2. park和unpark使用volatile 内存屏障保证可见性。
  3. hotspot实现,每个Java线程都有一个Paker实例,实例维护了一个volatile变量counter(所谓的许可),Parker类实际上用Posix的mutex,condition来实现的。
  4. 通过lock和unlock对mutex互斥访问
  5. cas Atomic::xchg来对counter进行赋值操作
  6. park, 如果count<=0 wait, count>0后被唤醒,最后unlock mutex
  7. unpark, 先lock mutex, 如果之前count=0则singal,如果之前count>0 执行unlock mutex
  8. synchronized是使用unsafe的monitorEnter和monitorExit实现的,底层使用lock指令

扯谈

JUC(Java Util Concurrency)仅用简单的park, unpark和CAS指令就实现了各种高级同步数据结构,而且效率很高,令人惊叹。

在C++程序员各种自制轮子的时候,Java程序员则有很丰富的并发数据结构,如lock,latch,queue,map等信手拈来。

要知道像C++直到C++11才有标准的线程库,同步原语,但离高级的并发数据结构还有很远。boost库有提供一些线程,同步相关的类,但也是很简单的。Intel的tbb有一些高级的并发数据结构,但是国内boost都用得少,更别说tbb了。

最开始研究无锁算法的是C/C++程序员,但是后来很多Java程序员,或者类库开始自制各种高级的并发数据结构,经常可以看到有分析Java并发包的文章。反而C/C++程序员总是在分析无锁的队列算法。高级的并发数据结构,比如并发的HashMap,没有看到有相关的实现或者分析的文章。在C++11之后,这种情况才有好转。

因为正确高效实现一个Concurrent Hash Map是很困难的,要对内存CPU有深刻的认识,而且还要面对CPU不断升级带来的各种坑。

我认为真正值得信赖的C++并发库,只有Intel的tbb和微软的PPL。

https://software.intel.com/en-us/node/506042 Intel® Threading Building Blocks

http://msdn.microsoft.com/en-us/library/dd492418.aspx Parallel Patterns Library (PPL)

另外FaceBook也开源了一个C++的类库,里面也有并发数据结构。

https://github.com/facebook/folly