org.apache.http.NoHttpResponseException {{host}}:443 failed to respond

👿 org.apache.http.NoHttpResponseException 👿

외부 서버와 연동 후 운영 중에 간헐적으로 정상적인 응답이 떨어지지 않았는데, stacktrace를 살펴보니 재시도 하면 해결될 듯한데 명확하지 않으므로 좀 더 찾아보기로 한다.

NoHttpResponseException

타겟 서버에서 유효하지 않은 HTTP 응답으로 제대로 응답하기를 실패했다는 신호라고 하는데 문제는 이거다. 

현상의 이유는 HTTP/1.1의 Keep-Alive로 인해 httpclient는 통신이 끝난 connection을 종료하지 않고 동일host:port에 대해 동일한 커넥션을 이용하려 하기 때문이다.
비록 서버측은 통신이 완료되어 해당 연결을 close 할지라도 client 측은 커넥션 객체가 여전히 열려있고 데이터가 인입되길 기다리고 있게된다. ( close()의 실제 의미는 소켓의 단절이 아닌 “나는 더 이상 보낼 데이터가 없습니다.“로 상대측에서는 해당 커넥션을 단절하지 않는 이상 여전히 데이터가 인입될 수 있음을 의미한다. )
이때를 half-closed connection 으로 표현하며 이는 TCP가 그렇게 동작하게끔 설계되었기 때문으로 버그가 아니다. 이런 상황이 되면 JVM상의 connection 객체는 당연히 살아있지만 내부 소켓은 CLOSE_WAIT 상태가 된다.

정상적인 상태이고 통신이 끝난 상황이지만 살아있는 커넥션으로 또 연결을 맺으면서 발생한다 라는 것. 

 

이제 문제 해결방안을 찾아보도록 한다.

 

버전 문제라고 하는 의견이 있었지만 최신 버전을 사용하고 있으므로 이 얘기는 맞지 않고

public PoolingHttpClientConnectionManager(HttpClientConnectionOperator httpClientConnectionOperator, HttpConnectionFactory<HttpRoute, ManagedHttpClientConnection> connFactory, long timeToLive, TimeUnit tunit) {  
  this.log = LogFactory.getLog(this.getClass());  
  this.configData = new PoolingHttpClientConnectionManager.ConfigData();  
  this.pool = new CPool(new PoolingHttpClientConnectionManager.InternalConnectionFactory(this.configData, connFactory), 2, 20, timeToLive, tunit);  
  this.pool.setValidateAfterInactivity(2000);  
  this.connectionOperator = (HttpClientConnectionOperator)Args.notNull(httpClientConnectionOperator, "HttpClientConnectionOperator");  
  this.isShutDown = new AtomicBoolean(false);  
}

커넥션을 사용하기 전에 마지막으로 사용했던 경과시간(`validAfterInactivity` = 2000ms default)을 좀 더 줄이라는 얘기가 있어 시도해보려 했지만, 마침 시도해보았던 사람이 있어 확인해보니 제대로 워킹하지 않는다 해서 또 다른 방법을 찾아본다.

 

마지막으로 적용한 해결책은 아래와 같다.

HttpClient 통신을 이용할 때 KeepAlive 설정을 하지 않으면 계속 유지한다고 하지만, 최대한 2시간까지 설정할 수 있는 걸보니 HTTP 서버에서 무기한으로 유지하고 있진 않는 듯하다. (현재 KeepAlive 설정은 ON임) 어느 수준에서 커넥션을 끊는지는 더 알아봐야할 듯 하다.

 

코드를 매우 얼추 보면..keepalive 옵션이 유입되지 않으면 -1로 설정하니 무기한으로 보고 있는 듯하다. (정말 마냥 무기한이진 않겠지만) 자세한 내용은 이곳을 참고해도 좋다.

> If the Keep-Alive header is not present in the response, HttpClient assumes the connection can be kept alive indefinitely.

if (this.reuseStrategy.keepAlive(response, context)) {  
	long duration = this.keepAliveStrategy.getKeepAliveDuration(response, context);  
	if (this.log.isDebugEnabled()) {  
	String s;  
	if (duration > 0L) {  
      s = "for " \+ duration + " " \+ TimeUnit.MILLISECONDS;  
    } else {  
      s = "indefinitely";  
    }  

	this.log.debug("Connection can be kept alive " \+ s);  
}  

connHolder.setValidFor(duration, TimeUnit.MILLISECONDS);  
connHolder.markReusable();

위와 같이 무기한으로 설정해주지 않고 명시적으로 짧은 시간을 가져가도록 커스텀으로 KeepAliveStrategy를 설정해서 (이 설정한 연결 비즈니스 자체가 keepalive를 길게 지속할 정도까진 아니다.) 커넥션 해제를 빠르게 처리하게끔 처리해줬다. (딴 얘기..KeepAlive 설정이 빈번하게 데이터를 주고 받을 때 성능 향상에 키 포인트가 되지만 역으로 그렇지 않을 땐 리소스를 물고 있기에 그렇지 않을 때도 있다.)

 

HttpClient에서 사용하고 있는 ConnectionKeepAliveStrategy를 구현해보자. 관련한 connectionmanegement 아파치 튜토리얼을 봐도 좋다. 특정 타겟 호스트만 Keep-Alive timeout을 보다 짧게 가져가게끔 설정해준다.

public class HttpKeepAliveStrategy implements ConnectionKeepAliveStrategy {

    private static final String KEEP_ALIVE_TARGET_HOST_NAME = "https://target.host.name";

    @Override
    public long getKeepAliveDuration(HttpResponse response, HttpContext context) {
        // Honor 'keep-alive' header
        HeaderElementIterator it = new BasicHeaderElementIterator(
            response.headerIterator(HTTP.CONN_KEEP_ALIVE));
        while (it.hasNext()) {
            HeaderElement he = it.nextElement();
            String param = he.getName();
            String value = he.getValue();
            if (value != null && param.equalsIgnoreCase("timeout")) {
                try {
                    return Long.parseLong(value) * 1000;
                } catch (NumberFormatException ignore) {
                }
            }
        }

        HttpHost target = (HttpHost) context.getAttribute(HttpClientContext.HTTP_TARGET_HOST);
        if (KEEP_ALIVE_TARGET_HOST_NAME.equalsIgnoreCase(target.getHostName())) {
            return 5 * 1000;
        } else {
            return 30 * 1000;
        }
    }
}

 

참고 URL

• https://issues.apache.org/jira/browse/HTTPCLIENT-1610

• https://hc.apache.org/httpcomponents-client-ga/tutorial/html/connmgmt.html

• http://www.yunsobi.com/blog/i/entry/660

• http://hc.apache.org/httpcomponents-client-4.5.x/tutorial/html/connmgmt.html?fbclid=IwAR1pGjzarqiyl3wsh1sL3lKYYTgXxK1WuXSHkfaPhfHUO6TlJvOhpRxoDBA#d5e425