1. 概要

CRM業者のZoho.comのDNSが使えなくなって、世界中がおお騒ぎになった。

zoho.comドメインのレジストラであったtierra.comによって、suspendされて、使えなくなったとの 悲鳴がCEOから聞こえてきた。

suspendedの内容が書かれていなかったので、whoisを見たときにはすでに復活していたらしい。

googleなどのpublic DNSを使えば、アクセスできるというアナウンスがされた。

clientHoldなのか、NS変更なのか、両面で調査した。結論はNS変更だとした。

おかげで、影響は2日に及ぶことになった。

2. アナウンスなど

ゾーホージャパン 8:00 - 2018年9月25日 https://twitter.com/jpzohosupport/status/1044361000995057664

watchA/zoho.com  /zoho-tweet /beyondDNS

/theregister /theTimesofIndia /tweet /outage.report /zdnet /cyware.com

/sophos.com https://nakedsecurity.sophos.com/2018/09/26/domain-flub-leaves-30-million-customers-high-and-dry/

https://www.theregister.co.uk/2018/09/24/zoho_domain_snafu/

3. Hacker News

/discussion Hacker News (news.yocmbinator.com)

4. NXDOMAINが解消しても

suspendedという説明だったが、いろいろ矛盾する。(一方で、NS関連が置き換えられたと考えれば、問題なく説明できる。)

https://twitter.com/zoho/status/1044262532217626630

UPDATE: Services are back to normal, but some customers might still be experiencing issues.
 We're looking into these edge cases right now and will keep you posted.
1:29 - 2018年9月25日 

https://twitter.com/SetFreeStacy/status/1044289264522072064

The thing is that your users do not want a workaround, we don’t want to enter alternate dns servers. We just want our paid service to work.

3:15 - 2018年9月25日

なぜ、サービスを使えないのかを理解していない客がいるから、大変です。-- ToshinoriMaeno 2018-09-28 08:28:05


https://twitter.com/miniminiv6/status/1044365737014358017

TierraNetってとこはhttp://zoho.com をどんだけの企業が使っているかわかってないわけじゃないだろうに。 しかし、もう10時間くらい止まってるから、有料使用者から相当な損害賠償請求されそう…。潰れる前に他に移ろう ←無料使用者なのでエラソウにコンプレインできない組😅 8:19 - 2018年9月25日

5. 私の疑問

これまでに判明していることはzoho.comドメインが1時間ほどsuspendedになったということだ。

しかし、接続できないという悲鳴はずいぶん続いたし、Zoho CEOによる推奨対策は

この場合、zoho.com関連の名前解決はすべてNXDOMAIN返答になるのではないか。

$ dig +norec -t a qmailjp.com @b.gtld-servers.net

; <<>> DiG 9.12.1 <<>> +norec -t a qmailjp.com @b.gtld-servers.net
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 27188
;; flags: qr aa; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 1

;; OPT PSEUDOSECTION:
; EDNS: version: 0, flags:; udp: 4096
;; QUESTION SECTION:
;qmailjp.com.                   IN      A

;; AUTHORITY SECTION:
com.                    900     IN      SOA     a.gtld-servers.net. nstld.verisign-grs.com. 1537931107 1800 900 604800 86400

;; Query time: 177 msec
;; SERVER: 192.33.14.30#53(192.33.14.30)
;; WHEN: Wed Sep 26 12:05:35 JST 2018
;; MSG SIZE  rcvd: 113

6. こんな返事も

7. Zohoの説明

TierraNetからの説明はほとんどない。

https://www.zoho.com/service-updates/blog/update-on-zoho-services-disruption.html

レジストラはtierra.netだった。

8. What happened?

Our domain name registrar blacklisted (shut down) our domain. 
(Registrars are independent organizations that manage the reservation of internet domain names. 
The registrar does not host any Zoho site, they simply register the zoho.com domain name.) 
The blacklist lasted about an hour before it was restored.
This means any incoming services request to Zoho.com cannot get resolved into the proper IP address that 
can deliver the services (although the service is still up at the specific IP address). 
The shutdown impacted some, but not all, customers who tried to use any Zoho service. 
Unfortunately, domain names still remain a single point of failure in the system.

blacklist、shutdown, blocked, suspendedと いろんな言葉が混ざっていることからして、このひとはDNSをよく分っていないのではないか。

9. What have we done so far?

The registrar restored our name service (DNS) within an hour,
but new names (including more than 100 Zoho subdomains, like projects.zoho.com, that have been impacted)
take anywhere from 24 to 48 hours to propagate to DNS servers around the globe and reach your business.
This is an exceedingly frustrating wait for all of us. 
We have also migrated to a new registrar (Cloudflare) already.

この部分がなにを言っているのか、理解できない。(Negative CachingのTTLを知らないか、誤解しているのではないか。)

-- ToshinoriMaeno 2018-09-25 15:24:57

What have we done so far?

以下の説明もおかしい。もし2日のTTLをもつNSがキャッシュにあるのだとしたら、別の理由が存在するはずだ。

(suspendedが間違いであれば、別のNSがキャッシュに入ったという可能性がある。)

Many internet service providers are slow to update their domain name resolution servers (DNS servers) but Google and Cloudflare provide fast-updating DNS servers, and those already have the restored Zoho.com name servers cached in them. This is the essence of the workarounds. 

NSレコード自身か、glueが書き換えられたという解釈なら、ここの記述もなっとくできる。

10. tweet

https://twitter.com/zoho/status/1044249648993525760 Our http://Zoho.com domain is blocked and http://tierra.net our domain registrar is not responding. Can someone help us reach their senior executive team? We're seeking urgent help in reaching the executives of this company: https://www.tierra.net/company ?

0:38 - 2018年9月25日

https://twitter.com/zoho/status/1044262532217626630

UPDATE: Services are back to normal, but some customers might still be experiencing issues.

1:29 - 2018年9月25日

Our company was down for 8 hours and only got working once we went through the Google DNS server 8.8.8.8.
 Very Poor results in my opinion and I am sure other will agree.


https://twitter.com/svembu/status/1044256079373201409

Please note that our data centers, our servers are all fine, and people already connected are working, but when someone tries http://Zoho.com the domain block means that the site literally does not exist for that time :( 1:03 - 2018年9月25日

Our company was down for 8 hours and only got working once we went through the Google DNS server 8.8.8.8.
 Very Poor results in my opinion and I am sure other will agree.

11. zoho

https://twitter.com/zoho/status/1044481611717259264

All Zoho services should be accessible now. We will be posting a root cause analysis soon.

If you're unable to access Zoho services through your mobile, try restarting your device.

15:59 - 2018年9月25日

NXDOMAIN返答だったら、こんなにかかるとは思えない。なにか、他の理由があるのだろう。


CategoryDns CategoryWatch CategoryTemplate

MoinQ: DNS/運用/事件/Zoho (last edited 2021-03-27 09:51:34 by ToshinoriMaeno)