试样观察装置、试样观察方法以及计算机系统

摘要

本发明涉及试样观察装置、试样观察方法以及计算机系统。关于试样观察，提供能够减少实际的图像的拍摄等作业的技术。试样观察装置的处理器在学习阶段(S1)将试样的设计数据(250)存储于存储资源，制作作为多个输入图像(251)的第一学习用图像，制作作为目标图像(252)的第二学习用图像，利用第一学习用图像和第二学习用图像学习与像质的变换相关的模型(260)。处理器在试样观察阶段(S2)中，能够得到将由拍摄装置拍摄试样而得的第一拍摄图像(253)输入到模型(260)而输出的第二拍摄图像(254)作为观察用图像。处理器根据设计数据制作第一学习用图像和第二学习用图像中的至少一方。

权利要求

1.一种试样观察装置，其具备拍摄装置和处理器，其特征在于，所述处理器进行如下处理：

将试样的设计数据存储在存储资源中；

制作作为多个输入图像的第一学习用图像；

制作作为目标图像的第二学习用图像；

利用所述第一学习用图像和所述第二学习用图像来学习与像质的变换相关的模型；

在观察所述试样时，取得将由所述拍摄装置拍摄所述试样而得的第一拍摄图像输入到所述模型而输出的第二拍摄图像作为观察用图像；以及根据所述设计数据制作所述第一学习用图像和所述第二学习用图像中的至少一方。

2.根据权利要求1所述的试样观察装置，其特征在于，所述处理器根据所述设计数据制作所述第一学习用图像，根据所述设计数据制作所述第二学习用图像。

3.根据权利要求1所述的试样观察装置，其特征在于，所述处理器根据由所述拍摄装置拍摄所述试样而得的拍摄图像制作所述第一学习用图像，根据所述设计数据制作所述第二学习用图像。

4.根据权利要求1所述的试样观察装置，其特征在于，所述处理器根据所述设计数据制作所述第一学习用图像，根据由所述拍摄装置拍摄所述试样而得的拍摄图像制作所述第二学习用图像。

5.根据权利要求1所述的试样观察装置，其特征在于，所述第一学习用图像包含多个像质的多个图像，所述多个像质的多个图像通过变更所述试样的电路图案的浓淡、形状变形、图像分辨率以及图像噪声中的至少1个要素来制作。

6.根据权利要求1所述的试样观察装置，其特征在于，所述第二学习用图像使用由用户指定的参数值来制作，能够由所述用户指定的参数是与所述试样的电路图案的浓淡、形状变形、图像分辨率以及图像噪声中的至少1个要素对应的参数。

7.根据权利要求3或4所述的试样观察装置，其特征在于，所述处理器将所述拍摄图像与所述设计数据进行对照，从所述设计数据的区域对所述拍摄图像内的对应的位置的区域的图像进行裁剪。

8.根据权利要求1所述的试样观察装置，其特征在于，所述处理器进行如下处理：

作为所述第一学习用图像，按所述试样的相同区域制作多个图像；

作为所述第二学习用图像，按所述试样的所述相同区域制作多个图像；

在所述学习时，按所述试样的所述相同区域，利用所述第一学习用图像的所述多个图像和所述第二学习用图像的所述多个图像来学习所述模型；

在观察所述试样时，作为通过所述拍摄装置拍摄所述试样而得的所述第一拍摄图像，作为将按所述试样的所述相同区域拍摄到的多个拍摄图像输入到所述模型而输出的所述第二拍摄图像，将多个拍摄图像取得为所述观察用图像。

9.根据权利要求8所述的试样观察装置，其特征在于，所述第一拍摄图像中的所述多个拍摄图像是由所述拍摄装置所具备的多个检测器取得的、检测出散射方向或者能量不同的散射电子的量的多个种类的图像。

10.根据权利要求1所述的试样观察装置，其特征在于，所述处理器在基于所述设计数据制作所述第二学习用图像时，从所述设计数据的区域制作描绘了所述试样的图案轮廓线的边缘图像。

11.根据权利要求10所述的试样观察装置，其特征在于，所述处理器在制作所述边缘图像时，从所述设计数据的区域制作描绘了多个方向的各方向的图案轮廓线的多个边缘图像，在所述学习时，通过所述第一学习用图像和作为所述第二学习用图像而与所述多个边缘图像对应的多个图像来学习所述模型。

12.根据权利要求1所述的试样观察装置，其特征在于，所述处理器在观察所述试样时，使用所述观察用图像来测量所述试样的电路图案的尺寸。

13.根据权利要求1所述的试样观察装置，其特征在于，所述处理器在观察所述试样时，使用所述观察用图像进行所述观察用图像与所述设计数据的对位，由此确定所述第一拍摄图像的拍摄位置。

14.根据权利要求1所述的试样观察装置，其特征在于，所述处理器在观察所述试样时，使用所述观察用图像来确定所述试样的缺陷的位置，所述观察用图像基于将拍摄由缺陷位置信息表示的缺陷坐标而得的所述第一拍摄图像输入到所述模型而输出的所述第二拍摄图像。

15.根据权利要求1所述的试样观察装置，其特征在于，所述处理器在所述学习时，基于所述设计数据，将所述第一学习用图像和所述第二学习用图像中的至少一方设为从斜上方观察所述试样的面而得的倾斜图像，在观察所述试样时，将作为所述第二拍摄图像的倾斜图像取得为所述观察用图像，所述第二拍摄图像是将通过所述拍摄装置从斜上方拍摄所述试样的面而得的倾斜图像作为所述第一拍摄图像输入到所述模型而输出的图像。

16.根据权利要求1所述的试样观察装置，其特征在于，所述处理器使根据所述设计数据制作出的所述第一学习用图像或所述第二学习用图像显示于画面。

17.一种试样观察装置中的试样观察方法，所述试样观察装置具备拍摄装置和处理器，其特征在于，作为由所述处理器执行的步骤，具有：

将试样的设计数据存储于存储资源的步骤；

制作作为多个输入图像的第一学习用图像的步骤；

制作作为目标图像的第二学习用图像的步骤；

利用所述第一学习用图像和所述第二学习用图像来学习与像质的变换相关的模型的步骤；

在观察所述试样时，取得将由所述拍摄装置拍摄所述试样而得的第一拍摄图像输入到所述模型而输出的第二拍摄图像作为观察用图像的步骤；以及根据所述设计数据来制作所述第一学习用图像和所述第二学习用图像中的至少一方的步骤。

18.一种试样观察装置中的计算机系统，所述试样观察装置具备拍摄装置，其特征在于：所述计算机系统进行如下处理：

将试样的设计数据存储在存储资源中；

制作作为多个输入图像的第一学习用图像；

制作作为目标图像的第二学习用图像；

利用所述第一学习用图像和所述第二学习用图像来学习与像质的变换相关的模型；

在观察所述试样时，取得将由所述拍摄装置拍摄所述试样而得的第一拍摄图像输入到所述模型而输出的第二拍摄图像作为观察用图像；

根据所述设计数据来制作所述第一学习用图像和所述第二学习用图像中的至少一方。

说明书

试样观察装置、试样观察方法以及计算机系统

技术领域

[0001] 本发明涉及试样观察技术，例如涉及具有观察半导体晶圆等试样中的缺陷、异常等(有时统称为缺陷)以及电路图案等的功能的装置等。

背景技术

[0002] 在半导体晶圆的制造中，迅速启动制造工艺，早期地转移到高成品率的量产系统是重要的。为了该目的，在生产线中导入有各种检查装置、观察装置、测量装置等。试样观察装置(也记载为缺陷观察装置)具有根据检查装置检查并输出的缺陷位置信息中的缺陷坐标，高分辨率地拍摄半导体晶圆面的缺陷位置并输出图像的功能。缺陷坐标是表示试样面中的缺陷的位置的坐标信息。试样观察装置使用例如扫描型电子显微镜(SEM：Scanning Electron Microscope)作为拍摄装置。这样的试样观察装置也被称为复查(review)SEM，被广泛使用。

[0003] 在半导体的量产线中，期望观察作业的自动化。复查SEM例如具备自动缺陷复查(ADR：Automatic  Defect Review)功能和自动缺陷分类(ADC：Automatic Defect Classification)功能。ADR功能是进行自动收集由缺陷位置信息的缺陷坐标表示的试样的缺陷位置处的图像的处理等的功能。ADC功能是进行对通过ADR功能收集到的缺陷图像进行自动分类的处理等的功能。

[0004] 在形成于半导体晶圆的电路图案的结构中有多个种类。在半导体晶圆中产生的缺陷也有各种各样的种类、产生位置等。ADR功能对缺陷、电路图案等的视觉辨认性高的高画质的图像进行拍摄并输出是重要的。因此，以往，对于将从复查SEM的检测器得到的信号进行了图像化后的原始的拍摄图像，使用图像处理技术来提高视觉辨认性。

[0005] 作为与此相关的1种方法，有预先学习像质不同的图像的对应关系，基于学习到的模型，在输入了与一方的像质同样的图像时，推定另一方的像质的图像的方法。学习能够应用机器学习等。

[0006] 作为与上述学习相关的现有技术例，在日本特开2018‑137275号公报(专利文献1)中记载了通过预先学习以低倍率拍摄到的图像与以高倍率拍摄到的图像之间的关系性，从而根据低倍率图像来推定高倍率图像的方法。

[0007] 现有技术文献

[0008] 专利文献

[0009] 专利文献1：日本特开2018‑137275号公报

发明内容

[0010] 发明要解决的课题

[0011] 关于试样观察装置的ADR功能，在应用如上所述的预先学习拍摄图像与理想的像质的图像(也记载为目标图像)的关系性的方法的情况下，需要准备学习用的拍摄图像(特别是多个拍摄图像)和目标图像。然而，难以预先准备理想的像质的图像。例如，在实际的拍摄图像中存在噪声，难以基于该拍摄图像准备没有噪声的理想的像质的图像。

[0012] 另外，根据拍摄环境、试样的状态的差异等，拍摄图像的像质发生变化。因此，为了进行更高精度的学习，需要准备各种像质的多个拍摄图像。然而，这需要较多的劳力。另外，在使用拍摄图像进行学习的情况下，需要预先准备试样进行拍摄，对用户带来较大的负担。

[0013] 需要即使在多个拍摄图像、理想的像质的图像的准备困难的情况下等也能够应对的结构、能够取得适合于试样观察的各种像质的图像的结构。

[0014] 本发明的目的在于关于试样观察装置的技术，提供能够减少实际的图像的拍摄等作业的技术。

[0015] 用于解决课题的手段

[0016] 本发明中的代表性的实施方式具有以下所示的结构。实施方式的试样观察装置是具备拍摄装置和处理器的试样观察装置，所述处理器进行如下处理：将试样的设计数据存储于存储资源；制作作为多个输入图像的第一学习用图像；制作作为目标图像的第二学习用图像；利用所述第一学习用图像和所述第二学习用图像学习与像质的变换相关的模型；在观察所述试样时，取得将由所述拍摄装置拍摄所述试样而得到的第一拍摄图像输入到所述模型而输出的第二拍摄图像作为观察用图像；以及根据所述设计数据来制作所述第一学习用图像和所述第二学习用图像中的至少一方。

[0017] 发明效果

[0018] 根据本发明中的代表性的实施方式，关于试样观察装置的技术，提供能够减少实际的图像的拍摄等作业的技术。关于上述以外的课题、结构以及效果等，在用于实施发明的方式中示出。

附图说明

[0019] 图1是表示本发明的实施方式1的试样观察装置的结构的图。

[0020] 图2是表示实施方式1中的学习阶段以及试样观察阶段的图。

[0021] 图3是表示实施方式1中的试样的缺陷位置信息中的缺陷坐标的例子的图。

[0022] 图4是表示实施方式1中的学习阶段的结构的图。

[0023] 图5是表示实施方式1中的设计数据的例子的图。

[0024] 图6是表示实施方式2中的学习阶段的结构的图。

[0025] 图7是表示实施方式3中的学习阶段的结构的图。

[0026] 图8是表示在实施方式4中拍摄图像与设计数据的对照等的图。

[0027] 图9是表示实施方式5中的学习阶段的结构的图。

[0028] 图10是表示实施方式5中的多个检测器的结构的图。

[0029] 图11是表示实施方式5中的第一学习用图像中的图像例的图。

[0030] 图12是表示实施方式5中的第一学习用图像中的图像例的图。

[0031] 图13是表示实施方式5中的第二学习用图像中的图像例的图。

[0032] 图14是表示实施方式5中的第二学习用图像中的图像例的图。

[0033] 图15是表示各实施方式中的试样观察阶段的处理流程的图。

[0034] 图16是表示各实施方式中的试样观察阶段中的尺寸测量的处理例的图。

[0035] 图17是表示各实施方式中的与试样观察阶段中的设计数据的对位的处理例的图。

[0036] 图18是表示各实施方式中的试样观察阶段中的缺陷检测、识别的处理例的图。

[0037] 图19是表示各实施方式中的GUI的画面例的图。

[0038] 图20是表示各实施方式中的GUI的画面例的图。

[0039] 符号说明

[0040] 1…试样观察装置、2…拍摄装置、3…上位控制装置、S1…学习阶段、S2…试样观察阶段、S11…学习用图像制作处理、S12…模型学习处理、S21…推定处理、200…设计数据输入部、205…基于GUI的参数指定、210…第一学习用图像制作部、220…第二学习用图像制作部、230…学习部、240…推定部、250…设计数据、251…多个输入图像(第一学习用图像)、252…目标图像(第二学习用图像、推定第二学习用图像)、253…第一拍摄图像、254…第二拍摄图像、260…模型、270…模型参数。

具体实施方式

[0041] 以下，参照附图对本发明的实施方式进行详细说明。在附图中，原则上对相同部分标注相同的附图标记，并省略重复的说明。实施方式在附图中，为了容易理解发明，各构成要素的表现有时不表示实际的位置、大小、形状、以及范围等。在说明上，在对基于程序的处理进行说明的情况下，有时以程序、功能、处理部等为主体进行说明，但关于它们的作为硬件的主体是处理器或由该处理器等构成的控制器、装置、计算机、系统等。计算机通过处理器适当地使用存储器、通信接口等资源，并且执行按照在存储器上读出的程序的处理。由此，实现预定的功能、处理部等。处理器例如由CPU、GPU等半导体器件等构成。处理器由能够进行预定的运算的装置、电路构成。处理不限于软件程序处理，也可以通过专用电路实现。专用电路能够应用FPGA、ASIC、CPLD等。程序可以作为数据预先安装在对象计算机中，也可以从程序源作为数据发布并安装在对象计算机中。程序源既可以是通信网上的程序发布服务器，也可以是非暂时性的计算机可读取的存储介质(例如存储卡)等。程序也可以由多个模块构成。计算机系统也可以由多台装置构成。计算机系统也可以由客户端服务器系统、云计算系统、IoT系统等构成。各种数据、信息例如以表格、列表等结构来表现、实现，但并不限定于此。识别信息、标识符、ID、名称、编号等的表现能够相互置换。

[0042] <实施方式>

[0043] 关于试样观察装置，在基于机器学习的像质变换(换言之，图像推定)中，准备成为目标的像质的图像对于提高像质变换引擎(包括学习的模型)的性能是重要的。在实施方式中，即使在将实际的拍摄图像中难以实现的图像设为目标图像的情况下，也将与用户的喜好相匹配的图像作为目标图像使用。另外，在实施方式中，即使在图像的像质根据观察试样状态等而变动的情况下，也维持像质变换引擎的性能。

[0044] 在实施方式中，基于用户指定成为目标的像质的参数和设计数据，制作学习用的目标图像(第二学习用图像)。由此，也能够实现在实际的拍摄图像中难以实现的像质，目标图像的准备变得容易。另外，在实施方式中，基于设计数据制作各种像质的图像(第一学习用图像)。在实施方式中，将这些图像作为输入图像，使像质变换引擎的模型最佳化。换言之，将模型的参数设定、调整为适当的值。由此，提高针对输入图像的像质变动的鲁棒性。

[0045] 实施方式的试样观察装置及方法中，预先基于试样的设计数据制作目标像质的图像(第二学习用图像)和各种像质的输入图像(第一学习用图像)中的至少一方，通过学习使模型最佳化。由此，在试样观察时，能够通过模型将实际拍摄试样而得到的像质的第一拍摄图像变换为理想的像质的第二拍摄图像，并作为观察用图像。

[0046] 实施方式的试样观察装置是观察形成于半导体晶圆等试样的电路图案、缺陷等的装置。该试样观察装置参照检查装置制作、输出的缺陷位置信息来进行处理。该试样观察装置根据由拍摄装置拍摄到的图像、或者不进行拍摄而根据设计数据制作出的图像即第一学习用图像(多个输入图像)，学习对理想的像质(反映了用户的喜好的像质)的目标图像即第二学习用图像进行推定的模型。

[0047] 现有技术例的试样观察装置和方法是如下技术：准备实际拍摄到的多个图像，作为输入图像和目标图像来学习模型。与此相对，实施方式的试样观察装置以及方法具备根据设计数据来制作第一学习用图像和第二学习用图像中的至少一方的功能。由此，能够减少学习用的拍摄的作业。

[0048] <实施方式1>

[0049] 使用图1～图5，对实施方式1的试样观察装置等进行说明。实施方式1的试样观察方法是具有在实施方式1的试样观察装置(特别是计算机系统的处理器)中执行的步骤的方法。试样观察装置中的处理或对应的步骤大致有学习处理和试样观察处理。学习处理是基于机器学习的模型学习。试样观察处理是使用像质变换引擎进行试样的观察、缺陷检测等的处理，该像质变换引擎使用已学习的模型而构成。

[0050] 在实施方式1中，将作为输入图像的第一学习用图像和作为目标图像的第二学习用图像这两者设为，不是基于实际拍摄到的图像而是基于设计数据制作的图像。

[0051] 以下，作为试样观察装置，以将半导体晶圆作为试样来观察半导体晶圆的缺陷等的装置为例进行说明。该试样观察装置具备基于由来自检查装置的缺陷位置信息表示的缺陷坐标，对试样进行拍摄的拍摄装置。以下，对使用SEM作为拍摄装置的例子进行说明。拍摄装置并不限定于SEM，也可以是SEM以外的装置，例如可以是使用了离子等带电粒子的拍摄装置。

[0052] 此外，关于第一学习用图像和第二学习用图像的像质，像质(换言之，图像的性质)是包含画质、其他性质(例如提取一部分电路图案等)的概念。画质是包含拍摄倍率、视野范围、图像分辨率、S/N等的概念。在第一学习用图像的像质与第二学习用图像的像质的关系中，画质等的高低的关系是相对的定义。例如，第二学习用图像的画质比第一学习用图像的画质高。另外，规定像质的条件、参数等不限于仅利用拍摄装置进行拍摄而得到该图像的情况，也能够应用于通过图像处理等制作得到该图像的情况。

[0053] 实施方式1的试样观察装置以及方法具备：设计数据输入部，其输入试样的电路图案的布局的设计数据；第一学习用图像制作部，其对第一处理参数进行多种方式变更，根据设计数据制作(换言之，生成)相同布局(换言之，相同区域)的多个第一学习用图像；第二学习用图像制作部，其使用用户根据喜好而指定的第二处理参数，根据设计数据制作(换言之，生成)第二学习用图像；学习部，其学习将多个第一学习用图像作为输入来推定第二学习用图像并输出的模型(换言之，使用第一学习用图像和第二学习用图像来学习模型的学习部)；以及推定部，其将由拍摄装置拍摄到的试样的第一拍摄图像输入到模型，作为输出而得到第二拍摄图像。第一学习用图像制作部针对试样的电路图案的浓淡值、形状变形、图像分辨率、图像噪声等中的至少1个的要素，对参数值进行多种方式变更，根据设计数据制作相同区域的多个第一学习用图像。第二学习用图像制作部使用用户通过GUI指定的参数作为与用于第一学习用图像的参数不同的参数，根据设计数据来制作第二学习用图像。

[0054] [1‑1.试样观察装置]

[0055] 图1表示实施方式1的试样观察装置1的结构。试样观察装置1大致构成为具有拍摄装置2和上位控制装置3。作为具体例，试样观察装置1是复查SEM。作为具体例，拍摄装置2是SEM101。上位控制装置3与拍摄装置2结合。上位控制装置3是控制拍摄装置2等的装置，换言之是计算机系统。试样观察装置1等具备必要的功能块和各种设备，但在附图中图示了包含必要的要素的一部分。包含图1的试样观察装置1的整体换言之构成为缺陷检查系统。上位控制装置3与存储介质装置4、输入输出终端6连接，经由网络而连接有缺陷分类装置5、检查装置7、制造执行系统10(MES)等。

[0056] 试样观察装置1是具有自动缺陷复查(ADR)功能的装置或系统。在本例中，预先在外部的检查装置7中，作为检查了试样的结果而制作缺陷位置信息8，从检查装置7输出、提供的该缺陷位置信息8预先存储在存储介质装置4中。在与缺陷观察相关的ADR处理时，上位控制装置3从存储介质装置4读出并参照该缺陷位置信息8。作为拍摄装置2的SEM101对作为试样9的半导体晶圆的图像进行拍摄。试样观察装置1基于由拍摄装置2拍摄到的图像，得到反映了用户的喜好的理想像质的图像即观察用图像(特别是基于ADR功能的多个图像)。

[0057] 制造执行系统(MES)10是对使用了作为试样9的半导体晶圆的半导体器件的制造工艺进行管理、执行的系统。MES10具有与试样9相关的设计数据11，在本例中，预先将从MES10取得的设计数据11存储于存储介质装置4。上位控制装置3在处理时从存储介质装置4读出并参照该设计数据11。设计数据11的形式没有特别限定，只要是表现试样9的电路图案等结构的数据即可。

[0058] 缺陷分类装置5是具有自动缺陷分类(ADC)功能的装置或系统，根据使用了试样观察装置1的ADR功能的缺陷观察处理结果的信息、数据，进行ADC处理，得到对缺陷(对应的缺陷图像)进行分类后的结果。缺陷分类装置5将分类后的结果的信息、数据提供给例如与网络连接的未图示的其他装置。此外，不限于图1的结构，也可以是在试样观察装置1中合并了缺陷分类装置5的结构等。

[0059] 上位控制装置3具备控制部102、存储部103、运算部104、外部存储介质输入输出部105(换言之，输入输出接口部)、用户接口控制部106以及网络接口部107等。这些构成要素与总线114连接，能够相互通信或输入输出。此外，在图1的例子中，示出了上位控制装置3由
1个计算机系统构成的情况，但上位控制装置3也可以由多个计算机系统(例如多个服务器装置)等构成。

[0060] 控制部102相当于控制试样观察装置1的整体的控制器。存储部103存储包含程序在内的各种信息、数据，例如由具备磁盘、半导体存储器等的存储介质装置构成。运算部104按照从存储部103读出的程序进行运算。控制部102、运算部104具备处理器、存储器。外部存储介质输入输出部(换言之，输入输出接口部)105与外部的存储介质装置4之间进行数据的输入输出。

[0061] 用户接口控制部106是提供、控制包含用于与用户(换言之，操作员)之间进行信息、数据的输入输出的图形用户接口(GUI)的用户接口的部分。用户接口控制部106与输入输出终端6连接。用户接口控制部106可以连接到另一输入设备或输出设备(例如，显示设备)。网络接口部107经由网络(例如LAN)连接有缺陷分类装置5、检查装置7等。网络接口部107是具有经由网络来控制与缺陷分类装置5等外部装置之间的通信的通信接口的部分。作为外部装置的其他例子，可举出DB服务器等。

[0062] 用户使用输入输出终端6对试样观察装置1(特别是上位控制装置3)输入信息(例如指示、设定)，确认从试样观察装置1输出的信息。输入输出终端6例如能够应用PC，具备键盘、鼠标、显示器等。输入输出终端6也可以是与网络连接的客户端计算机。用户接口控制部106制作后述的GUI的画面，并利用输入输出终端6的显示设备进行显示。

[0063] 运算部104例如由CPU、ROM以及RAM等构成，按照从存储部103读出的程序进行动作。控制部102例如由硬件电路或CPU等构成。在控制部102由CPU等构成的情况下，控制部102也按照从存储部103读出的程序进行动作。控制部102例如基于程序处理来实现各功能。
经由外部存储介质输入输出部105从存储介质装置4向存储部103供给、保存程序等数据。或者，也可以经由网络接口部107从网络向存储部103供给、保存程序等数据。

[0064] 构成拍摄装置2的SEM101具备工作台109、电子源110、检测器111、未图示的电子透镜、偏转器112等。工作台109(换言之，试样台)是载置作为试样9的半导体晶圆且至少能够在水平方向上移动的工作台。电子源110是用于向试样9照射电子束的电子源。未图示的电子透镜使电子束会聚在试样9的面上。偏转器112是用于在试样9上扫描电子束的偏转器。检测器111检测从试样9产生的二次电子、反射电子等电子、粒子。换言之，检测器111将试样9的面的状态作为图像进行检测。在本例中，作为检测器111，如图示那样具有多个检测器。

[0065] 由SEM101的检测器111检测出的信息(换言之，图像信号)被供给至上位控制装置3的总线114。该信息由运算部104等进行处理。在本例中，上位控制装置3控制SEM101的工作台109、偏转器112以及检测器111等。此外，对于用于驱动工作台109等的驱动电路等省略了图示。通过作为上位控制装置3的计算机系统处理来自SEM101的信息(换言之，图像)，从而实现对试样9的观察处理。

[0066] 本系统也可以设为以下的方式。将上位控制装置3设为云计算系统等的服务器，将用户操作的输入输出终端6设为客户端计算机。例如，在机器学习中要求较多的计算机资源的情况下，也可以在云计算系统等的服务器组中进行机器学习处理。也可以在服务器组和客户端计算机之间分担处理功能。用户操作客户端计算机，客户端计算机向服务器发送请求。服务器接收请求，进行与请求对应的处理。例如，服务器将反映了所请求的处理的结果的画面(例如Web页)的数据作为响应发送到客户端计算机。客户端计算机接收该响应的数据，并在显示设备上显示该画面(例如Web页)。

[0067] [1‑2.功能块和流程]

[0068] 图2表示实施方式1的试样观察装置和方法中的主要的功能块和流程的结构例。图1的上位控制装置3通过控制部102或运算部104的处理，实现图2那样的各功能块。试样观察方法大致具有学习阶段(学习处理)S1和试样观察阶段(试样观察处理)S2。学习阶段S1具有学习用图像制作处理的步骤S11和模型学习处理的步骤S12。试样观察阶段S2具有推定处理的步骤S21。各部和各步骤对应。在图1的存储部103中适当地存储各种图像、模型、设定信息、处理结果等数据、信息。

[0069] 学习用图像制作处理的步骤S11中，作为功能块具有设计数据输入部200、基于GUI的参数指定205、第二学习用图像制作部220以及第一学习用图像制作部210。设计数据输入部200输入来自外部(例如MES10)的设计数据250(例如读出来自图1的存储介质装置4的设计数据11)。基于GUI的参数指定205在后述的GUI的画面中，用户指定、输入与第二学习用图像的制作有关的参数(也记载为第二处理参数)。第二学习用图像制作部220基于设计数据250和第二处理参数，制作作为目标图像252的第二学习用图像。第一学习用图像制作部210基于设计数据250来制作作为多个输入图像251的第一学习用图像。此外，第一学习用图像、第二学习用图像的制作例如在设计数据为图像的情况下，可以使用设计数据的图像本身，在设计数据为矢量数据的情况下，可以根据矢量数据制作位图(bitmap)的图像。

[0070] 在模型学习处理S12中，进行模型260的学习，使得即使输入了作为第一学习用图像的多个输入图像251(各种像质的图像)中的任一个，也输出作为第二学习用图像(推定第二学习用图像)的目标图像252。

[0071] [1‑3.缺陷位置信息]

[0072] 图3是表示由来自外部的检查装置7的缺陷位置信息8所包含的缺陷坐标表示的缺陷位置的例子的示意图。在图3中，在对象试样9的x‑y面上，以点(×标记)图示缺陷坐标。若从试样观察装置1观察，则该缺陷坐标是成为观察对象的观察坐标。晶圆301表示圆形的半导体晶圆面区域。裸芯片302表示形成于晶圆301的多个裸芯片(换言之，芯片)的区域。

[0073] 实施方式1的试样观察装置1具有基于这样的缺陷坐标自动地收集拍摄到试样9的面的缺陷部位的高精细的图像的ADR功能。但是，来自检查装置7的缺陷位置信息8内的缺陷坐标包含误差。换言之，在检查装置7的坐标系中的缺陷坐标与试样观察装置1的坐标系中的缺陷坐标之间可能产生误差。作为误差的主要原因，可举出工作台109上的试样9的对位不完全等。

[0074] 因此，试样观察装置1以缺陷位置信息8的缺陷坐标为中心，在第一条件下拍摄宽视野、低倍率的图像(换言之，相对低画质的图像、第一图像)，基于该图像，再次检测缺陷部位。然后，试样观察装置1使用预先学习到的模型，针对该再次检测出的缺陷部位，推定第二条件下的窄视野、高倍率的图像(换言之，相对高画质的图像、第二图像)，并取得为观察用图像。

[0075] 在晶圆301上规则地包含多个裸芯片302。因此，在对具有缺陷部位的裸芯片302例如拍摄相邻的其他裸芯片302的情况下，能够取得不包含缺陷部位的合格品裸芯片的图像。在试样观察装置1中的缺陷检测处理中，例如能够将这样的合格品裸芯片图像用作参照图像。并且，在缺陷检测处理中，在检查对象图像(观察用图像)与参照图像之间，作为缺陷判定，例如进行浓淡(特征量的例子)的比较，能够将浓淡不同的部位检测为缺陷部位。

[0076] [1‑4.学习阶段其1]

[0077] 图4表示实施方式1中的学习阶段S1的结构例。上位控制装置3的处理器(控制部102或运算部104)进行学习阶段S1的处理。描绘引擎403相当于将图2中的第一学习用图像制作部210和第二学习用图像制作部220合并起来具有的处理部。像质变换引擎405相当于使用图2中的模型260进行学习的学习部230。

[0078] 在学习阶段S1中，处理器通过将从设计数据400切出了一部分区域后的数据和第一处理参数401输入到描绘引擎403，从而取得第一学习用图像404。第一学习用图像404是学习用的多个输入图像，在此，用符号f表示该图像。i＝1～M，M为图像张数。将多个第一学习用图像表示为f＝{f1，f2，……，fi，……，fM}。

[0079] 第一处理参数401是用于制作(换言之，生成)第一学习用图像404的参数(换言之，条件)。在实施方式1中，第一处理参数401是在本系统中预先设定的参数。第一处理参数401是假定拍摄环境、试样9的状态所引起的拍摄图像的像质变化，为了制作不同的像质的多个第一学习用图像而设定的参数。第一处理参数401例如是通过使用电路图案的浓淡值、形状变形、图像分辨率以及图像噪声中的至少1个要素的参数将参数值进行多种方式变更而设定的参数集。

[0080] 设计数据400是观察对象试样9的电路图案形状的布局数据。例如在试样9是半导体晶圆或半导体器件的情况下，设计数据400是将半导体电路图案的设计形状的边缘信息作为坐标数据写入的文件。作为这样的设计数据的文件，以往已知GDS‑II、OASIS等格式。通过利用设计数据400，即使实际上不利用SEM101拍摄试样9，也能够得到图案的布局信息。

[0081] 在描绘引擎403中，基于设计数据400中的图案的布局信息，制作第一学习用图像404和第二学习用图像407双方作为图像。

[0082] 在实施方式1(图4)中，在用于第一学习用图像的第一处理参数401和用于第二学习用图像的第二处理参数中是不同的参数。第一处理参数401考虑对象工序中的变动，反映与电路图案的浓淡、形状变形、图像分辨率以及图像噪声的要素对应的参数值的变更，并预先设定。与此相对，第二处理参数402反映了用户在GUI中指定的参数值，反映了在试样观察时的用户的喜好。

[0083] [1‑5.设计数据]

[0084] 使用图5，对设计数据400中的图案的布局信息进行说明。图5表示设计数据400中的图案的布局信息的例子。(A)的设计数据500表示试样9的面的某区域的设计数据。根据设计数据400，能够取得各区域的图案的布局信息。在本例中，图案的边缘形状用线来表现。例如，粗虚线表示上层图案，单点划线表示下层图案。区域501表示与用于说明的比较的图案区域的例子。

[0085] (C)的图像505是实际通过作为电子显微镜的SEM101对与试样9的面中的区域501相同的区域进行拍摄而取得的图像。

[0086] (B)的信息(区域)502是从(A)的设计数据500裁剪了区域501(与图像505相同的区域)而得到的信息(区域)。区域504是上层图案区域(例如纵线区域)，区域503是下层图案区域(例如横线区域)。例如，如图所示，作为区域504的纵线区域具有纵的2条线(粗虚线)作为边缘形状。这样的图案区域例如具有每个构成的点(对应的像素)的坐标信息。

[0087] 作为描绘引擎403中的图像取得方法，例如有如下方法：根据从设计数据400取得的图案布局信息和处理参数，从下层起依次描绘，由此取得图像。描绘引擎403从设计数据500裁剪描绘的区域(例如区域501)，基于处理参数(第一处理参数401)描绘没有图案的区域(例如区域506)。接着，描绘引擎403描绘下层图案的区域503，最后描绘上层图案的区域
504，由此得到信息502那样的图像。通过这样的处理，得到图4的第一学习用图像404。通过一边变更参数值等一边进行同样的处理，得到作为多个输入图像的第一学习用图像404。

[0088] [1‑6.学习阶段其2]

[0089] 返回图4。接着，处理器基于第二处理参数402和设计数据400，将剪切出与第一学习用图像404的取得时相同的区域的数据输入到描绘引擎403，由此取得第二学习用图像407。第二处理参数402是为了制作(换言之，生成)第二学习用图像407而设定的参数，是用户通过GUI等指定并反映用户的喜好的参数。

[0090] 接着，处理器通过将作为多个输入图像的第一学习用图像404输入到像质变换引擎405，得到推定第二学习用图像406作为推定的输出。推定第二学习用图像406是由模型推定出的图像，在此，也将该图像用记号g’表示。j＝1～N，N为图像张数。将多个推定第二学习用图像表示为g’＝{g’1，g’2，……，g’j，……，g’N}。

[0091] 此外，在实施方式1中，使第一学习用图像(f)404的张数M与推定第二学习用图像(g’)406的张数N相同，但并不限定于此。

[0092] 作为构成像质变换引擎405的机器学习的模型，也可以应用以深度学习的模型，例如卷积神经网络(CNN：Convolutional Neural Network)为代表的模型。

[0093] 接着，处理器在运算408中，输入第二学习用图像(g)407和多个推定第二学习用图像(g’)406，计算与它们的差分相关的推定误差409。计算出的推定误差409被反馈到像质变换引擎405。处理器更新像质变换引擎405的模型的参数，以使推定误差409变小。

[0094] 处理器通过重复以上那样的学习处理，使像质变换引擎405最佳化。最佳化后的像质变换引擎405是指从第一学习用图像404对推定第二学习用图像406进行推定时的精度高。此外，在推定误差409中，也可以使用由识别图像的差分、第二学习用图像407和推定第二学习用图像406的CNN产生的输出。作为变形例，在后者的情况下，运算408成为基于使用了CNN的学习的运算。

[0095] 本处理的课题是如何取得第一学习用图像404和第二学习用图像407。为了相对于因试样9的状态、拍摄条件的差异而导致的拍摄图像的像质变化而最佳化到鲁棒性的像质变换引擎405，需要确保第一学习用图像404的像质的变动(variation)。因此，在本处理中，假定可能产生的像质的变化，将第一处理参数401变更为多个，根据设计数据400制作第一学习用图像404，由此能够确保第一学习用图像404的像质的变动。

[0096] 另外，为了能够输出反映了用户的喜好的像质的图像而使像质变换引擎405最佳化，作为目标图像即第二学习用图像407，需要使用反映了用户的喜好的像质的图像。然而，在拍摄试样9而得到的图像中难以实现与用户的喜好相符的像质(换言之，适合观察的像质)的情况下，难以准备这样的目标图像。因此，在本处理中，将设计数据400和第二处理参数402输入到描绘引擎403来制作第二学习用图像407。由此，作为第二学习用图像407而能够取得在拍摄图像中难以实现的像质的图像。另外，在本处理中，第一学习用图像404和第二学习用图像407中的任一个都基于设计数据400来制作。因此，在实施方式1中，基本上不需要预先准备试样9进行拍摄，能够进行基于学习的像质变换引擎405的最佳化。

[0097] 此外，在实施方式1的试样观察装置1中，不需要将由SEM101拍摄到的图像用于学习处理，但由SEM101拍摄到的图像并不限制于用到学习处理、试样观察处理。例如，作为变形例，在学习处理中，也可以追加一部分拍摄图像并为辅助使用。

[0098] 此外，第一处理参数401被预先设计为反映了在对象工序中可能产生的变动的参数。该对象工序是与对象试样9的种类对应的制造工艺的制造工序。变动是与像质(例如分辨率、图案形状、噪声等)相关的环境、状态、条件的变动。

[0099] 在实施方式1中，针对第一学习用图像404所涉及的第一处理参数401，预先在本系统中设计，但能够不限于此。在变形例中，关于第一处理参数，也能够与第二处理参数同样地，在GUI的画面中由用户进行可变的设定。例如，也可以从候选中选择并设定用作第一处理参数的参数集等。特别是，在变形例中，也可以在GUI的画面中针对用于确保像质的变动的第一处理参数，按照使用的每个参数来设定变动幅度(也可以是方差等统计值)。由此，用户能够在考虑处理时间与精度的权衡的同时，进行基于第一处理参数的可变设定的试行、调整。

[0100] [1‑7.效果等]

[0101] 如上所述，根据实施方式1的试样观察装置以及方法，能够减少实际的图像的拍摄等作业。在实施方式1中，能够不使用实际的拍摄图像而使用设计数据来制作第一学习用图像和第二学习用图像。由此，不需要在试样观察的事前准备试样并进行拍摄的作业，能够离线、换言之不需要拍摄地实现像质变换引擎的模型的最佳化。因此，例如在设计数据的完成时进行学习，在作为对象试样的半导体晶圆完成时能够立即进行第一拍摄图像的拍摄以及第二拍摄图像的推定。即，能够实现作业整体的高效化。

[0102] 根据实施方式1，能够使像质变换引擎最佳化，该像质变换引擎能够变换为与用户的喜好一致的像质。另外，能够相对于试样的状态、拍摄条件的变化最佳化为鲁棒性高的像质变换引擎。由此，在试样观察时，通过使用该像质变换引擎，能够将与用户的喜好一致的像质的图像作为观察用图像稳定、高精度地输出。

[0103] 根据实施方式1，即使在使用深度学习作为机器学习的情况下，也能够准备多个图像。根据实施方式1，能够制作与用户的喜好相应的目标图像。根据实施方式1，根据设计数据制作与各种拍摄条件对应的输入图像，通过用户所进行的参数指定来制作目标图像，因此能够实现上述那样的效果。

[0104] <实施方式2>

[0105] 使用图6，对实施方式2的试样观察装置等进行说明。实施方式2等中的基本结构与实施方式1相同，以下，主要对实施方式2等中的与实施方式1不同的结构部分进行说明。实施方式2的试样观察装置以及方法具备：设计数据输入部，其输入试样的电路图案的布局的设计数据；第一学习用图像输入部，其准备第一学习用图像；第二学习用图像制作部，其使用用户所指定的第二处理参数，根据设计数据制作第二学习用图像；学习部，其使用第一学习用图像和第二学习用图像来学习模型；以及推定部，其将由拍摄装置拍摄到的试样的第一拍摄图像输入到模型，通过推定输出第二拍摄图像。

[0106] 在实施方式2中，作为本处理的课题，有如何取得与用户的喜好一致的理想的目标图像。在变更拍摄装置的拍摄条件的同时拍摄试样，找出与用户的喜好一致的图像的拍摄条件并不容易。并且，即使在任何拍摄条件下，有时也无法得到用户期望的理想的像质的图像。即，作为基于电子显微镜的拍摄的物理极限，无法将图像的分辨率、信号/噪声比(S/N)、对比度等评价值全部设为所希望的值。

[0107] 因此，在实施方式2中，通过将设计数据输入到描绘引擎，使用反映用户的喜好的第二处理参数进行描绘，能够制作理想的像质的目标图像。根据该设计数据制作出的理想的目标图像被用作第二学习用图像。

[0108] 实施方式2中的学习阶段S1的结构作为与图2不同的结构，第一学习用图像制作部210不是根据设计数据250来制作多个输入图像251，而是基于由拍摄装置2实际拍摄到的图像来制作多个输入图像251。

[0109] [2‑1.学习阶段]

[0110] 图6表示实施方式2中的学习阶段S1的结构例。在上述的实施方式1中，示出了在学习阶段S1中，图4的第一学习用图像404和第二学习用图像407中的任一个都根据设计数据来制作，将像质变换引擎405最佳化的方法。与此相对，在实施方式2中，关于第一学习用图像，使用由作为电子显微镜的SEM101实际拍摄到的图像，关于第二学习用图像，基于设计数据来制作。

[0111] 在图6中，处理器设定SEM101的拍摄参数610，通过SEM101的控制进行试样9的拍摄612。处理器也可以在此时使用缺陷位置信息8。处理器通过该拍摄612，取得至少1张图像来作为第一学习用图像(f)604。

[0112] 此外，在实施方式2中，作为基于拍摄装置2的拍摄612，不限于SEM101等电子显微镜，也可以使用光学显微镜或超声波检查装置等。

[0113] 然而，在通过拍摄612取得假定了可能产生的像质的变化的各种像质的多个图像作为第一学习用图像604的情况下，以往需要与该情况对应的多个试样，用户的作业的负担大。因此，在实施方式2中，处理器也可以对通过拍摄612得到的1个第一学习用图像604应用将参数值变更为各种的图像处理，由此，制作、取得使像质各种各样地变化后的多个输入图像作为第一学习用图像。

[0114] 接着，处理器通过将设计数据600和反映了用户的喜好的处理参数即第二处理参数602输入到描绘引擎603，从而取得第二学习用图像607(g)。描绘引擎603相当于第二学习用图像制作部。

[0115] [2‑2.效果等]

[0116] 如上所述，根据实施方式2，由于基于设计数据来制作作为目标图像的第二学习用图像，所以能够减少用于制作目标图像的拍摄的作业。

[0117] 另外，作为其他效果也可以举出以下的效果。在上述的实施方式1(图2)中，根据设计数据来制作学习阶段S1的输入图像(第一学习用图像)，试样观察阶段S2的输入图像成为拍摄图像(第一拍摄图像253)。因此，在实施方式1中，在学习阶段S1和试样观察阶段S2中，可能存在基于设计数据的制作图像与拍摄图像的差异所造成的影响。与此相对，在实施方式2中，根据拍摄图像来制作学习阶段S1的输入图像，试样观察阶段S2的输入图像也成为拍摄图像(第一拍摄图像253)。由此，实施方式2中的学习阶段S1与实施方式1中的学习阶段S1不同，能够不受到基于设计数据由描绘引擎取得的制作图像与拍摄图像的差异所造成的影响而进行模型的最佳化。

[0118] <实施方式3>

[0119] 使用图7，对实施方式3的试样观察装置等进行说明。实施方式3的试样观察装置以及方法具备：设计数据输入部，其输入试样的电路图案的布局的设计数据；第一学习用图像制作部，其制作第一学习用图像；第二学习用图像输入部，其准备第二学习用图像；学习部，其使用第一学习用图像和第二学习用图像来学习模型；以及推定部，其将由拍摄装置拍摄到的试样的第一拍摄图像输入到模型，通过推定来输出第二拍摄图像。

[0120] 第一学习用图像制作部将电路的图案的浓淡值、形状变形、图像分辨率、图像噪声等中的至少1个的要素的第一处理参数变更为多个，根据设计数据制作相同区域的多个输入图像来作为第一学习用图像。

[0121] 在实施方式3中，作为本处理的课题，可以举出将各种像质的图像作为第一学习用图像。在仅将单一的像质的图像作为第一学习用图像的情况下，难以确保相对于试样的状态、拍摄条件的差异所引起的像质变化的鲁棒性，因此，像质变换引擎的通用性低。在实施方式3中，在根据同一设计数据制作第一学习用图像时，假定可能产生的像质的变化来变更第一处理参数，由此能够确保第一学习用图像的像质的变动。

[0122] 实施方式3中的学习阶段S1的结构作为与图2不同的结构，第二学习用图像制作部220不是根据设计数据250来制作目标图像252，而是基于由拍摄装置2实际拍摄到的图像来制作目标图像252。

[0123] [3‑1.学习阶段]

[0124] 图7表示实施方式3中的学习阶段S1的结构例。在实施方式3中，关于第二学习用图像，使用由拍摄装置2(SEM101)拍摄到的图像，关于第一学习用图像，根据设计数据来制作。

[0125] 在图7中，处理器设定作为拍摄装置2的SEM101的拍摄参数710，控制试样9的拍摄712，由此取得第二学习用图像707(g)。处理器在拍摄712时，也可以使用缺陷位置信息8。

[0126] 此外，通过拍摄712取得的图像有时因对比度不足、噪声等的影响而缺乏视觉辨认性。因此，在实施方式3中，处理器也可以对通过拍摄712得到的图像应用对比度校正、噪声去除等图像处理，将该图像作为第二学习用图像707。另外，试样观察装置1的处理器也可以将从外部的其他装置取得的图像用作第二学习用图像707。

[0127] 接着，处理器通过将设计数据700和第一处理参数701输入到描绘引擎703，从而取得多个输入图像即第一学习用图像704(f)。

[0128] 此外，第一处理参数701是如下的参数集：用于假定拍摄环境、试样9的状态所引起的拍摄图像的像质变化，针对电路图案的浓淡值、形状变形、图像分辨率、以及图像噪声中的至少1个的要素的参数，将参数值变更为多个，取得不同的像质的多个输入图像即第一学习用图像704。

[0129] 通常，在通过电子显微镜的拍摄取得像质良好的图像的情况下，拍摄等处理所需的时间变长。例如，在该拍摄时，需要电子束扫描、多个图像帧的加法处理等，因此需要比较长的时间。因此，在该情况下，难以兼顾画质和处理时间，画质和处理时间具有权衡关系。

[0130] 因此，在实施方式3中，在本处理中，预先进行画质好的图像的拍摄712，作为第二学习用图像707使用于像质变换引擎705的学习。由此，拍摄处理时间比较短，但能够从画质相对差的图像向画质相对好的图像进行变换。其结果，能够兼顾画质和处理时间。换言之，容易根据用户调整画质与处理时间的平衡。

[0131] 另外，在将通过其他装置取得的图像用作第二学习用图像707的变形例的情况下，在试样观察阶段S2时，能够将由试样观察装置1拍摄到的图像的像质变换为由该其他装置取得的图像的像质。

[0132] 此外，在图7中，在由上位控制装置3的处理器根据拍摄参数710控制SEM101的拍摄712时，例如对电子束的扫描次数等进行设定、控制。由此，能够控制拍摄图像的画质的高低等。例如，在目标图像(第二学习用图像707)侧，能够增多扫描次数来拍摄高画质图像，在输入图像(第一学习用图像704)侧，也能够根据设计数据700使用相对低画质图像。这样，通过在输入图像和目标图像中控制画质的高低，也能够取得处理时间与精度的平衡。

[0133] [3‑2.效果等]

[0134] 如上所述，根据实施方式3，由于基于设计数据来制作多个输入图像即第一学习用图像，因此能够减少用于制作多个输入图像的拍摄的作业。

[0135] <实施方式4>

[0136] 使用图8，对实施方式4的试样观察装置等进行说明。在实施方式4中，表示第一学习用图像以及第二学习用图像的使用方法。在实施方式4中，第一学习用图像和第二学习用图像中的一方使用拍摄图像。因此，实施方式4相当于实施方式2或实施方式3的变形例。实施方式4相对于实施方式2、3中的学习阶段S1，主要不同的构成部分是学习用图像取得以及使用方法。

[0137] [4‑1.学习阶段]

[0138] 图8表示实施方式4中的学习阶段S1的结构例。在实施方式4中，第一学习用图像(f)和第二学习用图像(g)中的一方是由SEM101拍摄到的试样9的拍摄图像，另一方是根据设计数据制作出的设计图像。例如，在根据拍摄图像制作第一学习用图像、根据设计数据制作第二学习用图像的情况下进行说明，但即使在相反的情况下，实施方式4中的处理也同样成立。

[0139] 在图8中，处理器将SEM101的拍摄图像801与设计数据800进行对照，进行图像对位的处理802。处理器基于该处理802，在设计数据800的区域内进行与拍摄图像801的位置/区域对应的位置/区域803的裁剪804。由此，得到裁剪后的设计数据805(区域、信息)。处理器根据该设计数据805(区域)来制作第一学习用图像或第二学习用图像。

[0140] 此外，在设置上述那样的图像对位802的功能的情况下，例如在图6的实施方式2的情况下，追加将由SEM101的拍摄612得到的拍摄图像和设计数据600(其中的区域)作为输入来进行图像对位的功能块。

[0141] 在实施方式4中，通过本处理，能够进行第一学习用图像与第二学习用图像的对位，关于第一学习用图像和第二学习用图像，位置偏移没有或者降低。由此，无需考虑第一学习用图像与第二学习用图像的位置偏移，能够进行模型的最佳化，提高最佳化处理的稳定性。

[0142] <实施方式5>

[0143] 使用图9以后，对实施方式5的试样观察装置等进行说明。在实施方式5中，表示在第一学习用图像和第二学习用图像中使用多个图像的方法，换言之按照上述的每一个图像进一步进行多个化的方法。实施方式5相对于实施方式1，主要不同的构成部分是学习用图像取得以及使用方法。实施方式5针对实施方式1中的第一学习用图像和第二学习用图像，按照试样9的每个相同区域，进一步使用多个图像。实施方式5中的特征能够同样地应用于实施方式1～3。

[0144] [5‑1.学习阶段]

[0145] 图9表示实施方式5中的学习阶段S1的结构例。描绘引擎903基于设计数据900、第一处理参数901、各检测器处理参数911来制作多个第一学习用图像904。另外，描绘引擎903基于设计数据900、第二处理参数902、各检测器处理参数912来制作第二学习用图像907。在实施方式5中，进一步地，各第一学习用图像904由多个图像构成，第二学习用图像907由多个图像构成。例如，第一学习用图像904中的第一个图像f1由从f1‑1到f1‑V的多个(设为V)的图像构成。同样地，到第M个为止的各图像由多个(V)图像构成。第二学习用图像907(g)由从g‑1到g‑U的多个(设为U)的图像构成。

[0146] 由描绘引擎903取得的多个第一学习用图像904(f1～fM)中的各图像能够分别作为2维的排列来处理。例如，在某矩形的图像中，将画面水平方向(x方向)设为第一维，将画面垂直方向(y方向)设为第二维，能够以2维排列来指定图像区域内的各像素的位置。并且，作为多个输入图像的第一学习用图像904(2维排列的各图像)也可以将与图像张数V对应的方向作为3维方向进行连结，由此将各图像扩展成3维的排列而构成。例如，第一个图像组f1(＝f1‑1～f1‑V)由1个3维排列构成。

[0147] 多个第一学习用图像904(f1～fM)能够与图像张数M以及图像张数V对应地如以下那样进行识别、确定。将用于识别与图像张数M对应的方向上的多个第一学习用图像的变量(索引)设为i，将用于识别与图像张数V对应的方向上的多个第一学习用图像的变量(索引)设为m。第一学习用图像904中的某1个图像能够通过指定(i，m)来确定。例如，能够如作为第一学习用图像904的第i个图像组fi＝{fi‑1，……，fi‑V}中的第m个图像fi‑m那样进行确定。

[0148] 另外，由描绘引擎903取得的多个第二学习用图像907{g‑1，……，g‑U}中的各图像能够分别作为2维的排列来处理。并且，作为多个目标图像的第二学习用图像907(2维排列的各图像)也能够将与图像张数U对应的方向作为3维方向进行连结，由此将各图像扩展成3维的排列而构成。作为多个目标图像的第二学习用图像907(g‑1～g‑U)中的1个图像使用用于识别与图像张数U对应的方向上的多个第二学习用图像的变量(设为k)，例如能够像图像g‑k那样进行确定。

[0149] 接着，将第一学习用图像904的各图像(例如图像组f1)输入到像质变换引擎905，由此，作为推定第二学习用图像906，得到对应的图像组(例如g’1)。处理器也可以针对该推定第二学习用图像906，在与图像张数N不同的图像张数(设为W)所对应的方向(例如3维方向)上将要素分割为多个，例如像图像组g’1{g’1‑1，……，g’1‑W}那样制作。关于这些推定第二学习用图像906，也可以同样地由3维排列构成。

[0150] 多个第二学习用图像906(g’1～g’N)能够与图像张数N以及图像张数W对应地例如像以下那样识别、确定。将与图像张数N对应的方向上的变量(索引)设为j，将与图像张数W对应的方向上的变量(索引)设为n。多个第二学习用图像906中的某1个图像能够通过指定(j，n)来确定。例如，能够如作为第二学习用图像906的第j个的图像组g’j＝{g’j‑1，……，g’j‑W}中的第n个图像g’j‑n那样进行确定。

[0151] 此外，在实施方式5中，在图9的例子中，示出了根据设计数据900来制作第一学习用图像904和第二学习用图像907双方的情况，但不限于此，也可以与实施方式2、3同样地，通过试样9的拍摄来取得第一学习用图像904和第二学习用图像907中的一方。

[0152] 另外，在实施方式5中，相对于上述的实施方式1～4，将像质变换引擎905的模型变更为输入输出与第一学习用图像904以及推定第二学习用图像906的3维方向的图像张数(V、W)相应的多维图像的结构。例如，在将CNN应用于该像质变换引擎905的情况下，仅将CNN中的输入层和输出层变更为与上述3维方向的图像张数(V、W)对应的结构即可。

[0153] 在实施方式5中，作为3维方向的图像张数(V、W)下的多个图像(例如图像组f1的图像f1‑1～f1‑V)，特别是能够应用能够通过拍摄装置2(SEM101)的多个检测器111(图1)取得的多个种类的多个图像等。该多个种类的多个图像例如是将散射方向不同的散射电子的量或能量不同的散射电子的量图像化而得的图像。具体而言，在电子显微镜中，存在能够拍摄、取得这样的多个种类的图像的电子显微镜。在该电子显微镜中，存在能够通过一次拍摄来取得这些图像的装置，也存在能够分为多次拍摄来取得这些图像的装置。图1的SEM101能够使用多个检测器111来拍摄上述那样的多个种类的图像。能够将这样产生的多个种类的多个图像作为实施方式5中的3维方向的多个图像来应用。

[0154] 此外，在图4、图7、图9等的结构中，针对模型输入输出的多个图像(第一学习用图像以及推定第二学习用图像)将输入侧的图像张数与输出侧的图像张数设为相同，但不限于此，也能够使输入侧的图像张数与输出侧的图像张数不同。另外，也能够仅将输入侧的图像张数和输出侧的图像张数中的一方设为1张。

[0155] [5‑2.检测器]

[0156] 图10是表示图1的SEM101的多个检测器111的详细结构例的立体图。在本例中，作为检测器111，具有5个检测器。这些检测器相对于工作台109上的试样9被配置在预定的位置(位置P1～P5)。z轴与铅垂方向对应。位置P1的检测器以及位置P2的检测器配置于沿着y轴的位置，位置P3的检测器以及位置P4的检测器配置于沿着x轴的位置。这4个检测器配置在z轴的预定位置的同一平面内。位置P5的检测器沿着z轴配置在与4个检测器的平面的位置相比向上方远离的位置。

[0157] 4个检测器被配置成能够选择性地检测具有特定的放射角度(仰角以及方位角)的电子。例如，位置P1的检测器能够检测从试样9沿着y轴的正方向射出的电子。位置P4的检测器能够检测从试样9沿着x轴的正方向射出的电子。位置P5的检测器能够检测主要从试样9向z轴的方向射出的电子。

[0158] 如上所述，通过多个检测器沿着不同的轴而被配置于多个位置的结构，能够取得宛如从相对方向对各检测器照射光那样的具有对比度的图像。因此，能够进行更详细的缺陷观察。不限于这样的检测器111的结构，也可以是不同的数量、位置、朝向等的结构。

[0159] [5‑3.通过描绘引擎制作的第一学习用图像]

[0160] 图11和图12表示在实施方式5中的学习阶段S1中由描绘引擎903制作的第一学习用图像904的图像的例子。图11以及图12所示的多个种类的图像能够在各实施方式中应用。在实施方式5中，处理器基于设计数据900通过推定来制作这些多个种类的图像。

[0161] 例如，根据从试样9飞出的电子的种类，能够得到二次电子像、反射电子像。二次电子(Secondary Electron)也简称为SE。反射电子(Back Scattered Electron)也简称为BSE。图11的(A)～(G)的图像是SE像的例子，图12的(H)～(I)的图像是BSE像的例子。(A)～(G)的图像是考虑了像质变动的图像的例子。(B)～(E)的图像是考虑了图案形状变形的图像的例子。另外，与图10的例子同样地，在具有安装于若干方向(例如x‑y面的上下左右)的多个检测器(反射电子检测器)的结构的情况下，根据由这些多个检测器检测出的电子数，得到按方向的BSE像。另外，当在检测器之前设置有能量过滤器的结构的情况下，能够仅检测具有特定的能量的散射电子，由此，能够得到按能量的图像。

[0162] 另外，根据SEM101的结构，也能够得到从任意的倾斜方向观察测定对象的倾斜图像。图12的(J)的图像1200的例子是相对于工作台109上的试样9的面从左斜上方45度的方向观察到的倾斜图像。作为得到这样的倾斜图像的方式，例如可列举出光束倾斜方式、工作台倾斜方式、镜筒倾斜方式等。光束倾斜方式是使从电子光学系统照射的电子束偏转，使电子束的照射角度倾斜而进行拍摄的方式。工作台倾斜方式是使载置试样的工作台倾斜而进行拍摄的方式。镜筒倾斜方式是使光学系统自身相对于试样倾斜的方式。

[0163] 在实施方式5中，通过将这样的多个种类的多个图像设为第一学习用图像904，与将1张图像设为第一学习用图像的结构相比，能够将更多的信息输入到像质变换引擎905的模型，因此能够提高像质变换引擎905的模型的性能、特别是能够与各种像质对应的鲁棒性。作为像质变换引擎905的模型的输出，得到基于不同的像质的多个推定第二学习用图像906。

[0164] 另外，在为了将多个不同像质的图像作为像质变换引擎905的输出而准备按每个输出图像不同的多个像质变换引擎的结构的情况下，需要多个像质变换引擎的最佳化。另外，在利用这些像质变换引擎时，需要对各像质变换引擎输入拍摄图像并进行处理，因此处理时间变长。与此相对，在实施方式5中，为了将多个不同像质的图像(推定第二学习用图像906)作为像质变换引擎905的输出，通过1个像质变换引擎905完成。在实施方式5中，由于基于相同的设计数据900来制作第二学习用图像907，因此，像质变换引擎905能够根据相同的特征量来制作各输出图像(推定第二学习用图像906)。在本处理中，通过成为能够输出多个图像的1个像质变换引擎905，最佳化时的处理时间以及像质变换的处理时间变短，提高效率以及便利性。

[0165] 图11的(A)的图像1110是作为伪SE图像的分层浓淡描绘的图像。如上述的图5的(B)的例子那样，试样9的区域中，作为电路图案例如具有上下层。图像1110是基于图案浓淡值的像质变动的生成例。处理器基于设计数据的区域来变更图案浓淡值，由此制作这样的图像。在该图像1110中，上层的线(例如线区域1111)和下层的线(例如线区域1112)以不同的浓淡(亮度)描绘，上层比下层明亮。另外，也可以像图像1110的例子那样，设为在SE像中描绘了特别显著地观察的各层的边缘部(例如线1113)中的白色带的图像。

[0166] (B)的图像1120是基于电路图案的形状变形的例子。处理器基于设计数据的区域，通过对电路图案的形状进行变形的处理来制作这样的图像。图像1120作为形状变形的例子，是转角变圆(corner rounding)。对纵线和横线的角1211赋予圆。

[0167] (C)的图像1130作为形状变形的另一例，是赋予线边缘粗糙度的例子。图像1130对于各线区域，以使边缘(例如线1131)变形的方式赋予了粗糙度。

[0168] (D)的图像1140作为形状变形的另一例，是变更线宽的例子。在图像1140中，使上层的线区域的线宽(例如线宽1141)相比于标准膨胀，使下层的线区域的线宽(例如线宽1412)相比于标准收缩。

[0169] (E)的图像1150作为分层浓淡描绘的另一例，是相对于(A)的图像1110在上下层颠倒了浓淡(亮度)的例子。在图像1150中，下层比上层明亮。

[0170] (F)的图像1160是基于图像分辨率的像质变动的例子。处理器基于设计数据的区域，通过变更的处理来制作这样的图像。图像1160假定分辨率低的显微镜，并且设为比标准低的分辨率。在图像1160中，成为模糊后的图像，例如线区域的边缘模糊。

[0171] (G)的图像1170是基于图像噪声的像质变动的例子。处理器基于设计数据的区域，通过变更图像噪声的处理来制作这样的图像。图像1170通过赋予噪声而设为比标准低的S/N。在图像1170中，出现每个像素的噪声(不同的浓淡值)。

[0172] 在图12中，(H)的图像1180是在伪BSE图像的例子中由检测器进行的像质变动的例子。处理器基于检测器111的结构以及设计数据的区域，通过图像加工处理等来制作这样的图像。图像1180假定由多个检测器中的例如左侧的BSE检测器产生的图像，是在电路图案的右侧具有阴影的图像。例如，关于某个纵线区域1181，存在左侧的边缘的线1182和右侧的边缘的线1183。假定相对于该图案在左侧具有BSE检测器的情况，左侧的边缘的线1182设为更明亮的颜色(照射光那样的表现)，相反地右侧的边缘的线1183设为更暗的颜色(如阴影那样的表现)。

[0173] (I)的图像1190是检测器的另一例，假定由上侧的BSE检测器产生的图像，是在图案的下侧存在阴影的图像。例如，关于某个横线区域1191，存在上侧的边缘的线1192和下侧的边缘的线1193。假定相对于该图案在上侧具有BSE检测器的情况，上侧的边缘的线1192设为更明亮的颜色，相反地下侧的边缘的线1193设为更暗的颜色。

[0174] (J)的图像1200是倾斜图像的示例。图像1200是假定不是从标准的z轴的方向而是从斜上方、例如左斜上方45度(倾斜方向)拍摄工作台109上的试样9(图10)的情况下的倾斜图像。在该倾斜图像内，图案被3维表现。例如，假定从斜向观察的情况，纵线区域1201的图案表现出右侧的侧面的区域1202。横线区域1203表现出下侧的侧面的区域1204。另外，也表现出上层的纵线区域1201和下层的横线区域1204交叉的部分。

[0175] 处理器例如根据设计数据中的二维的图案布局的数据来推定并制作这样的倾斜图像。此时，作为推定并制作倾斜图像的方法，例如可以举出如下方法：输入图案的高度的设计值，生成伪的图案的三维形状，推定从倾斜方向观察的图像。

[0176] 如上所述，试样观察装置1的处理器根据带电、图案形状的变动等这样的试样9的状态、拍摄条件等的影响，考虑对试样9进行拍摄时假定的像质的变动，将不同的各种像质的图像作为变动进行制作，并作为多个输入图像即第一学习用图像904。由此，能够针对输入图像的像质变动，对鲁棒性的像质变换引擎905的模型进行最佳化。另外，根据观察试样9时的条件，设定拍摄装置2的检测器111(多个检测器中的使用的检测器等)，或者，通过成为倾斜图像，能够高精度地进行模型的最佳化。

[0177] [5‑4.由描绘引擎制作的第二学习用图像]

[0178] 接着，图13和图14表示由描绘引擎903制作的第二学习用图像907的例子。例如，也可以将相比于通过拍摄得到的图像提高了视觉辨认性的高对比度且高S/N的图像作为第二学习用图像907。另外，也可以将倾斜图像等与用户的喜好一致的图像作为第二学习用图像907。另外，也可以不只是模仿拍摄到的图像的图像，而是将应用了图像处理后的结果作为第二学习用图像907，该图像处理用于从将要拍摄得到的图像取得信息。另外，也可以将从设计数据的电路图案中提取一部分而得到的图像作为第二学习用图像907。

[0179] 在图13中，(A)的图像1310是与通过拍摄而得到的图像相比提高了视觉辨认性的高对比度的图像的例子。在图像1310中，上层图案区域、下层图案区域以及除此以外的区域(无图案区域)这3种区域表现为高对比度。

[0180] (B)的图像1320是分层的图案分割的图像的例子。在图像1320中，上层图案区域、下层图案区域以及除此以外的区域(无图案区域)这3种区域按每个区域区分颜色来表现。

[0181] 从(C)的图像1330到图14的(K)的图像1410的图像是图案边缘的图像的例子，以图案的轮廓线(边缘)醒目的方式描绘。在(C)的图像1330中，提取图案的边缘，例如以白色描绘各线区域的边缘线，除此以外以黑色描绘。

[0182] (D)的图像1340以及(E)的图像1350是针对(C)的图像1330的各边缘方向的图像，(D)的图像1340是仅提取了x方向(横向)的边缘的图像，(E)的图像1350是仅提取了y方向(纵向)的边缘的图像。

[0183] 在图14中，从(F)的图像1360到(K)的图像1410的图像是按半导体的层叠的每个层划分出的图像的例子。(F)的图像1360是仅提取了上层图案的边缘的图像。(G)的图像1370是仅提取了上层图案的x方向的边缘的图像。(H)的图像1380是仅提取了上层图案的y方向的边缘的图像。(I)的图像1390是仅提取了下层图案的边缘的图像。(J)的图像1400是仅提取了下层图案的x方向的边缘的图像。(K)的图像1410是仅提取了下层图案的y方向的边缘的图像。

[0184] 在对拍摄图像应用了图像处理的情况下，存在由于图像的噪声等的影响而无法准确地提取信息的情况、需要配合应用工序来调整参数的情况。在实施方式5中，在从设计数据取得应用图像处理后的图像时，不受噪声等的影响，因此能够容易地取得信息。在实施方式5中，使应用了图像处理的图像作为第二学习用图像907进行学习，从而使像质变换引擎905的模型最佳化，该图像处理用于从将要拍摄得到的图像取得信息。由此，能够代替图像处理而使用像质变换引擎905。

[0185] 此外，在本例中，边缘图像为x方向和y方向这2个方向的各方向的多个边缘图像，但不限于此，对于其他方向(例如面内的倾斜方向)也能够同样地应用。

[0186] <试样观察阶段>

[0187] 使用图15，对图2的试样观察阶段S2的例子进行说明。图15以后的各处理例能够与上述的各实施方式同样地应用。图15表示试样观察阶段S2的处理流程，具有步骤S201～S207。首先在步骤S201中，上位控制装置3的处理器将成为观察对象的试样9即半导体晶圆装载到SEM101的工作台109上。在步骤S202中，处理器读入与试样9对应的拍摄条件。另外，在步骤S203中，处理器读入与试样观察处理(推定处理S21)对应的像质变换引擎(例如图4的像质变换引擎405)的处理参数(在图2的学习阶段S1中已学习的、为了图像推定而最佳化后的模型参数270)。

[0188] 接着，在步骤S204中，处理器使工作台109移动，以使试样9上的观察对象区域包含在拍摄视野内。换言之，处理器将拍摄光学系统定位在观察对象区域。步骤S204～S207的处理是针对每个观察对象区域(例如由缺陷位置信息8表示的缺陷位置)重复的循环处理。接着，在步骤S205中，处理器通过SEM101的控制，向试样9照射电子束，通过检测器111检测二次电子、反射电子等并进行图像化，由此取得观察对象区域的第一拍摄图像253(F)。

[0189] 接着，在步骤S206中，处理器通过向像质变换引擎405(图2的推定部240的模型260)输入第一拍摄图像253(F)，作为输出而取得推定的第二拍摄图像254(G’)。由此，处理器能够取得将第一拍摄图像253的像质变换为第二学习用图像的像质的第二拍摄图像254。
即，得到适合于观察处理的像质的图像(观察用图像)作为第二拍摄图像254。

[0190] 之后，在步骤S207中，处理器也可以对第二拍摄图像254应用与观察目的相应的图像处理。作为该图像处理的应用例，可举出尺寸测量、与设计数据的对位、缺陷检测、识别等。将在后面对各个例子进行叙述。此外，这样的图像处理也可以在试样观察装置1以外的装置(例如图1的缺陷分类装置5)中进行。

[0191]

[0192] 作为步骤S207的图像处理的例子，尺寸测量的处理例如下文所述。图16表示尺寸测量的处理例。该尺寸测量是使用第二拍摄图像254(F’)来测量试样9的电路图案的尺寸的测量。上位控制装置3的处理器利用预先使用边缘图像(图13、图14)作为第二学习用图像而进行最佳化的像质变换引擎1601。处理器通过向像质变换引擎1601输入作为第一拍摄图像253(F)的图像1600，从而作为输出而取得边缘图像即图像1602。

[0193] 接着，处理器进行针对图像1602的尺寸测量处理1603。在该尺寸测量处理1603中，处理器通过测量边缘间的距离来测量图案的尺寸。处理器得到尺寸测量处理1603的结果的图像1604。在图像1602、1604的例子中，对各边缘间的每个区域测量横向的宽度。例如，存在边缘间区域1605的横宽(X)1606等。

[0194] 并且，上述那样的边缘图像除了上述的线宽、以孔径为代表的一维的图案尺寸以外，对基于图案轮廓线的图案的二维形状评价也是有效的。例如，在半导体制造中的光刻工序中，有时由于光邻近效应而产生图案的二维形状变形。作为形状变形的例子，可列举出角部的圆形、图案的起伏等。

[0195] 在根据图像测量、评价图案的尺寸、形状时，需要通过图像处理尽量高精度地确定图案的边缘的位置。然而，在通过拍摄而得到的图像中还包含噪声等图案信息以外的信息。因此，为了高精度地确定边缘位置，以往需要人工调整图像处理参数。与此相对，在本处理中，通过预先通过学习而最佳化后的像质变换引擎(模型)将拍摄图像变换为边缘图像，由此不需要人工进行图像处理参数的调整，就能够高精度地确定边缘位置。在模型学习中，作为输入输出图像，使用考虑了边缘、噪声等的各种像质的图像进行学习并最佳化。因此，能够如上所述，进行使用了合适的边缘图像(第二拍摄图像254)的高精度的尺寸测量。

[0196]

[0197] 作为步骤S207的图像处理的例子，与设计数据的对位的处理例如下文所述。在SEM101等电子显微镜中，需要进行拍摄位置的偏移量的推定和校正(换言之，寻址(addressing))。为了使电子显微镜的视野移动，需要使电子束的照射位置移动。作为该方法，有使搬送试样的工作台移动的工作台移位、以及通过偏转器使电子束的轨道变更的图像移位这2种。两者都在停止位置存在误差。

[0198] 作为推定拍摄位置的偏移量的方法的一种，可以考虑进行拍摄图像与设计数据(其中的区域)的对位(换言之，匹配)。另一方面，在拍摄图像的像质差的情况下，有时对位本身失败。因此，在实施方式中，通过进行将拍摄图像(第一拍摄图像253)输入到像质变换引擎(模型270)时的输出即第二拍摄图像254与设计数据(其中的区域)的对位，来进行第一拍摄图像253的拍摄位置的确定。对于对位有效的图像变换的方法可以考虑几种。例如，在一种方法中，将比第一拍摄图像253高画质的图像推定为第二拍摄图像254。由此，能够期待对位的成功率提高。另外，在其他方法中，也考虑将按方向的边缘图像推定为第二拍摄图像254。

[0199] 图17表示与设计数据的对位的处理例。处理器将处理参数1701设定到像质变换引擎1002，该处理参数1701是将试样9的图案的各层的各方向的边缘图像作为第二学习用图像并预先最佳化而得的。处理器将作为第一拍摄图像253的拍摄图像1700输入到像质变换引擎1702，作为输出得到作为第二拍摄图像254的边缘图像(图像组)1703。边缘图像(图像组)1703是图案的各层、各方向的边缘图像(推定出的SEM图像)，例如是上层x方向的图像、上层y方向的图像、下层x方向的图像、下层y方向的图像等。与之对应的像质的图像的例子如上述的图13等那样。

[0200] 接着，处理器通过描绘引擎1708描绘设计数据1704中的试样9的区域，按各层制作按各边缘方向的边缘图像(图像组)1705。边缘图像(图像组)1705是根据设计数据1704制作出的边缘图像(设计图像)，与边缘图像1703同样，例如是上层x方向的图像、上层y方向的图像、下层x方向的图像、下层y方向的图像等。

[0201] 接下来，处理器对从设计数据1704制作出的边缘图像1705和从拍摄图像1700制作出的边缘图像1703的各个相关映射进行计算1706。在该相关映射计算1706中，处理器通过边缘图像1703的各图像和边缘图像1705的各图像，在层、方向所对应的图像的组中，制作各个相关映射。作为多个相关映射，例如可以获得上层x方向的相关映射、上层y方向的相关映射、下层x方向的相关映射、下层y方向的相关映射等。接着，处理器可以通过进行加权相加等，将多个相关映射汇总为1个，计算最终的相关映射1707。

[0202] 在该最终的相关映射1707中，相关值最大的位置成为拍摄图像(对应的观察对象区域)与设计数据(其中的对应的区域)的对位(匹配)的位置。在上述加权相加中，例如设为与图像中包含的边缘量成反比的权重。由此，能够在不牺牲边缘量少的图像的一致度的情况下，期待准确的对位。

[0203] 如上所述，通过使用表示图案形状的边缘图像，能够高精度地进行拍摄图像与设计数据的对位。然而，与上述同样地，由于在拍摄图像中还包含图案信息以外的信息，因此为了通过图像处理从拍摄图像高精度地确定边缘位置，需要调整图像处理的参数。在本处理中，通过预先最佳化后的像质变换引擎将第一拍摄图像变换为边缘图像，从而不需要人工进行参数的调整，就能够高精度地确定边缘位置。由此，能够高精度地实现拍摄图像与设计数据的对位。

[0204]

[0205] 作为步骤S207的图像处理的例子，缺陷检测以及缺陷种类识别(分类)的处理例如下所述。图18表示缺陷检测及缺陷种类识别(分类)的处理例。处理器使用将S/N高的图像作为第二学习用图像而最佳化后的像质变换引擎。处理器进行根据拍摄图像从像质变换引擎得到的作为第二拍摄图像254的图像1801和根据设计数据制作出的参照用图像1800的图像对位处理1802，取得对位结果的图像1803。

[0206] 接着，处理器进行从基于设计数据的对位结果的图像1803中切出与基于拍摄图像得到的图像1801相同的区域的处理1804，得到剪切出的图像1805。

[0207] 接着，处理器通过计算剪切出的图像1805与基于拍摄图像得到的图像1801的差分，进行缺陷位置确定处理，得到包含作为该结果的确定出的缺陷位置在内的图像(缺陷图像)1807。

[0208] 然后，处理器还可以使用缺陷图像1807，应用识别缺陷种类的处理1808(换言之，分类处理)。作为识别缺陷的方法，可以是从图像通过图像处理计算特征量并基于特征量进行识别的方法，也可以是使用预先最佳化后的缺陷识别用的CNN来进行识别的方法。

[0209] 通常，在通过拍摄得到的第一拍摄图像和参照用图像中包含噪声，因此为了高精度地进行缺陷检测和识别，以往需要人工调整图像处理参数。与此相对，在本处理中，通过利用像质变换引擎将第一拍摄图像变换为S/N高的图像1801(第二拍摄图像254)，能够降低噪声的影响。另外，根据设计数据制作出的参照用图像1800不包含噪声，因此能够不考虑参照用图像的噪声而确定缺陷位置。这样，能够降低阻碍缺陷位置确定的主要原因即第一拍摄图像以及参照用图像的噪声的影响。

[0210]

[0211] 接着，对能够与上述各实施方式同样地应用的GUI的画面例进行说明。此外，上述的实施方式1～3等的结构也可以是组合的方式，在该组合的方式中，能够从实施方式1～3等的结构中选择用户适当使用的合适的结构。用户能够根据试样观察的种类等来选择模型等。

[0212] 图19表示用户能够针对上述的引擎(模型)的最佳化方法决定、设定的GUI的画面例。在该画面中，在输出数据的栏1900中，用户能够选择并设定输出数据的种类。在栏1900中显示有像质变换后图像、各种图像处理应用结果(缺陷检测结果、缺陷识别结果、拍摄位置的坐标、尺寸测量结果等)等选项。

[0213] 另外，在下部的表中，针对与上述的学习阶段S1相关的第一学习用图像和第二学习用图像，设置有能够由用户设定取得方法和处理参数的栏。在栏1901中，能够从“拍摄”和“利用设计数据”的选项中选择并设定第一学习用图像的取得方法。在栏1902中，能够从“拍摄”和“利用设计数据”的选项中选择并设定第二学习用图像的取得方法。在图19的例子中，在栏1901中选择了“拍摄”，在栏1902中选择了“利用设计数据”，因此与上述的实施方式2的结构对应。

[0214] 在第二学习用图像的取得方法中选择了“利用设计数据”的情况下，能够在对应的处理参数的栏中指定并设定用户在引擎中使用的处理参数。在栏1903中，作为参数的例子，能够指定图案浓淡值、图像分辨率、电路图案形状变形等参数的值。

[0215] 另外，在栏1904中，用户能够从选项中选择理想图像的像质。理想图像(目标图像、第二学习用图像)的像质例如能够从理想SEM图像、边缘图像、倾斜图像等中选择。在选择了理想图像的像质之后，当按下了预览(Preview)按钮1905时，能够用例如图20的画面确认该选择出的像质的预览图像。

[0216] 图20的画面例是显示选择出的像质的预览图像的例子。在图像ID的栏2001中，用户能够选择预览对象的图像的ID。在图像种类的栏2002中，用户能够从选项中选择对象的图像种类。在栏2003中，显示为了制作学习用图像(在本例中为第二学习用图像)而输入的设计数据(其中的区域)的预览图像。在栏2004中，在为了制作学习用图像(本例中为第二学习用图像)而将用户设定的处理参数(图19)设定为描绘引擎的情况下，将由该描绘引擎制作、输出的图像显示为预览图像。在本画面中，栏2003的图像与栏2004的图像并列显示。用户能够确认这些图像。对于第一学习用图像也能够同样地进行预览。

[0217] 在本例中，显示有1个设计数据(试样9的区域)和与该设计数据对应地制作的图像，但同样地，能够通过图像ID、预定的操作来指定其他区域并显示图像。当在图19的栏1904中选择了SEM图像作为理想图像时，在栏2002中，作为图像种类，能够选择是与上述的检测器111的哪个检测器对应的种类的图像等。在选择了边缘图像作为理想图像的情况下，作为图像种类，能够选择是与哪个层的哪个方向的边缘信息对应的图像等。通过使用如上所述的GUI，能够使用户的作业高效化。

[0218] 以上，基于实施方式具体说明了本发明，但本发明并不限定于上述的实施方式，在不脱离主旨的范围内能够进行各种变更。